При анализе статистических данных сравнение выборок играет важную роль. Критический уровень значимости (англ. critical level of significance) — это статистическая граница, превышение которой приводит к отвержению нулевой гипотезы и принятию альтернативной гипотезы. Таким образом, он определяет степень уверенности, с которой мы можем сделать какой-то вывод на основе проведенного статистического анализа.
При сравнении четырех выборок нам нужно учесть, что мы имеем дело с множественными сравнениями. Множественные сравнения могут снизить уровень значимости, чтобы учесть вероятность ложного отклонения нулевой гипотезы при многократной проверке. Для этого можем использовать поправку на множественные сравнения.
Существуют различные методы поправки на множественные сравнения. Один из наиболее распространенных методов — метод Бонферрони (англ. Bonferroni correction). Этот метод основывается на том, что мы делим выбранный уровень значимости на количество попарных сравнений, которые производим, чтобы учесть большую вероятность ложного отклонения при использовании множественных сравнений.
Так как у нас есть 4 выборки, то нам необходимо произвести 6 попарных сравнений:
- сравнение выборки 1 с выборкой 2,
- сравнение выборки 1 с выборкой 3,
- сравнение выборки 1 с выборкой 4,
- сравнение выборки 2 с выборкой 3,
- сравнение выборки 2 с выборкой 4,
- сравнение выборки 3 с выборкой 4.
Поэтому, чтобы найти новый критический уровень значимости, нужно поделить выбранный уровень значимости на 6.
Допустим, мы выбрали критический уровень значимости α = 0,05. Тогда новый критический уровень значимости будет равен α / 6 = 0,05 / 6 = 0,0083.
Если при проведении попарного сравнения двух выборок получен p-значение меньше нового критического уровня значимости, то мы можем считать различия между этими выборками статистически значимыми и отклонять нулевую гипотезу. Если же p-значение больше нового критического уровня значимости, то мы не можем считать различия между двумя выборками статистически значимыми и не отклоняем нулевую гипотезу.
Важно отметить, что метод Бонферрони является одним из самых консервативных методов поправки на множественные сравнения, поэтому уровень значимости после применения этого метода может быть слишком сильно снижен. В случае, если метод Бонферрони слишком консервативен, можно использовать другие методы поправки на множественные сравнения, такие как метод Холма или метод Лима.
Так, новый критический уровень значимости при попарном сравнении 4 выборок будет равен 0,0083.