Перестановочный тест¶

Перестановочный тест (также известный как тест рандомизации или точный тест) — это статистический метод проверки гипотез, основанный на многократном случайном перемешивании (перестановке) меток или значений данных для оценки вероятности наблюдаемого результата при условии истинности нулевой гипотезы. В отличие от параметрических критериев (например, t-критерия Стьюдента), перестановочный тест не требует предположений о распределении данных (например, о нормальности) и может применяться для малых выборок, асимметричных распределений и нестандартных статистик.

¶История

Идея перестановочных тестов восходит к работам британского статистика Рональда Фишера в 1930-х годах. В своей книге «The Design of Experiments» (1935) Фишер описал точный тест для анализа таблиц сопряжённости 2×2, который впоследствии стал известен как точный тест Фишера. Однако вычислительная сложность метода ограничивала его применение до появления компьютеров. В середине XX века американский математик Уильям Дж. Кокран и другие исследователи развили теорию рандомизации. С развитием вычислительной техники в 1980–1990-х годах перестановочные тесты стали широко использоваться в биостатистике, экологии, психологии и других областях. В России метод популяризировался в начале XXI века, особенно в контексте анализа данных в медицине и гуманитарных науках.

¶Принцип работы

Перестановочный тест основан на идее, что если нулевая гипотеза верна (например, различия между группами отсутствуют), то наблюдаемые данные можно рассматривать как случайную выборку из общего распределения. Процедура включает следующие шаги:

Формулировка гипотез: нулевая гипотеза (H₀) утверждает, что нет различий между группами или связей между переменными. Альтернативная гипотеза (H₁) — что различия или связи существуют.
Выбор тестовой статистики: например, разность средних, корреляция Пирсона, отношение шансов или любая другая мера, отражающая интересующий эффект.
Вычисление наблюдаемого значения статистики: на основе исходных данных.
Перестановка: метки групп или значения переменных многократно (обычно от 1000 до 100 000 раз) случайно перемешиваются, и для каждой перестановки вычисляется тестовая статистика.
Построение эмпирического распределения: все значения статистики, полученные при перестановках, образуют распределение, которое представляет собой возможные результаты при условии истинности H₀.
Расчёт p-значения: доля перестановок, в которых значение статистики оказалось не менее экстремальным, чем наблюдаемое. Если p-значение меньше заданного уровня значимости (например, 0,05), нулевая гипотеза отвергается.

¶Пример

Рассмотрим две группы: A (4, 5, 6) и B (1, 2, 3). Наблюдаемая разность средних: (4+5+6)/3 — (1+2+3)/3 = 5 — 2 = 3. При перестановке меток возможны 20 комбинаций (6!/(3!3!)=20). Если только в 1 из 20 перестановок разность средних достигает 3 или более, p-значение = 1/20 = 0,05. Это означает, что вероятность получить такое же или большее различие случайно составляет 5%.

¶Виды перестановочных тестов

¶Одновыборочный тест

Проверяет, отличается ли среднее значение выборки от гипотетического значения (например, нуля). Данные перемешиваются путём случайного изменения знаков (тест знаков) или перестановки меток.

¶Двухвыборочный тест

Сравнивает две независимые группы. Метки групп случайным образом перемешиваются, а затем вычисляется разность средних или медиан.

¶Тест для зависимых выборок

Используется для парных данных (например, «до» и «после» лечения). Перестановки выполняются путём случайного обмена значений внутри каждой пары.

¶Тест корреляции

Проверяет значимость связи между двумя переменными. Значения одной переменной случайным образом переставляются, а затем вычисляется коэффициент корреляции (например, Пирсона или Спирмена).

¶Тест для таблиц сопряжённости

Точный тест Фишера является частным случаем перестановочного теста для таблиц 2×2. Для таблиц большего размера (например, 3×3) используются перестановки строк или столбцов.

¶Преимущества и недостатки

¶Преимущества

Непараметричность: не требует предположений о распределении данных (нормальность, гомоскедастичность).
Точность: для малых выборок (n < 20) перестановочные тесты дают более точные p-значения, чем асимптотические методы (например, t-критерий).
Гибкость: может применяться к любой тестовой статистике, включая медианы, разности квантилей, отношение шансов и другие.
Устойчивость к выбросам: при использовании робастных статистик (например, медианы) тест менее чувствителен к аномальным значениям.

¶Недостатки

Вычислительная сложность: для больших выборок (n > 100) полный перебор всех перестановок невозможен, поэтому используются случайные перестановки (метод Монте-Карло), что требует значительных вычислительных ресурсов.
Зависимость от случайности: при малом числе перестановок (например, 1000) p-значение может быть неточным.
Ограниченная применимость для сложных моделей: для многофакторных дизайнов (например, ANOVA) перестановочные тесты сложнее реализовать, хотя существуют методы (например, перестановка остатков).

¶Применение

Перестановочные тесты широко используются в различных областях:

Медицина и биостатистика: анализ клинических испытаний, сравнение эффективности лекарств, оценка генетических ассоциаций. Например, в исследовании влияния нового препарата на артериальное давление перестановочный тест позволяет сравнить средние значения в группах без предположения о нормальности.
Экология: сравнение видового разнообразия в разных местообитаниях, анализ пространственных данных.
Психология и социология: проверка гипотез о различиях в поведенческих тестах, опросниках.
Экономика и финансы: анализ доходности активов, тестирование рыночных аномалий.
Машинное обучение: оценка значимости признаков в моделях, сравнение алгоритмов классификации.

¶Реализация в программном обеспечении

Перестановочные тесты реализованы во многих статистических пакетах и языках программирования:

R: функции perm.test() (пакет exactRankTests), coin::oneway_test(), boot::boot().
Python: модуль scipy.stats (функция permutation_test), библиотека mlxtend.
MATLAB: функция permutationTest.
SPSS: модуль «Exact Tests».
SAS: процедура MULTTEST.

¶Критика и ограничения

Несмотря на преимущества, перестановочные тесты критикуются за:

Неэффективность при больших выборках: для n > 1000 вычислительные затраты становятся чрезмерными, хотя метод Монте-Карло частично решает эту проблему.
Сложность интерпретации: p-значение, полученное перестановочным тестом, может быть менее интуитивным, чем в классических критериях.
Отсутствие единого стандарта: разные исследователи могут использовать разные тестовые статистики и число перестановок, что затрудняет воспроизводимость результатов.

¶Интересные факты

Перестановочные тесты являются частным случаем методов бутстрепа (bootstrap), но отличаются тем, что используют перестановки без возвращения, а бутстреп — с возвращением.
Точный тест Фишера, который является перестановочным, до сих пор широко используется в анализе таблиц сопряжённости, особенно в генетике и эпидемиологии.
В 2010-х годах с ростом популярности байесовской статистики перестановочные тесты стали реже применяться, но остаются востребованными в областях, где важна непараметрическая проверка гипотез.

¶Источники

Fisher R. A. The Design of Experiments. — 1935.
Good P. I. Permutation Tests: A Practical Guide to Resampling Methods for Testing Hypotheses. — Springer, 2005.
Эфрон Б., Тибширани Р. Введение в бутстреп. — М.: Финансы и статистика, 2002.
Lehmann E. L. Testing Statistical Hypotheses. — Springer, 2005.
Pesarin F., Salmaso L. Permutation Tests for Complex Data: Theory, Applications and Software. — Wiley, 2010.