Критерий Лемана — Томсена

Критерий Лемана — Томсена — это статистический критерий, предназначенный для проверки гипотезы о том, что две независимые выборки извлечены из одного и того же распределения, против альтернативы, что одна из выборок стохастически больше (или меньше) другой. Критерий является непараметрическим, то есть не требует предположения о конкретном законе распределения данных (например, нормальном). Он представляет собой двухвыборочный критерий, основанный на рангах наблюдений, и был предложен в 1950-х годах математиками Эрихом Леманом и Уильямом Томсеном.

История возникновения

Критерий был разработан в контексте развития непараметрической статистики, которая активно формировалась в середине XX века. Эрих Леман (1917–2009) — американский статистик немецкого происхождения, известный работами в области теории статистических решений и проверки гипотез. Уильям Томсен (1923–2014) — американский математик и статистик, специализировавшийся на непараметрических методах. В 1950-х годах они совместно предложили критерий, который обобщал идеи, заложенные в критерии Уилкоксона и критерии Манна — Уитни, но был ориентирован на более широкий класс альтернатив.

Первоначально критерий был описан в статье «On a class of two-sample tests» (1956), где авторы исследовали его асимптотические свойства и мощность. В последующие десятилетия критерий Лемана — Томсена вошёл в практику прикладной статистики, особенно в задачах, где требуется сравнение двух групп без предположения о нормальности распределения.

Суть и математическая формулировка

Критерий Лемана — Томсена проверяет нулевую гипотезу \( H_0 \): распределения двух выборок \( X_1, \dots, X_m \) и \( Y_1, \dots, Y_n \) совпадают, против альтернативы \( H_1 \): одна из выборок имеет тенденцию к большим (или меньшим) значениям. Формально альтернатива формулируется как \( P(X > Y) \neq 0.5 \) (или \( P(X > Y) > 0.5 \) в одностороннем случае).

Статистика критерия строится на основе рангов всех \( N = m + n \) наблюдений. Пусть \( R_i \) — ранг \( i \)-го наблюдения из первой выборки в объединённом ряду. Тогда статистика Лемана — Томсена \( T \) определяется как:

\[ T = \sum_{i=1}^m \left( R_i - \frac{N+1}{2} \right) \]

или, в другом распространённом варианте, как сумма рангов первой выборки, центрированная относительно среднего ранга. Эта величина пропорциональна количеству пар \( (X_i, Y_j) \), в которых \( X_i > Y_j \), минус количество пар, где \( X_i < Y_j \). Таким образом, \( T \) измеряет сдвиг между выборками.

Для вычисления \( p \)-значения используется асимптотическая нормальность статистики при больших объёмах выборок (обычно \( m, n > 10 \)). Математическое ожидание \( T \) при нулевой гипотезе равно нулю, а дисперсия вычисляется по формуле:

\[ \text{Var}(T) = \frac{mn(N+1)}{12} \]

Стандартизованная статистика \( Z = T / \sqrt{\text{Var}(T)} \) приближённо подчиняется стандартному нормальному распределению. Для малых выборок используются точные таблицы критических значений, полученные методом перестановок.

Сравнение с родственными критериями

Критерий Лемана — Томсена тесно связан с критерием Манна — Уитни (U-тест) и критерием Уилкоксона. Фактически, статистика \( T \) является линейным преобразованием статистики Манна — Уитни \( U \): \( T = U - \frac{mn}{2} \). Однако между критериями есть различия в акцентах:

• Критерий Манна — Уитни чаще формулируется через подсчёт числа пар \( (X_i, Y_j) \), где \( X_i > Y_j \), и обычно используется для проверки сдвига между распределениями.
• Критерий Лемана — Томсена акцентирует внимание на центрированных рангах и может быть более удобен для теоретического анализа, особенно при изучении асимптотической эффективности.

Критерий Лемана — Томсена также является частным случаем ранговых критериев, основанных на линейных функциях рангов (L-статистик). Он обладает свойством несмещённости и состоятельности для широкого класса альтернатив, включая сдвиг и масштабные изменения.

Условия применимости

Критерий Лемана — Томсена применим при следующих условиях:

1. Независимость выборок: наблюдения внутри каждой выборки и между выборками независимы.
2. Непрерывность распределений: теоретически предполагается, что распределения непрерывны, чтобы избежать совпадений рангов (связок). На практике при наличии связок используются поправки на совпадения, которые модифицируют дисперсию.
3. Порядковая шкала: данные должны быть измеримы хотя бы в порядковой шкале, так как критерий основан на рангах.
4. Объём выборок: для точных \( p \)-значений при малых выборках (менее 10–15 в каждой группе) следует использовать точные перестановочные тесты или таблицы.

Критерий устойчив к выбросам, так как использует ранги, а не абсолютные значения. Однако он чувствителен к различиям в форме распределений, а не только к сдвигу.

Применение

Критерий Лемана — Томсена применяется в различных областях, где требуется сравнение двух групп без предположения о нормальности:

• Медицина: сравнение эффективности двух методов лечения по порядковым шкалам (например, степень боли, уровень восстановления).
• Биология: анализ различий в размерах или концентрациях между двумя видами или условиями.
• Экономика: сравнение доходов или потребительских предпочтений двух групп населения.
• Техника: оценка надёжности двух типов оборудования по времени до отказа (при наличии цензурирования — с модификациями).

В российских научных публикациях критерий Лемана — Томсена упоминается реже, чем критерий Манна — Уитни, однако он встречается в учебниках по непараметрической статистике (например, в работах В. Н. Тутубалина, Ю. Н. Тюрина). В зарубежной литературе его часто рассматривают как альтернативу U-тесту при теоретическом анализе.

Пример расчёта

Пусть имеются две выборки:

• Группа A: 5, 7, 8
• Группа B: 2, 4, 6

Объединённый ряд: 2 (ранг 1), 4 (ранг 2), 5 (ранг 3), 6 (ранг 4), 7 (ранг 5), 8 (ранг 6). Ранги группы A: 3, 5, 6. Средний ранг для \( N=6 \) равен \( (6+1)/2 = 3.5 \). Статистика \( T = (3-3.5) + (5-3.5) + (6-3.5) = -0.5 + 1.5 + 2.5 = 3.5 \). Дисперсия: \( \text{Var}(T) = 3 \cdot 3 \cdot 7 / 12 = 63/12 = 5.25 \). Стандартизованное значение \( Z = 3.5 / \sqrt{5.25} \approx 1.53 \). Для двустороннего теста \( p \)-значение около 0.126 — недостаточно для отклонения \( H_0 \) при уровне значимости 0.05.

Критика и ограничения

Основные ограничения критерия Лемана — Томсена:

• Чувствительность к связкам: при большом количестве совпадающих значений (например, при дискретных данных) точность аппроксимации снижается, требуется коррекция.
• Асимптотическая природа: при малых выборках точные \( p \)-значения могут существенно отличаться от нормального приближения.
• Ограниченная альтернатива: критерий не предназначен для обнаружения различий в дисперсиях или форме распределения при отсутствии сдвига.

Несмотря на это, критерий остаётся полезным инструментом в арсенале непараметрической статистики, особенно в ситуациях, где требуется простота и робастность.

Источники

• Lehmann, E. L., & Thompsen, W. (1956). On a class of two-sample tests. The Annals of Mathematical Statistics, 27(4), 1022–1036.
• Холлендер М., Вулф Д. (1983). Непараметрические методы статистики. М.: Финансы и статистика.
• Тюрин Ю. Н., Макаров А. А. (2008). Статистический анализ данных на компьютере. М.: ИНФРА-М.
• Gibbons, J. D., & Chakraborti, S. (2011). Nonparametric Statistical Inference (5th ed.). CRC Press.