Коэффициент ранговой корреляции Кендалла

Коэффициент ранговой корреляции Кендалла (или τ (тау) Кендалла) — это непараметрическая мера связи (зависимости) между двумя упорядоченными переменными, основанная на сравнении попарных направлений трендов в данных. В отличие от коэффициента корреляции Пирсона, он не требует нормального распределения и оценивает монотонную (не обязательно линейную) зависимость. Значение τ лежит в интервале от −1 (полная противоположная упорядоченность) до +1 (полная согласованность рангов).

История и происхождение

Коэффициент был предложен британским статистиком Морисом Кендаллом (Maurice Kendall) в 1938 году в статье «A new measure of rank correlation» (Biometrika, Vol. 30, No. 1/2). Кендалл разработал эту меру как альтернативу коэффициенту ранговой корреляции Спирмена (ρ), который был известен с 1904 года. Основное преимущество τ Кендалла — более простая интерпретация через вероятности согласованных и несогласованных пар, а также меньшая чувствительность к выбросам в рангах.

Определение и математическая формула

Пусть даны две выборки \( X = \{x_1, x_2, \dots, x_n\} \) и \( Y = \{y_1, y_2, \dots, y_n\} \), каждая из которых содержит \( n \) наблюдений. Для каждой пары наблюдений \( (x_i, y_i) \) и \( (x_j, y_j) \) (где \( i < j \)) определяется тип пары:

• Согласованная (concordant) пара: если знаки разностей совпадают: \( (x_i - x_j)(y_i - y_j) > 0 \).
• Несогласованная (discordant) пара: если знаки разностей противоположны: \( (x_i - x_j)(y_i - y_j) < 0 \).
• Связанная (tied) пара: если хотя бы одна из разностей равна нулю: \( x_i = x_j \) или \( y_i = y_j \).

Обозначим:

• \( C \) — число согласованных пар,
• \( D \) — число несогласованных пар,
• \( T_x \) — число пар, связанных только по \( X \),
• \( T_y \) — число пар, связанных только по \( Y \),
• \( T_{xy} \) — число пар, связанных одновременно по \( X \) и \( Y \).

Тогда общее число возможных пар равно \( N = \frac{n(n-1)}{2} \).

Основная формула (без учёта связей)

\[ \tau = \frac{C - D}{C + D} = \frac{C - D}{\frac{n(n-1)}{2}} \]

Формула с учётом связей (τ_b — наиболее распространённая версия)

\[ \tau_b = \frac{C - D}{\sqrt{(C + D + T_x)(C + D + T_y)}} \]

Существует также вариант τ_a (игнорирует связи) и τ_c (для прямоугольных таблиц).

Интерпретация

• τ = +1: все пары согласованы — идеальная положительная монотонная зависимость (при увеличении X увеличивается Y).
• τ = −1: все пары несогласованы — идеальная отрицательная монотонная зависимость (при увеличении X уменьшается Y).
• τ = 0: отсутствие монотонной связи (но возможна нелинейная зависимость).

Значение τ можно интерпретировать как разность вероятностей: \( \tau = P(\text{согласованная}) - P(\text{несогласованная}) \).

Сравнение с коэффициентом Спирмена

На практике τ Кендалла часто даёт меньшие по модулю значения, чем ρ Спирмена, но считается более робастным и точным для малых выборок.

Вычисление

Ручной расчёт (пример)

Даны ранги двух экспертов для 5 объектов:

Всего пар: \( \frac{5 \cdot 4}{2} = 10 \). Сравниваем попарно:

• (1,2): (1<2, 2>1) — несогласована
• (1,3): (1<3, 2<3) — согласована
• (1,4): (1<4, 2<5) — согласована
• (1,5): (1<5, 2<4) — согласована
• (2,3): (2<3, 1<3) — согласована
• (2,4): (2<4, 1<5) — согласована
• (2,5): (2<5, 1<4) — согласована
• (3,4): (3<4, 3<5) — согласована
• (3,5): (3<5, 3<4) — согласована
• (4,5): (4<5, 5>4) — несогласована

Итого: C = 8, D = 2. τ = (8-2)/10 = 0.6.

Программная реализация

В статистических пакетах τ Кендалла вычисляется встроенными функциями:

• R: cor(x, y, method = "kendall")
• Python (SciPy): scipy.stats.kendalltau(x, y)
• Excel: нет прямой функции, но можно через формулу или надстройку «Анализ данных».
• SPSS: Analyze → Correlate → Bivariate → Kendall's tau-b.

Применение

Коэффициент Кендалла широко используется в различных областях:

• Экспертные оценки: согласованность мнений нескольких экспертов (например, в квалиметрии, психологии).
• Биология и медицина: анализ порядковых данных (стадии заболевания, дозировки).
• Социология: корреляция между ранжированными ответами респондентов.
• Эконометрика: проверка монотонной связи между экономическими показателями.
• Машинное обучение: оценка качества ранжирования (например, в рекомендательных системах).

Проверка значимости

Для проверки гипотезы \( H_0: \tau = 0 \) (отсутствие связи) используется:

1. Точный тест — для малых n (обычно n ≤ 10) на основе перестановок.
2. Асимптотическая нормальность — при n > 10 статистика \( z = \frac{3\tau\sqrt{n(n-1)}}{\sqrt{2(2n+5)}} \) приблизительно нормально распределена.
3. Бутстреп — для оценки доверительных интервалов.

Ограничения

• Не выявляет нелинейные немонотонные зависимости (например, U-образные).
• Чувствителен к большому числу связанных рангов (снижает точность).
• Вычислительно затратен для больших выборок (O(n²)).
• Не даёт информации о силе линейной связи.

Интересные факты

• τ Кендалла тесно связан с коэффициентом корреляции Гудмана — Крускала (γ), который используется для порядковых переменных в таблицах сопряжённости.
• В 1955 году Кендалл опубликовал монографию «Rank Correlation Methods», ставшую классической в области непараметрической статистики.
• Существует обобщение τ для частично упорядоченных данных — τ-Кендалла для цензурированных выборок.

Источники

• Kendall, M. G. (1938). «A new measure of rank correlation». Biometrika, 30(1/2), 81–93.
• Kendall, M. G. (1955). Rank Correlation Methods. Charles Griffin & Company.
• Hollander, M., Wolfe, D. A., & Chicken, E. (2014). Nonparametric Statistical Methods (3rd ed.). Wiley.
• Conover, W. J. (1999). Practical Nonparametric Statistics (3rd ed.). Wiley.
• Айвазян С. А., Мхитарян В. С. (2001). Прикладная статистика и основы эконометрики. ЮНИТИ.