Коэффициент фи

Коэффициент фи (φ, фи-коэффициент) — это мера ассоциации (связи) между двумя бинарными (дихотомическими) переменными, принимающая значения от −1 до 1. Он является частным случаем коэффициента корреляции Пирсона для случая, когда обе переменные представлены в виде 0/1 (или «да/нет», «истина/ложь»). Коэффициент фи широко используется в статистике, психометрии, эпидемиологии и машинном обучении для оценки силы и направления связи между двумя категориальными признаками, имеющими ровно две категории каждый.

Определение и формула

Коэффициент фи вычисляется на основе таблицы сопряжённости (таблицы 2×2), которая показывает частоты совместного появления значений двух переменных. Пусть переменная X принимает значения 0 и 1, переменная Y — также 0 и 1. Тогда таблица сопряжённости имеет вид:

где:

• a — количество наблюдений, где X=0 и Y=0,
• b — количество наблюдений, где X=0 и Y=1,
• c — количество наблюдений, где X=1 и Y=0,
• d — количество наблюдений, где X=1 и Y=1,
• n = a + b + c + d — общее количество наблюдений.

Формула коэффициента фи:

\[ \phi = \frac{ad - bc}{\sqrt{(a+b)(c+d)(a+c)(b+d)}} \]

Эта формула эквивалентна формуле коэффициента корреляции Пирсона, если закодировать значения переменных как 0 и 1. Коэффициент фи также может быть вычислен как квадратный корень из статистики хи-квадрат (χ²), делённой на общее количество наблюдений:

\[ \phi = \sqrt{\frac{\chi^2}{n}} \]

Однако знак коэффициента фи (положительный или отрицательный) определяется знаком разности ad − bc. Положительное значение указывает на прямую связь (когда X=1 чаще встречается с Y=1, а X=0 — с Y=0), отрицательное — на обратную связь (когда X=1 чаще встречается с Y=0, и наоборот).

Свойства

• Диапазон значений: Коэффициент фи может принимать значения от −1 до 1. Значение 0 указывает на отсутствие линейной ассоциации между переменными. Значения ±1 означают идеальную ассоциацию (все наблюдения сосредоточены на диагонали таблицы).
• Симметричность: Коэффициент фи симметричен относительно переменных: φ(X,Y) = φ(Y,X).
• Связь с хи-квадрат: Для таблицы 2×2 коэффициент фи связан со статистикой хи-квадрат Пирсона: φ² = χ² / n. Это свойство используется для оценки значимости ассоциации.
• Чувствительность к краевым распределениям: Максимальное абсолютное значение коэффициента фи (1) достигается только при равенстве маргинальных частот (a+b = c+d и a+c = b+d). Если маргинальные распределения сильно различаются, максимально возможное значение φ может быть меньше 1. В таких случаях для оценки силы связи часто используют другие меры, например, коэффициент V Крамера или тетрахорический коэффициент корреляции.
• Интерпретация: По аналогии с коэффициентом корреляции Пирсона, значения φ по модулю менее 0,1 считаются пренебрежимо малыми, от 0,1 до 0,3 — слабыми, от 0,3 до 0,5 — умеренными, более 0,5 — сильными. Однако эти границы условны и зависят от контекста.

Связь с другими статистическими показателями

Коэффициент корреляции Пирсона

Коэффициент фи является частным случаем коэффициента корреляции Пирсона для двух бинарных переменных. Если обе переменные закодированы как 0 и 1, то формула коэффициента корреляции Пирсона сводится к приведённой выше формуле для φ. Это означает, что все свойства и ограничения корреляции Пирсона (линейность, чувствительность к выбросам) применимы и к коэффициенту фи.

Коэффициент V Крамера

Коэффициент V Крамера является обобщением коэффициента фи для таблиц сопряжённости произвольного размера (r×c). Для таблицы 2×2 V Крамера равен модулю коэффициента фи. Однако для таблиц большего размера V Крамера принимает значения от 0 до 1 и не имеет знака.

Тетрахорический коэффициент корреляции

Тетрахорический коэффициент корреляции (r_tet) — это оценка корреляции между двумя латентными (скрытыми) нормально распределёнными переменными, которые были дихотомизированы (разделены на две категории). В отличие от коэффициента фи, который измеряет ассоциацию между наблюдаемыми бинарными переменными, тетрахорический коэффициент предполагает, что за бинарными данными стоят непрерывные нормальные распределения. В ситуациях, где это предположение выполняется, тетрахорический коэффициент даёт более точную оценку истинной корреляции, чем коэффициент фи.

Отношение шансов (odds ratio)

Отношение шансов (OR) — это мера ассоциации, часто используемая в эпидемиологии и медицине. Для таблицы 2×2 оно вычисляется как OR = (ad)/(bc). Коэффициент фи и отношение шансов связаны, но не эквивалентны. Коэффициент фи зависит от маргинальных частот, в то время как отношение шансов — нет. При малых частотах или крайних маргинальных распределениях отношение шансов может быть более устойчивой мерой.

Применение

Психометрия и социология

В психометрии коэффициент фи используется для оценки связи между пунктами тестов (например, между вопросами с бинарными ответами — «да/нет»). Он применяется при анализе пунктов тестов, вычислении точечно-бисериальной корреляции (для связи бинарного и непрерывного признаков) и в факторном анализе бинарных данных.

Эпидемиология и медицина

В эпидемиологии коэффициент фи применяется для оценки связи между факторами риска (например, курение) и бинарными исходами (например, наличие заболевания). Однако в этой области чаще используют отношение шансов или относительный риск, так как они более интерпретируемы в терминах вероятностей.

Машинное обучение и анализ данных

В машинном обучении коэффициент фи используется для оценки корреляции между бинарными признаками, особенно при отборе признаков (feature selection) и построении ассоциативных правил. Он также применяется в задачах классификации для оценки согласия между двумя бинарными классификаторами.

Качество тестов

В психологии и педагогике коэффициент фи используется для вычисления дискриминативности тестовых заданий (индекс дискриминативности). Высокое абсолютное значение φ между ответом на задание и общим баллом по тесту указывает на то, что задание хорошо различает испытуемых с высоким и низким уровнем знаний.

Пример вычисления

Рассмотрим гипотетический пример: исследование связи между полом (мужской/женский) и предпочтением определённого продукта (да/нет). Данные представлены в таблице:

Вычисляем:

• a = 30, b = 20, c = 10, d = 40
• ad − bc = 3040 − 2010 = 1200 − 200 = 1000
• (a+b)(c+d)(a+c)(b+d) = 505040*60 = 6 000 000
• √(6 000 000) ≈ 2449,49
• φ = 1000 / 2449,49 ≈ 0,408

Значение φ ≈ 0,408 указывает на умеренную положительную связь между женским полом и предпочтением продукта.

Ограничения

• Коэффициент фи применим только к бинарным переменным. Для переменных с более чем двумя категориями необходимо использовать другие меры (V Крамера, коэффициент сопряжённости).
• Он чувствителен к краевым распределениям: при значительном дисбалансе частот максимальное значение φ может быть существенно меньше 1, что затрудняет интерпретацию силы связи.
• Коэффициент фи измеряет только линейную ассоциацию. Нелинейные связи могут быть не выявлены.
• При малых ожидаемых частотах (менее 5 в любой ячейке таблицы) статистика хи-квадрат, используемая для проверки значимости φ, может быть неточной. В таких случаях рекомендуется использовать точный критерий Фишера.

Интересные факты

• Коэффициент фи был предложен британским статистиком Карлом Пирсоном в 1904 году как мера ассоциации для бинарных данных.
• Название «фи» происходит от греческой буквы φ, которая традиционно используется для обозначения этой меры.
• В некоторых источниках коэффициент фи называют «коэффициентом ассоциации Пирсона» или «четырёхклеточным коэффициентом корреляции».
• В машинном обучении коэффициент фи иногда используется как метрика для оценки качества бинарных классификаторов, особенно в задачах, где важна балансировка между точностью и полнотой.

Источники

1. Пирсон, К. (1904). «On the Theory of Contingency and Its Relation to Association and Normal Correlation». Drapers' Company Research Memoirs.
2. Агалаков, С. А. (2017). «Статистические методы анализа данных». Издательство Юрайт.
3. Флейсс, Дж. Л. (1981). «Statistical Methods for Rates and Proportions». John Wiley & Sons.
4. Кендалл, М., Стюарт, А. (1973). «Статистические выводы и связи». Наука.
5. Эверитт, Б. С. (2002). «The Cambridge Dictionary of Statistics». Cambridge University Press.