Интервал Уилсона

Интервал Уилсона — это метод статистического оценивания, используемый для построения доверительного интервала для доли (вероятности) в биномиальном распределении. В отличие от классического интервала на основе нормального приближения (интервала Вальда), интервал Уилсона обладает лучшими свойствами при малых объёмах выборки и при значениях доли, близких к 0 или 1. Он был предложен американским статистиком Эдвином Бидвеллом Уилсоном в 1927 году.

Определение и математическая формулировка

Пусть имеется выборка объёмом \( n \), в которой наблюдается \( k \) успехов (например, положительных исходов). Оценка доли \( \hat{p} = k/n \). Доверительный интервал Уилсона для истинной доли \( p \) с уровнем доверия \( 1-\alpha \) задаётся формулой:

\[ \frac{\hat{p} + \frac{z^2}{2n}}{1 + \frac{z^2}{n}} \pm \frac{z}{1 + \frac{z^2}{n}} \sqrt{\frac{\hat{p}(1-\hat{p})}{n} + \frac{z^2}{4n^2}} \]

где \( z \) — квантиль стандартного нормального распределения уровня \( 1-\alpha/2 \) (например, для 95% доверительного интервала \( z \approx 1.96 \)).

Интервал Уилсона является решением квадратного уравнения, получаемого из теста отношения правдоподобия для биномиальной пропорции. Он не симметричен относительно \( \hat{p} \), что отражает асимметрию биномиального распределения при крайних значениях доли.

История

Метод был разработан Эдвином Бидвеллом Уилсоном (1879–1964) — американским физиком, математиком и статистиком, профессором Гарвардского университета. В 1927 году в статье «Probable Inference, the Law of Succession, and Statistical Inference» он предложил интервал как альтернативу интервалу Вальда, который часто даёт некорректные результаты (например, выходит за границы [0, 1] или имеет нулевую ширину при \( \hat{p}=0 \) или \( \hat{p}=1 \)).

В середине XX века интервал Уилсона был популяризирован в работах по прикладной статистике, особенно в биологии и медицине. В 1998 году Алан Агрести и Брент Кулль (Alan Agresti, Brent Coull) показали, что интервал Уилсона с поправкой на непрерывность (интервал Агрести-Кулля) является одним из наиболее надёжных методов для малых выборок.

Свойства

Преимущества

• Границы в пределах [0, 1]: интервал Уилсона никогда не выходит за допустимые границы доли, в отличие от интервала Вальда.
• Устойчивость при малых выборках: при \( n < 30 \) или при \( \hat{p} \) близком к 0 или 1 интервал Уилсона даёт более точное покрытие, чем интервал Вальда.
• Асимметрия: интервал корректно отражает несимметричность распределения оценки доли, особенно при \( \hat{p} \) вблизи 0 или 1.
• Согласованность с тестом: интервал Уилсона эквивалентен доверительному интервалу, получаемому из теста отношения правдоподобия, что обеспечивает его статистическую обоснованность.

Недостатки

• Сложность вычисления: формула более громоздкая, чем для интервала Вальда, что до появления компьютеров затрудняло ручные расчёты.
• Консервативность: при очень малых \( n \) (менее 5) интервал может быть излишне широким, хотя это компенсируется надёжностью покрытия.
• Отсутствие поправки на непрерывность: без поправки интервал может быть слегка либеральным (фактический уровень доверия ниже номинального) для дискретных данных.

Модификации

Интервал Уилсона с поправкой на непрерывность

Для улучшения свойств при дискретных данных используется поправка на непрерывность, предложенная Эдвином Уилсоном в той же статье. Формула модифицируется путём добавления \( \frac{1}{2n} \) к числителю и знаменателю. Этот вариант часто называют интервалом Уилсона с поправкой на непрерывность или интервалом Уилсона-Кендалла.

Интервал Агрести-Кулля

В 1998 году Алан Агрести и Брент Кулль предложили упрощённую версию: добавить к числу успехов \( k \) и к числу неудач \( n-k \) по \( z^2/2 \) (для 95% доверительного интервала это примерно 2 успеха и 2 неудачи). Полученная оценка \( \tilde{p} = (k+2)/(n+4) \) используется в классической формуле Вальда. Этот метод, известный как «правило плюс четыре» (plus-four rule), даёт результаты, близкие к интервалу Уилсона, и проще в вычислении.

Применение

Интервал Уилсона широко используется в различных областях, где требуется оценить долю или вероятность:

• Медицина и эпидемиология: оценка эффективности лечения (доля выздоровевших), распространённости заболеваний, точности диагностических тестов.
• Социология и маркетинговые исследования: анализ результатов опросов, рейтингов, долей респондентов, поддерживающих определённые взгляды.
• Машинное обучение и анализ данных: оценка точности классификаторов, доли правильных предсказаний, особенно при несбалансированных классах.
• Биология и экология: оценка доли выживаемости, частоты мутаций, встречаемости видов.
• Контроль качества: оценка доли бракованных изделий в партии.

Сравнение с другими методами

Интервал Вальда

Классический интервал на основе нормального приближения: \( \hat{p} \pm z \sqrt{\hat{p}(1-\hat{p})/n} \). Прост в вычислении, но часто даёт границы за пределами [0, 1] и плохое покрытие при малых \( n \) или крайних \( \hat{p} \). Интервал Уилсона лишён этих недостатков.

Интервал Клоппера-Пирсона

Точный биномиальный интервал, основанный на инвертировании биномиального теста. Гарантирует покрытие не ниже номинального, но часто излишне консервативен (широк). Интервал Уилсона является компромиссом между точностью и шириной.

Интервал Джеффриса

Байесовский интервал на основе бета-распределения с априорным распределением Джеффриса. По свойствам близок к интервалу Уилсона, но требует численного решения.

Пример

Рассмотрим выборку объёмом \( n = 30 \), в которой \( k = 5 \) успехов (\( \hat{p} = 0.1667 \)). Для 95% доверительного интервала (\( z = 1.96 \)):

• Интервал Вальда: \( 0.1667 \pm 1.96 \times \sqrt{0.1667 \times 0.8333 / 30} \approx [0.033, 0.300] \). Нижняя граница положительна, но интервал узкий.
• Интервал Уилсона: \( \frac{0.1667 + 1.96^2/(2 \times 30)}{1 + 1.96^2/30} \pm \frac{1.96}{1 + 1.96^2/30} \sqrt{\frac{0.1667 \times 0.8333}{30} + \frac{1.96^2}{4 \times 30^2}} \approx [0.073, 0.330] \). Интервал шире и асимметричен, нижняя граница выше.

Критика

Основная критика интервала Уилсона связана с его вычислительной сложностью, которая в эпоху до компьютеров делала его менее популярным, чем интервал Вальда. Однако с развитием статистических пакетов (R, Python, SPSS) этот недостаток стал несущественным. Также отмечается, что при очень малых объёмах выборки (менее 5) интервал Уилсона может давать чрезмерно широкие границы, хотя это предпочтительнее, чем ложная точность интервала Вальда.

Интересные факты

• Эдвин Уилсон был учеником Джозайи Уилларда Гиббса и внёс вклад не только в статистику, но и в физику (например, в теорию упругости).
• Интервал Уилсона часто используется в онлайн-калькуляторах для оценки доли, например, в системах A/B-тестирования.
• В 2013 году в журнале «The American Statistician» была опубликована статья, рекомендующая интервал Уилсона как стандартный метод для построения доверительных интервалов для биномиальной пропорции.

Источники

1. Wilson, E. B. (1927). «Probable Inference, the Law of Succession, and Statistical Inference». Journal of the American Statistical Association, 22(158), 209–212.
2. Agresti, A., & Coull, B. A. (1998). «Approximate Is Better than "Exact" for Interval Estimation of Binomial Proportions». The American Statistician, 52(2), 119–126.
3. Brown, L. D., Cai, T. T., & DasGupta, A. (2001). «Interval Estimation for a Binomial Proportion». Statistical Science, 16(2), 101–133.
4. Newcombe, R. G. (1998). «Two-Sided Confidence Intervals for the Single Proportion: Comparison of Seven Methods». Statistics in Medicine, 17(8), 857–872.