Винзоризованное среднее

Винзоризованное среднее (также усечённое среднее с заменой, винзоризованное среднее арифметическое) — это робастная (устойчивая к выбросам) мера центральной тенденции, получаемая путём замены крайних элементов выборки на ближайшие к ним значения, не являющиеся выбросами, с последующим вычислением среднего арифметического по модифицированному ряду. В отличие от усечённого среднего (trimmed mean), при котором крайние значения просто отбрасываются, винзоризованное среднее сохраняет объём выборки, заменяя выбросы на граничные значения, что позволяет уменьшить влияние аномалий, не теряя информации о размере данных.

История и происхождение

Метод был предложен американским статистиком Чарльзом Уинзором (Charles P. Winsor, 1895–1951), работавшим в области биостатистики и экономики. Уинзор, будучи сотрудником Университета Джонса Хопкинса, разработал этот подход для анализа данных, содержащих грубые ошибки измерений или редкие экстремальные значения, которые могли искажать результаты классических статистических процедур. Винзоризация стала альтернативой полному удалению выбросов, так как она позволяет сохранить размер выборки, что критично для некоторых методов оценки дисперсии и доверительных интервалов.

Определение и алгоритм

Пусть имеется выборка \( X = \{x_1, x_2, \dots, x_n\} \), отсортированная по возрастанию: \( x_{(1)} \le x_{(2)} \le \dots \le x_{(n)} \). Для заданного параметра усечения \( \alpha \in (0, 0.5) \) (обычно 0.05, 0.1 или 0.2) вычисляется количество заменяемых элементов с каждого конца: \( k = \lfloor \alpha \cdot n \rfloor \), где \( \lfloor \cdot \rfloor \) — округление вниз.

Алгоритм винзоризации:

Заменить \( k \) наименьших значений \( x_{(1)}, \dots, x_{(k)} \) на значение \( x_{(k+1)} \).
Заменить \( k \) наибольших значений \( x_{(n-k+1)}, \dots, x_{(n)} \) на значение \( x_{(n-k)} \).
Вычислить среднее арифметическое по полученной модифицированной выборке.

Винзоризованное среднее \( W_\alpha \) формально записывается как:

\[ W_\alpha = \frac{1}{n} \left( \sum_{i=k+1}^{n-k} x_{(i)} + k \cdot x_{(k+1)} + k \cdot x_{(n-k)} \right) \]

Пример

Для выборки: \( \{1, 2, 3, 4, 5, 100\} \) (n=6) при \( \alpha = 0.1 \) (\( k = \lfloor 0.1 \cdot 6 \rfloor = 0 \)) — винзоризация не применяется, среднее равно \( \frac{1+2+3+4+5+100}{6} \approx 19.17 \). При \( \alpha = 0.2 \) (\( k = \lfloor 0.2 \cdot 6 \rfloor = 1 \)): заменяем 1 на 2, 100 на 5. Получаем ряд: \( \{2, 2, 3, 4, 5, 5\} \). Винзоризованное среднее: \( \frac{2+2+3+4+5+5}{6} = 3.5 \). Обычное среднее арифметическое (19.17) сильно искажено выбросом 100, а винзоризованное (3.5) значительно ближе к медиане (3.5) и к среднему без выбросов (3.0).

Свойства и характеристики

Робастность

Винзоризованное среднее обладает высокой устойчивостью к выбросам. Точка разрушения (breakdown point) для винзоризованного среднего с параметром \( \alpha \) равна \( \alpha \), то есть для искажения оценки до произвольного значения необходимо заменить более \( \alpha \cdot n \) наблюдений с каждого конца. Это делает его более робастным, чем обычное среднее (точка разрушения 0%), но менее робастным, чем медиана (точка разрушения 50%).

Эффективность

При нормальном распределении данных винзоризованное среднее немного менее эффективно, чем выборочное среднее (имеет большую дисперсию), но значительно эффективнее медианы. Для распределений с тяжёлыми хвостами (например, распределение Коши) винзоризованное среднее может превосходить по эффективности как среднее, так и медиану. Оптимальный выбор \( \alpha \) зависит от формы распределения: для данных с редкими выбросами достаточно \( \alpha = 0.05 \), для сильно зашумлённых — \( \alpha = 0.2 \) или \( 0.25 \).

Смещение

Винзоризованное среднее является смещённой оценкой для математического ожидания генеральной совокупности, если распределение несимметрично. Смещение уменьшается с ростом объёма выборки и при симметричных распределениях. Для симметричных распределений (например, нормального) винзоризованное среднее является несмещённой оценкой центра распределения.

Связь с другими мерами

При \( \alpha = 0 \) винзоризованное среднее совпадает с обычным средним арифметическим.
При \( \alpha \to 0.5 \) (максимальное значение) винзоризованное среднее приближается к медиане, так как заменяются все элементы, кроме центрального (или двух центральных).
Винзоризованное среднее отличается от усечённого среднего тем, что сохраняет объём выборки, что важно для вычисления стандартной ошибки оценки.

Применение

Статистический анализ данных

Винзоризованное среднее широко используется в прикладной статистике, эконометрике, биостатистике и психометрии для обработки данных, содержащих выбросы, которые не являются результатом ошибок, но могут искажать средние значения. Например, при анализе доходов населения (где крайне высокие доходы являются выбросами) винзоризованное среднее даёт более репрезентативную оценку «типичного» дохода, чем обычное среднее.

Обработка сигналов и изображений

В цифровой обработке сигналов винзоризация применяется для фильтрации шума, особенно импульсного (солевого и перечного шума). Винзоризованный фильтр заменяет пиксели, выходящие за пределы определённого диапазона, на граничные значения, что позволяет удалять резкие выбросы, сохраняя резкость краёв изображения лучше, чем медианный фильтр.

Спортивная статистика

В некоторых видах спорта (например, в фигурном катании, прыжках в воду) винзоризованное среднее используется для оценки результатов, когда судейские оценки могут содержать систематические завышения или занижения. Замена крайних оценок на ближайшие к ним позволяет уменьшить влияние предвзятости отдельных судей.

Финансовая аналитика

В финансовой математике винзоризованное среднее применяется для расчёта доходности портфелей, когда экстремальные значения (например, вызванные рыночными крахами) могут искажать среднюю доходность. Это позволяет получить более устойчивую оценку ожидаемой доходности.

Критика и ограничения

Потеря информации о выбросах: Винзоризация заменяет выбросы, а не удаляет их, что может скрыть важные аномалии, если выбросы несут содержательную информацию (например, редкие, но значимые события).
Смещение для асимметричных распределений: Для несимметричных распределений винзоризованное среднее может давать смещённую оценку центра, что требует коррекции или использования других робастных методов (например, медианы или M-оценок).
Субъективность выбора параметра усечения: Значение \( \alpha \) выбирается исследователем произвольно, что может влиять на результаты. Рекомендуется проводить анализ чувствительности при разных \( \alpha \).
Неприменимость для малых выборок: При малом объёме выборки (n < 10) винзоризация может приводить к значительной потере информации и увеличению дисперсии оценки.

Варианты и обобщения

Двусторонняя винзоризация — замена элементов с обоих концов распределения (стандартный случай).
Односторонняя винзоризация — замена только с одного конца (например, только минимальных или только максимальных значений), применяется, когда выбросы ожидаются только с одной стороны.
Винзоризация по процентилям — замена значений, выходящих за пределы заданных процентилей (например, 5-го и 95-го), на граничные значения.
Взвешенная винзоризация — замена крайних значений не на фиксированные границы, а на взвешенные комбинации соседних элементов.