Усечённое среднее

Усечённое среднее (также усечённое среднее арифметическое, среднее с отбрасыванием выбросов) — это мера центральной тенденции, вычисляемая как среднее арифметическое выборки после удаления заданного числа наименьших и наибольших её элементов. В отличие от обычного среднего арифметического, усечённое среднее устойчиво к влиянию выбросов (аномальных значений), что делает его популярным инструментом в статистике, обработке сигналов, спортивной аналитике и экономике.

Определение и формализация

Пусть имеется упорядоченная по возрастанию выборка \( x_1 \le x_2 \le \dots \le x_n \). Усечённое среднее с параметром \( k \) (где \( k \) — целое неотрицательное число, меньшее \( n/2 \)) определяется как:

\[ \bar{x}_{\text{trunc}} = \frac{1}{n - 2k} \sum_{i=k+1}^{n-k} x_i \]

Иными словами, из выборки исключаются \( k \) наименьших и \( k \) наибольших значений, после чего вычисляется среднее арифметическое оставшихся \( n-2k \) элементов. Параметр \( k \) может быть задан как целое число или как доля от объёма выборки (например, 5 % усечение с обеих сторон). В последнем случае \( k = \lfloor \alpha n \rfloor \), где \( \alpha \) — доля усечения (обычно от 0 до 0,5).

Частные случаи:

• При \( k = 0 \) усечённое среднее совпадает с обычным средним арифметическим.
• При \( k = \lfloor (n-1)/2 \rfloor \) (максимально возможное усечение) усечённое среднее превращается в медиану (для нечётного \( n \)) или в среднее арифметическое двух центральных элементов (для чётного \( n \)).

Свойства

Устойчивость к выбросам

Основное преимущество усечённого среднего перед обычным средним — его робастность (устойчивость). Одно-единственное экстремальное значение (например, ошибка измерения или аномальный всплеск) может сильно исказить среднее арифметическое, но не влияет на усечённое среднее, если это значение попало в число отбрасываемых. Точка разрушения (breakdown point) усечённого среднего с параметром \( k \) равна \( k/n \). Для 5%-ного усечения она составляет 5 %, то есть для разрушения оценки требуется не менее 5 % выбросов с каждой стороны.

Эффективность

При отсутствии выбросов и нормальном распределении данных усечённое среднее несколько менее эффективно, чем обычное среднее арифметическое (то есть имеет большую дисперсию при фиксированном объёме выборки). Однако при наличии выбросов или при распределениях с тяжёлыми хвостами (например, распределение Коши) усечённое среднее может превосходить обычное среднее по эффективности. Оптимальная доля усечения зависит от формы распределения и целей анализа.

Связь с другими оценками

Усечённое среднее является частным случаем L-оценок (линейных комбинаций порядковых статистик). Оно также близко к винзоризованному среднему, где отбрасываемые значения не удаляются, а заменяются на ближайшие оставшиеся. В отличие от медианы, усечённое среднее использует больше данных, что увеличивает его эффективность при умеренных объёмах выборки.

История

Понятие усечения данных для повышения устойчивости оценок восходит к работам статистиков середины XX века. Одним из первых систематическое исследование усечённых средних провёл американский математик Джон Тьюки в 1960-х годах в рамках развития робастной статистики. Тьюки предложил использовать усечённые средние как компромисс между средним арифметическим и медианой. В 1970-х годах концепция получила широкое распространение благодаря работам Питера Хубера и Фрэнка Хэмпела, заложивших основы теории робастного оценивания.

Применение

Спортивная статистика

В фигурном катании, прыжках в воду, гимнастике и других видах спорта, где оценки выставляются несколькими судьями, часто применяется усечённое среднее. Например, в фигурном катании на Олимпийских играх из оценок судей удаляются одна наименьшая и одна наибольшая, а затем вычисляется среднее арифметическое оставшихся. Это позволяет снизить влияние субъективных или ошибочных оценок.

Экономика и финансы

Усечённое среднее используется для расчёта базовой инфляции (core inflation). Центральные банки, включая Банк России, Федеральную резервную систему США и Европейский центральный банк, публикуют показатели инфляции, исключающие наиболее волатильные компоненты (например, цены на продукты питания и энергоносители). В некоторых методиках применяется усечение по 10 % или 15 % с обеих сторон от распределения изменений цен.

Обработка сигналов и изображений

В цифровой обработке сигналов усечённое среднее используется как фильтр для подавления импульсного шума (соль-и-перец). Фильтр скользящего усечённого среднего заменяет каждый отсчёт сигнала на усечённое среднее значений в окрестности. Он эффективнее медианного фильтра при наличии как импульсного, так и гауссовского шума.

Социологические и медицинские исследования

При анализе опросов или клинических данных выбросы могут возникать из-за ошибок ввода, нечестных ответов или редких патологий. Усечённое среднее позволяет получить более надёжную оценку центральной тенденции, не удаляя данные полностью.

Критика и ограничения

• Потеря информации: Удаление части данных всегда приводит к потере информации, что может быть нежелательно при малых объёмах выборки.
• Субъективность выбора параметра: Доля усечения выбирается исследователем, и разные значения могут приводить к разным выводам. Отсутствие единого стандарта затрудняет сравнение результатов.
• Неприменимость к асимметричным распределениям: При сильной асимметрии усечение с обеих сторон может сместить оценку, так как симметричное удаление не учитывает форму распределения. В таких случаях предпочтительнее использовать асимметричные усечённые средние или другие робастные оценки (например, M-оценки).
• Сложность интерпретации: В отличие от медианы или среднего арифметического, усечённое среднее не имеет простой интуитивной интерпретации для неспециалистов.

Пример

Рассмотрим выборку: [1, 2, 3, 4, 5, 6, 7, 8, 9, 100]. Обычное среднее арифметическое равно 14,5, что явно не отражает типичные значения из-за выброса 100. Усечённое среднее с \( k=1 \) (удаление одного наименьшего и одного наибольшего) вычисляется по оставшимся элементам [2, 3, 4, 5, 6, 7, 8, 9] и равно 5,5. Это значение гораздо лучше характеризует центральную тенденцию основной массы данных.

Источники

• Тьюки, Дж. (1962). «The Future of Data Analysis». The Annals of Mathematical Statistics.
• Хубер, П. Дж. (1981). Robust Statistics. Wiley.
• Хэмпел, Ф. Р. и др. (1986). Robust Statistics: The Approach Based on Influence Functions. Wiley.
• Банк России. (2023). «Методология расчёта показателей базовой инфляции». Официальный сайт.
• ГОСТ Р 50779.10-2000 (ИСО 3534-1-93). «Статистические методы. Вероятность и основы статистики. Термины и определения».