Усечение выборки

Усечение выборки (англ. truncation, sample truncation) — в статистике и эконометрике тип цензурирования данных, при котором из исходной совокупности наблюдений систематически исключаются все единицы, не удовлетворяющие определённому условию (например, значения ниже или выше заданного порога). В отличие от цензурирования, где информация о факте выхода за границу сохраняется, при усечении такие наблюдения полностью удаляются из набора данных, что приводит к смещению оценок статистических характеристик, если не применяются специальные методы коррекции.

Происхождение и контекст

Понятие усечения выборки возникло в рамках математической статистики в середине XX века в связи с развитием методов анализа выживаемости и экономических данных. Одним из первых систематических описаний проблемы считается работа Джеймса Тобина (1958), посвящённая моделям с ограниченной зависимой переменной. Тобин показал, что игнорирование механизма отбора наблюдений приводит к несостоятельности оценок метода наименьших квадратов. Впоследствии Хекман (1979) разработал двухшаговую процедуру коррекции смещения, основанную на обратном отношении Миллса, что стало стандартным инструментом для работы с усечёнными и цензурированными выборками.

Механизм усечения

Усечение возникает, когда процесс сбора данных или сама природа изучаемого явления накладывает ограничения на диапазон наблюдаемых значений. Различают несколько типов:

• Усечение слева — удаляются все наблюдения, значение которых меньше некоторого порога \( L \). Пример: анализ доходов домохозяйств по данным налоговых деклараций, где не учитываются лица с доходом ниже необлагаемого минимума.
• Усечение справа — удаляются наблюдения, превышающие порог \( U \). Пример: изучение времени выполнения задачи, если эксперимент прерывается после фиксированного времени, и все незавершённые попытки исключаются.
• Двустороннее усечение — удаляются наблюдения как ниже нижнего, так и выше верхнего порога. Пример: данные о росте призывников, если призыву подлежат только лица ростом от 150 до 200 см.
• Случайное усечение — порог усечения не фиксирован, а является случайной величиной, коррелированной с изучаемой переменной. Пример: в медицинских исследованиях время до наступления события может быть усечено временем смерти пациента от другой причины.

Отличие от цензурирования

Усечение и цензурирование часто путают, но между ними принципиальная разница:

Последствия для статистического анализа

Использование стандартных статистических методов (среднее арифметическое, дисперсия, регрессия методом наименьших квадратов) на усечённой выборке приводит к систематическому смещению оценок. Основные эффекты:

• Смещение среднего — выборочное среднее усечённой выборки не равно среднему исходной совокупности. Например, если выборка усечена слева, среднее будет завышено.
• Смещение дисперсии — дисперсия усечённой выборки меньше дисперсии исходной совокупности, так как крайние значения исключены.
• Несостоятельность регрессионных оценок — коэффициенты регрессии, оценённые по усечённой выборке, смещены и не сходятся к истинным значениям при увеличении объёма выборки. Направление смещения зависит от типа усечения и корреляции между переменными.

Методы коррекции

Для получения состоятельных оценок параметров по усечённым данным применяются специальные эконометрические модели:

Усечённая регрессия (Truncated regression model)

Модель предполагает, что зависимая переменная \( y \) наблюдается только при выполнении условия \( y \in [L, U] \). Функция правдоподобия строится на основе условного распределения \( y \) при условии, что \( y \) попало в интервал наблюдения. Оценка максимального правдоподобия для такой модели даёт состоятельные и асимптотически эффективные оценки.

Двухшаговая процедура Хекмана

Разработана для случая, когда усечение возникает из-за механизма отбора, моделируемого отдельным уравнением (probit). На первом шаге оценивается вероятность включения наблюдения в выборку, на втором — в основное уравнение регрессии добавляется поправочный член (обратное отношение Миллса). Метод широко применяется в экономике труда и социологии.

Байесовские методы

Позволяют учитывать априорную информацию о распределении усечённой переменной и восстанавливать пропущенные значения с помощью методов имитационного моделирования (MCMC). Особенно полезны при малых выборках и сложных структурах усечения.

Примеры в различных областях

Экономика и финансы

• Анализ заработной платы по данным опросов, где респонденты с очень высокими доходами часто отказываются отвечать (усечение справа).
• Изучение объёмов кредитования, когда банки выдают кредиты только заёмщикам с определённым кредитным рейтингом (усечение слева).

Медицина и эпидемиология

• Исследования выживаемости, где пациенты наблюдаются только до определённого возраста или момента смерти (усечение справа).
• Клинические испытания, в которых из анализа исключаются пациенты, не завершившие полный курс лечения (усечение слева).

Социология и маркетинг

• Опросы общественного мнения, где респонденты с экстремальными взглядами могут отказываться от участия (усечение слева и справа).
• Анализ покупательского поведения, когда учитываются только покупки выше определённой суммы (усечение слева).

Технические науки

• Обработка сигналов, где амплитуда сигнала ограничена динамическим диапазоном измерительного прибора (двустороннее усечение).
• Контроль качества, когда бракованные изделия удаляются из выборки для анализа (усечение слева или справа в зависимости от критерия брака).

Критика и ограничения

Основная проблема методов коррекции усечения — их чувствительность к предположениям о распределении данных. Если истинное распределение существенно отличается от нормального или другого параметрического семейства, оценки могут быть смещёнными даже после коррекции. Кроме того, двухшаговая процедура Хекмана требует наличия инструментальной переменной, влияющей на механизм отбора, но не на основное уравнение, что на практике трудно обеспечить.

В российских исследованиях проблема усечения выборки особенно актуальна при анализе данных Росстата, где часто используются пороговые значения для отбора респондентов (например, обследования бюджетов домохозяйств исключают крайние децили). Неучёт усечения может приводить к завышению оценок средних доходов и занижению оценок неравенства.

Источники

• Тобин Дж. (1958). Estimation of Relationships for Limited Dependent Variables. Econometrica, 26(1), 24–36.
• Хекман Дж. (1979). Sample Selection Bias as a Specification Error. Econometrica, 47(1), 153–161.
• Грин У. (2018). Эконометрический анализ. 7-е изд. — М.: Дело.
• Магнус Я. Р., Катышев П. К., Пересецкий А. А. (2007). Эконометрика. Начальный курс. — М.: Дело.
• Cameron A. C., Trivedi P. K. (2005). Microeconometrics: Methods and Applications. Cambridge University Press.