Смещение отбора

Смещение отбора (англ. selection bias) — это систематическая ошибка, возникающая при отборе единиц наблюдения (объектов, субъектов, данных) для анализа, когда процедура отбора нарушает принцип случайности и приводит к тому, что исследуемая выборка не является репрезентативной по отношению к генеральной совокупности, о которой делаются выводы. В результате статистические оценки и причинно-следственные связи, полученные на такой выборке, оказываются искажёнными и не могут быть корректно распространены на всю популяцию.

История изучения

Проблема смещения отбора была осознана ещё в XIX веке в связи с развитием статистики и социальных исследований. Одним из первых классических примеров является «парадокс Берксона» (1946), описанный американским статистиком Джозефом Берксоном. Он показал, что в клинических исследованиях, где пациенты отбираются по нескольким признакам одновременно (например, по двум заболеваниям), может возникать ложная отрицательная корреляция между этими признаками в выборке, даже если в популяции она отсутствует.

В XX веке, с развитием эпидемиологии, социологии и эконометрики, были формализованы основные типы смещения отбора. В 1950-х годах американский статистик Дональд Рубин разработал теорию потенциальных исходов, которая стала основой для понимания причин смещения в экспериментальных и наблюдательных исследованиях. В 1970-х годах Джеймс Хекман (Нобелевская премия по экономике, 2000) предложил методы коррекции смещения отбора в эконометрических моделях, в частности, двухшаговую процедуру Хекмана.

Классификация смещений отбора

Смещения отбора делятся на несколько основных типов в зависимости от механизма, который привёл к нерепрезентативности выборки.

Смещение отбора по участию (self-selection bias)

Возникает, когда единицы наблюдения сами решают, участвовать ли в исследовании. Например, в опросах общественного мнения люди с более сильным мнением по теме чаще соглашаются отвечать, чем равнодушные. Это приводит к перекосу в оценках. В экономике труда это проявляется, когда анализируются заработки работников, но не учитываются те, кто не работает (например, домохозяйки или безработные), — их потенциальные доходы неизвестны.

Смещение отбора по выживаемости (survivorship bias)

Ошибка, при которой анализируются только те объекты, которые «выжили» или прошли некоторый отбор, а выбывшие из процесса игнорируются. Классический пример — анализ успешных компаний: если изучать только действующие фирмы, можно сделать вывод, что «предпринимательство — это путь к успеху», не учитывая, что большинство стартапов разоряются. Другой пример — в военной статистике: во время Второй мировой войны американские военные анализировали повреждения на вернувшихся самолётах и укрепляли те места, где было больше пробоин. Статистик Абрахам Вальд указал, что это ошибка: нужно укреплять те места, где пробоин нет, — потому что самолёты, получившие попадания в эти зоны, не возвращались.

Смещение отбора по критериям включения (sampling bias)

Связано с неправильным определением границ генеральной совокупности или с неслучайным методом отбора. Например, если исследователь опрашивает людей только в торговом центре в будний день днём, он не получит репрезентативную выборку населения города — в ней будут преобладать пенсионеры, безработные и люди с гибким графиком. В медицинских исследованиях это может быть отбор пациентов только из одной клиники, что не отражает популяцию в целом.

Смещение отбора по времени (time interval bias)

Возникает, когда данные собираются в определённый временной интервал, который не является репрезентативным для изучаемого явления. Например, если анализировать заболеваемость гриппом только по данным за декабрь, можно переоценить его распространённость, игнорируя летние месяцы.

Смещение отбора по причине (confounding by indication)

Характерно для наблюдательных медицинских исследований. Возникает, когда решение о назначении лечения связано с прогнозом пациента. Например, если врачи назначают более агрессивное лечение более тяжёлым пациентам, то при сравнении исходов между группами лечения и контроля можно сделать ложный вывод, что лечение ухудшает состояние, хотя на самом деле оно просто назначалось более больным людям.

Примеры смещения отбора в различных областях

Медицина и эпидемиология

Одним из наиболее известных примеров является исследование связи между оральными контрацептивами и раком шейки матки в 1970-х годах. Первоначальные данные показывали сильную положительную корреляцию, однако позже было установлено, что женщины, принимавшие контрацептивы, чаще проходили гинекологические осмотры, что приводило к более раннему выявлению рака. Таким образом, смещение отбора по участию (более частое обследование) исказило реальную картину.

В клинических испытаниях смещение отбора может возникать, если пациенты с более тяжёлым течением болезни чаще выбывают из исследования (например, из-за смерти или побочных эффектов). Тогда в анализе остаются только относительно здоровые пациенты, что завышает эффективность препарата.

Социология и опросы

В 1936 году журнал «Literary Digest» провёл грандиозный опрос для прогноза президентских выборов в США. Было разослано 10 миллионов анкет, из них возвращено 2,4 миллиона. Результаты предсказывали победу республиканца Альфа Лэндона над действующим президентом Франклином Рузвельтом. Однако выборы выиграл Рузвельт с большим отрывом. Причина — смещение отбора: анкеты рассылались по телефонным книгам и спискам владельцев автомобилей, а в 1936 году, в разгар Великой депрессии, телефоны и машины имели в основном люди с высоким достатком, которые голосовали за республиканцев. Выборка была смещена в сторону богатых избирателей.

Экономика

В исследованиях влияния образования на доходы возникает смещение отбора: люди с более высокими способностями чаще получают высшее образование, поэтому наблюдаемая положительная связь между дипломом и зарплатой может быть частично обусловлена не самим образованием, а изначальными способностями. Для коррекции используются методы, такие как инструментальные переменные или регрессия на разрывах.

Спорт и психология

В профессиональном спорте часто анализируют «закон больших чисел»: кажется, что новички, которые начинают карьеру с серии успехов, впоследствии «усредняются» и показывают более низкие результаты. Однако это может быть следствием смещения отбора по выживаемости: в выборку попадают только те, кто показал высокие результаты в начале, а те, кто начал плохо, просто не попадают в профессиональный спорт.

Методы коррекции смещения отбора

Для устранения или минимизации смещения отбора применяются различные статистические и дизайнерские подходы.

Рандомизация

В экспериментальных исследованиях (например, в рандомизированных контролируемых испытаниях) случайное распределение участников по группам лечения и контроля позволяет сбалансировать известные и неизвестные факторы, устраняя смещение отбора по участию. Это «золотой стандарт» в медицине.

Стратификация и взвешивание

Если рандомизация невозможна, исследователи могут разделить выборку на подгруппы (страты) по ключевым переменным (возраст, пол, тяжесть заболевания) и анализировать каждую страту отдельно или взвешивать наблюдения так, чтобы их распределение в выборке соответствовало распределению в популяции.

Метод Хекмана (двухшаговая процедура)

В эконометрике применяется для коррекции смещения, вызванного неслучайным отбором в выборку. Первый шаг — оценка вероятности участия в выборке (например, с помощью пробит-модели). Второй шаг — включение полученной оценки (обратное отношение Миллса) в основное уравнение регрессии.

Пропенсити-скор (propensity score matching)

Метод, при котором для каждого наблюдения вычисляется вероятность попадания в группу лечения (пропенсити-скор) на основе наблюдаемых ковариат. Затем наблюдения из группы лечения и контроля сопоставляются по этому скору, что позволяет имитировать рандомизацию.

Чувствительный анализ

Исследователи могут оценить, насколько сильно должны быть выражены неучтённые факторы, чтобы полученные выводы оказались ошибочными. Это позволяет судить о робастности результатов.

Критика и ограничения

Несмотря на существование методов коррекции, смещение отбора остаётся одной из самых сложных проблем в эмпирических исследованиях. Критики отмечают, что:

• Рандомизация не всегда возможна (например, в исследованиях воздействия курения или загрязнения воздуха).
• Методы коррекции (например, пропенсити-скор) чувствительны к выбору переменных, включаемых в модель. Если какие-то важные факторы не измерены, смещение не устраняется.
• В наблюдательных исследованиях невозможно полностью исключить смещение отбора, особенно если оно связано с ненаблюдаемыми характеристиками (например, мотивацией или генетической предрасположенностью).
• В некоторых областях, таких как машинное обучение, смещение отбора может быть неочевидным, но критически важным: например, если модель обучается на данных, собранных в определённых условиях, она может плохо работать на новых данных.

Смещение отбора в России

В российской научной практике проблемы смещения отбора активно обсуждаются в социологии, эпидемиологии и экономике. Например, в исследованиях общественного мнения (ВЦИОМ, Левада-Центр — признан иноагентом в РФ) используются методы квотной и стратифицированной выборки для минимизации смещения. Однако в условиях ограниченного доступа к репрезентативным данным (например, из-за отказа от телефонных опросов в некоторых регионах) смещение отбора остаётся серьёзным вызовом. В медицинских исследованиях в России, особенно в региональных базах данных, часто наблюдается смещение отбора по выживаемости, когда из анализа исключаются пациенты, умершие до начала наблюдения.

Источники

1. Берксон Дж. «Limitations of the application of fourfold table analysis to hospital data» (1946).
2. Хекман Дж. «Sample selection bias as a specification error» (1979).
3. Рубин Д. «Estimating causal effects of treatments in randomized and nonrandomized studies» (1974).
4. Вальд А. «A method of estimating plane vulnerability based on damage of survivors» (1943).
5. Грэм М. «Selection bias» в энциклопедии «International Encyclopedia of the Social & Behavioral Sciences» (2015).
6. Ротман К., Гренланд С. «Modern Epidemiology» (3-е издание, 2008).