Биас — систематическая ошибка в данных¶

Биас (от англ. bias — смещение, предвзятость) — систематическая ошибка, приводящая к отклонению оценки или результата от истинного значения. В отличие от случайной ошибки, биас имеет устойчивое направление: он смещает данные в одну сторону, и усреднение множества наблюдений его не устраняет. Термин применяется в статистике, машинном обучении, психологии, экономике и социологии.

¶Статистика и теория вероятностей

В статистике биас оценки (смещение оценки) — это разность между математическим ожиданием оценки параметра и его истинным значением. Оценка называется несмещённой, если это математическое оожидание равно истинному параметру.

Пример: при оценке дисперсии по выборке деление на n даёт смещённую оценку (систематически заниженную), тогда как деление на n − 1 даёт несмещённую оценку.

Различают:

• Смещение (bias) — систематическая составляющая ошибки.
• Дисперсию (variance) — разброс оценок вокруг их среднего.
• Разброс (mean squared error) — сумма квадрата смещения и дисперсии.

Эта триада лежит в основе компромисса bias-variance tradeoff в машинном обучении.

¶Машинное обучение

В машинном обучении биас — это ошибка модели, возникающая из-за чрезмерного упрощения. Модель с высоким биасом плохо учитывает закономерности данных (underfitting). Например, линейная регрессия на данных со сложной нелинейной зависимостью будет систематически ошибаться.

Компромисс между биасом и дисперсией:

• Высокий биас, низкая дисперсия — простые модели (логистическая регрессия, линейные методы). Стабильны, но могут недообучаться.
• Низкий биас, высокая дисперсия — сложные модели (деревья решений без ограничений, kNN). Гибки, но склонны к переобучению и чувствительны к выборке.

Идеальная модель имеет низкий биас и низкую дисперсию, что на практике достигается балансировкой сложности, регуляризацией и ансамблированием.

¶Смещение выборки (sample bias)

Биас данных возникает, когда обучающая выборка не представляет реальное распределение. Примеры:

• Survivorship bias — анализ только «выживших» случаев (компании, дожившие до опубликования рейтинга), игнорируя «погибшие».
• Selection bias — нерепрезентативная выборка при опросах или медицинских исследованиях.
• Measurement bias — систематическая ошибка измерений прибором или методом сбора данных.
• Reporting bias — неравномерное попадание событий в отчёты (чаще сообщают о необычных случаях).

¶Психология и когнитивные искажения

В психологии под биасом понимают систематические отклонения суждений и решений от рациональных. Основные виды:

• Подтверждающее искажение (confirmation bias) — тенденция искать и интерпретировать информацию, подтверждающую существующие убеждения.
• Эвристика доступности — оценка вероятности по лёгкости вспоминания примеров.
• Анкеринг — зависимость оценки от первой полученной цифры.
• Атрибутивная ошибка — переоценка личностных факторов и недооценка ситуативных при объяснении поведения других людей.
• Эффект Даннинга — Крюгера — завышение компетентности некомпетентными людьми.

Эти искажения изучаются в рамках поведенческой экономики (Нобелевская премия по экономике 2002 года присуждена Даниэлю Канеману за исследования принятия решений при неопределённости).

¶Экономика и социология

• Биас в прогнозировании — систематическое завышение или занижение экономических прогнозов.
• Гендерный биас — статистические искажения, связанные с нерепрезентативностью данных по полу (например, тесты на автомобильных ремнях безопасности, рассчитанных на мужскую фигуру).
• Выживаемостный биас в инвестициях — анализ доходности только действующих фондов.

¶Методы снижения биаса

• Кросс-валидация и стратификация выборки.
• Регуляризация и ансамблирование моделей.
• Статистические методы: бутстрэп, байесовские подходы.
• Слепые протоколы экспериментов (double-blind).
• Осознанное разнообразие данных и команд.

¶См. также

• Дисперсия (статистика)
• Когнитивное искажение
• Переобучение

¶Источники

• Гмурман В. Е. «Теория вероятностей и математическая статистика».
• Hastie T., Tibshirani R., Friedman J. «The Elements of Statistical Learning».
• Kahneman D. «Thinking, Fast and Slow».
• Материалы Википедии на английском языке: Bias, Bias–variance tradeoff.