Предикторы — понятие и классификация¶

Предиктор — это переменная, используемая в статистике, машинном обучении и научных исследованиях для прогнозирования значения другой переменной (называемой зависимой переменной, откликом или целевой переменной). В широком смысле предиктор — любой признак, фактор или наблюдаемая величина, на основании которой строится прогноз или объясняется поведение изучаемого объекта. В регрессионном анализе предикторы выступают в роли независимых переменных (регрессоров), а в задачах машинного обучения — в роли входных признаков (features), по которым модель вычисляет выходное значение.

¶Происхождение термина

Слово «предиктор» происходит от латинского praedictor — «предсказатель», от praedicere — «предсказывать, провозглашать». В статистической литературе термин закрепился в XX веке, во многом благодаря работам Дж. П. Гилфорда, предложившего в 1950-х годах термин «предикторная переменная» для обозначения признаков, используемых для предсказания критериальных переменных в психодиагностике. В англоязычной традиции термин predictor стал стандартным обозначением независимой переменной в контексте регрессии и прогнозирования, тогда как более формальное «независимая переменная» подчёркивает причинно-следственную интерпретацию, а «предиктор» — чисто прогностическую.

¶Предикторы в статистике

В классическом регрессионном анализе модель описывается соотношением вида Y = f(X₁, X₂, …, Xₖ) + ε, где Y — зависимая переменная, X₁…Xₖ — предикторы, ε — ошибка. Предикторы могут быть:

• Количественными (непрерывными) — возраст, доход, температура;
• Качественными (категориальными) — пол, регион проживания, тип заболевания. В регрессии они кодируются с помощью фиктивных (dummy) переменных;
• Порядковыми — занимающими промежуточное положение (например, уровень образования, стадия заболевания).

Ключевые допущения линейной регрессии касаются предикторов: отсутствие мультиколлинеарности (сильной линейной связи между предикторами), линейность связи с откликом, экзогенность (отсутствие корреляции с ошибкой модели). Нарушение этих допущений приводит к неустойчивым оценкам коэффициентов и ухудшению прогноза.

¶Предикторы в машинном обучении

В задачах supervised learning предикторы образуют признаковое пространство. Качество модели существенно зависит от того, какие предикторы включены в набор данных:

• Релевантность — предиктор должен нести информацию о целевой переменной;
• Доступность — признак должен измеряться в момент прогноза (нарушение этого условия приводит к утечке данных, data leakage);
• Устойчивость — распределение предиктора в будущем должно соответствовать обучающей выборке (проблема concept drift).

Отбор предикторов (feature selection) выполняется методами фильтрации (корреляция, взаимная информация), обёртывания (перебор подмножеств, рекурсивное исключение признаков) и встроенными методами (L1-регуляризация, важность признаков в случайном лесу). Сокращение размерности (PCA, t-SNE) преобразует исходные предикторы в новые компоненты, сохраняющие основную часть дисперсии.

¶Предикторы в науке и медицине

В эпидемиологии и клинической медицине предикторы — это факторы, ассоциированные с риском развития заболевания или исхода лечения. Например, возраст, артериальное давление и уровень холестерина выступают предикторами сердечно-сосудистых заболеваний. На основании таких предикторов строятся прогностические шкалы (например, шкалы SCORE или Framingham Risk Score).

В психологии предикторы используются для прогнозирования поведения и когнитивных функций. В эконометрике предикторами выступают макроэкономические индикаторы — индекс доверия потребителей, ставка ЦБ, индекс деловой активности.

¶Предикторы в других областях

• Метеорология — атмосферное давление, влажность, ветер служат предикторами погоды;
• Сейсмология — предикторы землетрясений (предвестники) включают микротреморы, деформации грунта, поведение животных;
• Спортивная аналитика — статистика игроков предсказывает исход матчей;
• Финансы — макроиндикаторы и рыночные данные используются как предикторы цен активов.

¶Ограничения

Предиктор, коррелирующий с откликом, не обязательно является его причиной. Корреляция может объясняться скрытым (латентным) фактором или совпадением. Следовательно, предикторы, показавшие высокую прогностическую силу в выборке, требуют проверки на независимых данных (валидация, кросс-валидация). Чрезмерное число предикторов относительно объёма выборки ведёт к переобучению модели.

¶Примечания

В теории вероятностей и стохастических процессах термин «предиктор» используется в более узком смысле — как функция, позволяющая на основе прошлых наблюдений вычислить наилучшее приближение будущего значения случайной величины (прогноз в смысле наилучшего несмещённого оценщика, BLUP).

Источники:

• Гилфорд Дж. П. Психометрические методы
• Драйвер И. Статистика: курс для начинающих
• Джеймс Г., Уиттон Д., Хасти Т., Тибширани Р. Введение в статистическое обучение
• Хосе К., Хинтон Г., Джордан М. — материалы по машинному обучению
• Фаруэй Дж. Введение в линейный регрессионный анализ