Открыть сервис
Главная → Блог → Лассо-регрессия

Лассо-регрессия

Лассо-регрессия (от англ. Least Absolute Shrinkage and Selection Operator — оператор наименьшего абсолютного сжатия и отбора) — это метод регрессионного анализа, применяемый в статистике и машинном обучении для построения прогностических моделей. Относится к классу регуляризованных регрессий наряду с гребневой регрессией (ридж-регрессией) и эластичной сетью. Основная особенность лассо-регрессии заключается в том, что она не только уменьшает величину коэффициентов регрессии, но и способна обнулять часть из них, тем самым выполняя автоматический отбор наиболее значимых признаков (feature selection). Метод был предложен Робертом Тибширани в 1996 году.

История возникновения

Метод лассо-регрессии был впервые представлен в статье Роберта Тибширани «Regression Shrinkage and Selection via the Lasso», опубликованной в журнале Journal of the Royal Statistical Society в 1996 году. Тибширани, работавший в то время в Университете Торонто, предложил новый подход к регуляризации, который сочетал в себе преимущества метода наименьших квадратов и методов сжатия коэффициентов. Идея возникла как развитие работ по гребневой регрессии (Hoerl, Kennard, 1970) и методам отбора признаков, таким как пошаговая регрессия и метод наименьших углов (LARS, предложенный позже, в 2004 году). Лассо быстро завоевал популярность в статистическом сообществе благодаря своей способности одновременно решать две задачи: уменьшение переобучения и упрощение модели за счёт отбора переменных.

Математическая постановка

Лассо-регрессия представляет собой модификацию метода наименьших квадратов (МНК). В классической линейной регрессии задача состоит в минимизации суммы квадратов остатков:

\[ \min_{\beta} \sum_{i=1}^{n} \left( y_i - \beta_0 - \sum_{j=1}^{p} x_{ij} \beta_j \right)^2 \]

где \( y_i \) — зависимая переменная, \( x_{ij} \) — значения признаков, \( \beta_j \) — коэффициенты регрессии, \( n \) — количество наблюдений, \( p \) — количество признаков.

В лассо-регрессии к целевой функции добавляется штрафное слагаемое, пропорциональное сумме абсолютных значений коэффициентов (L1-регуляризация):

\[ \min_{\beta} \left\{ \frac{1}{2n} \sum_{i=1}^{n} \left( y_i - \beta_0 - \sum_{j=1}^{p} x_{ij} \beta_j \right)^2 + \lambda \sum_{j=1}^{p} |\beta_j| \right\} \]

Здесь \( \lambda \geq 0 \) — гиперпараметр регуляризации, контролирующий степень сжатия. Чем больше \( \lambda \), тем сильнее штрафуются большие коэффициенты, и тем большее их количество обнуляется. При \( \lambda = 0 \) лассо-регрессия сводится к обычному МНК. При достаточно большом \( \lambda \) все коэффициенты становятся нулевыми, и модель предсказывает только константу.

Отличие от гребневой регрессии

В гребневой регрессии (ридж-регрессии) используется штраф на сумму квадратов коэффициентов (L2-регуляризация): \( \lambda \sum \beta_j^2 \). Это приводит к уменьшению коэффициентов, но не к их обнулению. Лассо же, благодаря L1-норме, создаёт разреженные решения, где многие коэффициенты равны нулю. Это делает лассо более удобным для интерпретации, особенно при большом числе признаков.

Алгоритмы оптимизации

Решение задачи лассо-регрессии не имеет аналитического выражения в замкнутой форме (в отличие от гребневой регрессии), поэтому используются итеративные численные методы. Наиболее распространённые подходы:

Координатный спуск (Coordinate Descent)

Этот метод заключается в последовательной оптимизации каждого коэффициента при фиксированных остальных. Для лассо-регрессии шаг координатного спуска имеет простое выражение через мягкий пороговый оператор (soft-thresholding). Алгоритм эффективен для больших наборов данных и реализован в большинстве библиотек (например, glmnet в R, scikit-learn в Python).

Метод наименьших углов (LARS)

Алгоритм LARS (Least Angle Regression), предложенный Эфроном и соавторами в 2004 году, позволяет эффективно вычислять весь путь регуляризации (все значения коэффициентов для всех \( \lambda \)). LARS особенно полезен, когда число признаков меньше числа наблюдений.

Субградиентные методы

Используются для задач с большими данными, где координатный спуск может быть медленным. Основаны на вычислении субградиента целевой функции.

Выбор гиперпараметра λ

Параметр \( \lambda \) является ключевым для качества модели. Его выбор осуществляется с помощью перекрёстной проверки (кросс-валидации). Наиболее распространённый подход — k-кратная перекрёстная проверка (обычно k=5 или k=10). Для каждого кандидата \( \lambda \) вычисляется средняя ошибка на тестовых выборках. Выбирается \( \lambda \), минимизирующий эту ошибку, или \( \lambda \) на одно стандартное отклонение больше (правило «1 SE»), что даёт более простую модель.

Также используется информационный критерий Акаике (AIC) или Байесовский информационный критерий (BIC), адаптированные для регуляризованных моделей.

Свойства и особенности

Разреженность решений

Главное свойство лассо-регрессии — способность обнулять коэффициенты. Это делает модель интерпретируемой: из множества потенциальных предикторов остаются только наиболее важные. Это особенно ценно в задачах с большим числом признаков (например, в геномике, анализе текстов).

Устойчивость к мультиколлинеарности

Лассо менее чувствителен к сильной корреляции между признаками, чем обычный МНК, но уступает в этом гребневой регрессии. При наличии группы сильно коррелированных признаков лассо может выбрать только один из них, игнорируя остальные. Для решения этой проблемы используется эластичная сеть (elastic net), комбинирующая L1 и L2 регуляризацию.

Асимптотические свойства

При определённых условиях (например, при выполнении условия иррепрезентативности) лассо-регрессия состоятельна в смысле отбора признаков: с ростом числа наблюдений она правильно идентифицирует истинные ненулевые коэффициенты. Однако на практике это свойство может нарушаться при сильной корреляции признаков.

Применение

Лассо-регрессия широко используется в различных областях:

Эконометрика и финансы

Применяется для прогнозирования экономических показателей, отбора факторов в моделях ценообразования активов, анализа кредитного риска. Например, при построении модели доходности акций из сотен потенциальных факторов лассо выделяет лишь несколько наиболее значимых.

Биоинформатика и геномика

В задачах анализа экспрессии генов, где число признаков (генов) может достигать десятков тысяч, а число наблюдений — лишь сотен, лассо позволяет идентифицировать гены, связанные с заболеванием. Используется в GWAS (полногеномных исследованиях ассоциаций).

Обработка изображений и сигналов

Лассо применяется для сжатого восприятия (compressed sensing) — восстановления сигналов по малому числу измерений. Алгоритмы на основе L1-регуляризации лежат в основе методов разреженного кодирования.

Маркетинг и анализ данных

Используется для построения моделей прогнозирования спроса, сегментации клиентов, оценки эффективности рекламных каналов при большом числе предикторов.

Варианты и обобщения

Адаптивное лассо (Adaptive Lasso)

Модификация, в которой веса штрафа для разных коэффициентов различны. Позволяет улучшить состоятельность отбора признаков. Предложено Зоу (2006).

Групповое лассо (Group Lasso)

Применяется, когда признаки естественным образом разбиты на группы (например, наборы генов или категориальные переменные с несколькими уровнями). Штраф накладывается на нормы групп коэффициентов, что позволяет обнулять или сохранять целые группы.

Эластичная сеть (Elastic Net)

Комбинация L1 и L2 регуляризации: \( \lambda_1 \sum |\beta_j| + \lambda_2 \sum \beta_j^2 \). Сочетает преимущества обоих методов: разреженность решений и устойчивость к группам коррелированных признаков.

Лассо для обобщённых линейных моделей

Лассо может быть применён к логистической регрессии, регрессии Пуассона и другим моделям из семейства обобщённых линейных моделей (GLM). В этом случае штраф добавляется к логарифму функции правдоподобия.

Критика и ограничения

Программная реализация

Лассо-регрессия реализована во всех основных статистических пакетах и библиотеках машинного обучения:

Источники

BFOmetr — база данных и аналитика по компаниям России.

На главную BFOmetr →

Похожие материалы