Оценка максимального правдоподобия

Оценка максимального правдоподобия (ОМП, англ. Maximum Likelihood Estimation, MLE) — это метод статистического оценивания неизвестных параметров вероятностной модели на основе наблюдаемых данных. Суть метода заключается в поиске таких значений параметров, при которых вероятность (или плотность вероятности) получения наблюдаемой выборки является максимальной. Оценка максимального правдоподобия является одним из фундаментальных подходов в математической статистике, эконометрике, машинном обучении и многих других областях, где требуется подгонка моделей под данные.

Основные понятия

Метод опирается на понятие функции правдоподобия. Для набора независимых и одинаково распределённых наблюдений \( x_1, x_2, \dots, x_n \) функция правдоподобия \( L(\theta) \) определяется как произведение функций плотности (или вероятностей) для каждого наблюдения, где \( \theta \) — вектор оцениваемых параметров:

\[ L(\theta) = \prod_{i=1}^n f(x_i \mid \theta) \]

На практике часто удобнее работать с логарифмической функцией правдоподобия (log-likelihood), так как логарифм превращает произведение в сумму, что упрощает вычисления:

\[ \ell(\theta) = \ln L(\theta) = \sum_{i=1}^n \ln f(x_i \mid \theta) \]

Оценка максимального правдоподобия \( \hat{\theta}_{\text{MLE}} \) — это значение параметра (или вектор параметров), при котором функция правдоподобия (или её логарифм) достигает максимума:

\[ \hat{\theta}_{\text{MLE}} = \arg\max_{\theta} L(\theta) = \arg\max_{\theta} \ell(\theta) \]

История

Идея метода впервые была сформулирована английским статистиком Рональдом Фишером в 1912–1922 годах. Фишер систематически развил теорию оценок максимального правдоподобия, доказал их состоятельность, асимптотическую нормальность и эффективность при определённых условиях регулярности. Однако первые упоминания принципа встречаются ещё в работах Карла Фридриха Гаусса (начало XIX века), который использовал его для обоснования метода наименьших квадратов. В современной статистике ОМП считается стандартным методом оценивания благодаря своим оптимальным асимптотическим свойствам.

Свойства оценок максимального правдоподобия

При выполнении ряда условий регулярности (гладкость функции правдоподобия, существование производных, возможность дифференцирования под знаком интеграла) оценки максимального правдоподобия обладают следующими важными свойствами:

• Состоятельность: оценка сходится по вероятности к истинному значению параметра при увеличении объёма выборки.
• Асимптотическая нормальность: распределение оценки стремится к нормальному распределению с центром в истинном значении параметра и дисперсией, равной обратной информационной матрице Фишера.
• Асимптотическая эффективность: дисперсия оценки достигает нижней границы Рао — Крамера, то есть среди всех состоятельных асимптотически нормальных оценок ОМП имеет наименьшую дисперсию.
• Инвариантность: если \( \hat{\theta} \) — ОМП для \( \theta \), то для любой функции \( g(\theta) \) оценка \( g(\hat{\theta}) \) является ОМП для \( g(\theta) \).

Для малых выборок свойства ОМП могут быть неоптимальными (например, смещение), однако на практике метод часто применяется и при ограниченных объёмах данных.

Примеры применения

Нормальное распределение

Пусть \( x_1, \dots, x_n \) — выборка из нормального распределения с неизвестным средним \( \mu \) и дисперсией \( \sigma^2 \). Функция правдоподобия:

\[ L(\mu, \sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_i - \mu)^2}{2\sigma^2}\right) \]

Логарифмическая функция правдоподобия:

\[ \ell(\mu, \sigma^2) = -\frac{n}{2} \ln(2\pi) - \frac{n}{2} \ln(\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2 \]

Приравнивая частные производные к нулю, получаем оценки:

\[ \hat{\mu} = \frac{1}{n} \sum_{i=1}^n x_i, \quad \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (x_i - \hat{\mu})^2 \]

Оценка дисперсии является смещённой; несмещённая оценка получается делением на \( n-1 \).

Биномиальное распределение

Для \( k \) успехов в \( n \) испытаниях Бернулли с вероятностью успеха \( p \) функция правдоподобия:

\[ L(p) = C_n^k p^k (1-p)^{n-k} \]

Максимум достигается при \( \hat{p} = k/n \).

Линейная регрессия

В классической линейной регрессии с нормальными ошибками оценки коэффициентов, полученные методом наименьших квадратов, совпадают с оценками максимального правдоподобия.

Вычислительные аспекты

На практике для поиска максимума функции правдоподобия часто применяют численные методы оптимизации, так как аналитическое решение может отсутствовать. Используются градиентные методы (например, метод Ньютона — Рафсона), методы квазиньютоновского типа (BFGS, L-BFGS) и стохастические алгоритмы (например, стохастический градиентный спуск). В современных статистических пакетах (R, Python с библиотеками SciPy и StatsModels, MATLAB, Stata) реализованы специализированные процедуры для ОМП.

Связь с другими методами

• Метод наименьших квадратов (МНК) является частным случаем ОМП для моделей с нормально распределёнными ошибками.
• Байесовское оценивание использует апостериорное распределение, которое пропорционально произведению правдоподобия и априорного распределения. ОМП соответствует байесовской оценке при равномерном априорном распределении.
• Метод моментов — альтернативный подход, который не требует максимизации функции правдоподобия, но часто менее эффективен.
• Обобщённый метод моментов (GMM) — расширение метода моментов, используемое в эконометрике.

Критика и ограничения

• Для малых выборок оценки могут быть смещёнными.
• При нарушении условий регулярности (например, если параметр находится на границе области определения) свойства ОМП могут не выполняться.
• В сложных моделях (например, со многими параметрами) функция правдоподобия может иметь множество локальных максимумов, что затрудняет поиск глобального максимума.
• Метод чувствителен к неправильной спецификации модели: если распределение данных не соответствует предполагаемому, оценки могут быть несостоятельными.
• Для некоторых моделей (например, смеси распределений) функция правдоподобия неограничена, и ОМП не существует.

Применение в различных областях

• Эконометрика: оценивание параметров регрессионных моделей, моделей дискретного выбора (логит, пробит), моделей с усечёнными и цензурированными данными.
• Биостатистика: анализ выживаемости, модели доза-эффект, генетическое картирование.
• Машинное обучение: обучение генеративных моделей (наивный байесовский классификатор, скрытые марковские модели, гауссовы смеси), оценка параметров нейронных сетей (в контексте максимизации правдоподобия для задач классификации и регрессии).
• Обработка сигналов: оценивание параметров сигналов на фоне шума, локализация источников.
• Физика: подгонка теоретических моделей под экспериментальные данные (например, в физике элементарных частиц).

Интересные факты

• Метод максимального правдоподобия лежит в основе критерия Акаике (AIC) — одного из наиболее распространённых критериев для выбора модели.
• В некоторых задачах (например, при оценивании параметров распределения Коши) функция правдоподобия может иметь несколько локальных максимумов, что требует использования робастных алгоритмов оптимизации.
• Рональд Фишер ввёл термин «правдоподобие» (likelihood), чтобы подчеркнуть отличие от вероятности: правдоподобие не является вероятностью, а лишь мерой согласия модели с данными.

Источники

• Fisher, R. A. (1922). «On the mathematical foundations of theoretical statistics». Philosophical Transactions of the Royal Society of London. Series A.
• Casella, G., Berger, R. L. (2002). «Statistical Inference». Duxbury Press.
• Lehmann, E. L., Casella, G. (1998). «Theory of Point Estimation». Springer.
• Wasserman, L. (2004). «All of Statistics: A Concise Course in Statistical Inference». Springer.
• Математическая статистика / под ред. В. Н. Тутубалина. — М.: Изд-во МГУ, 1998.