Метод максимального правдоподобия

Метод максимального правдоподобия (ММП; англ. Maximum Likelihood Estimation, MLE) — это статистический метод оценивания параметров вероятностной модели на основе наблюдаемых данных. Суть метода заключается в том, чтобы найти такие значения параметров распределения, при которых вероятность (или плотность вероятности) получения имеющейся выборки данных была бы максимальной. Полученные таким образом оценки называются оценками максимального правдоподобия (ОМП). Метод широко применяется в математической статистике, эконометрике, машинном обучении, биоинформатике и других областях, где требуется подбор параметров моделей по эмпирическим данным.

История

Основы метода были заложены в работах Карла Фридриха Гаусса (начало XIX века), который использовал принцип максимума вероятности для обоснования метода наименьших квадратов. Однако в современном виде метод был сформулирован и систематически развит британским статистиком Рональдом Фишером в 1910—1920-х годах. В 1912 году Фишер опубликовал статью «Об абсолютном критерии соответствия частот», где впервые чётко определил функцию правдоподобия и предложил процедуру её максимизации. В последующие десятилетия Фишер доказал состоятельность, асимптотическую нормальность и эффективность оценок максимального правдоподобия при определённых условиях регулярности, что заложило теоретическую базу метода.

Определение и формализация

Функция правдоподобия

Пусть имеется случайная выборка \( X_1, X_2, \dots, X_n \) независимых и одинаково распределённых случайных величин с плотностью распределения (или вероятностью) \( f(x; \theta) \), где \( \theta \) — неизвестный параметр (возможно, векторный). Функцией правдоподобия называется совместная плотность (или вероятность) выборки, рассматриваемая как функция от параметра при фиксированных наблюдениях:

\[ L(\theta; x_1, \dots, x_n) = \prod_{i=1}^{n} f(x_i; \theta) \]

Оценка максимального правдоподобия

Оценкой максимального правдоподобия \( \hat{\theta}_{\text{ML}} \) называется такое значение параметра \( \theta \), при котором функция правдоподобия достигает максимума:

\[ \hat{\theta}_{\text{ML}} = \arg\max_{\theta \in \Theta} L(\theta; \mathbf{x}) \]

На практике часто удобнее максимизировать логарифмическую функцию правдоподобия (логарифм произведения превращается в сумму), что не меняет точки максимума:

\[ \ell(\theta) = \ln L(\theta) = \sum_{i=1}^{n} \ln f(x_i; \theta) \]

Свойства оценок максимального правдоподобия

При выполнении условий регулярности (дифференцируемость, существование моментов, компактность параметрического пространства и др.) оценки ММП обладают рядом важных асимптотических свойств:

• Состоятельность: оценка сходится по вероятности к истинному значению параметра при увеличении объёма выборки.
• Асимптотическая нормальность: распределение оценки стремится к нормальному с ковариационной матрицей, обратной информационной матрице Фишера.
• Асимптотическая эффективность: среди всех состоятельных асимптотически нормальных оценок ОМП имеет наименьшую дисперсию.
• Инвариантность: если \( \hat{\theta} \) — ОМП для \( \theta \), то для любой функции \( g(\theta) \) ОМП будет \( g(\hat{\theta}) \).

Для конечных выборок точные распределения ОМП часто неизвестны, и их свойства изучаются методами симуляций или асимптотической аппроксимации.

Методы вычисления

Аналитический метод

Для некоторых моделей (например, нормальное распределение, распределение Пуассона, экспоненциальное распределение) функция правдоподобия дифференцируема, и оценка находится из системы уравнений:

\[ \frac{\partial \ell(\theta)}{\partial \theta_j} = 0, \quad j = 1, \dots, k \]

Эти уравнения называются уравнениями правдоподобия. Для нормального распределения с неизвестными средним \( \mu \) и дисперсией \( \sigma^2 \) решение даёт:

\[ \hat{\mu} = \frac{1}{n}\sum_{i=1}^{n} x_i, \quad \hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^{n} (x_i - \hat{\mu})^2 \]

Численные методы

Когда аналитическое решение невозможно (например, в логистической регрессии, моделях со смешанными эффектами, нейронных сетях), применяют численные алгоритмы оптимизации:

• Градиентный спуск и его варианты (стохастический градиентный спуск, Adam).
• Метод Ньютона-Рафсона (использует вторые производные).
• Алгоритм EM (Expectation-Maximization) для моделей со скрытыми переменными.
• Методы симуляции (например, MCMC) для байесовских версий.

Применение

В математической статистике

ММП является основным методом точечного оценивания. На его основе строятся доверительные интервалы (с использованием асимптотической нормальности) и критерии проверки гипотез (отношение правдоподобия, Вальда, множителей Лагранжа).

В регрессионном анализе

В линейной регрессии с нормальными ошибками ОМП совпадает с оценкой метода наименьших квадратов. В логистической, пуассоновской и других обобщённых линейных моделях (GLM) параметры оцениваются именно методом максимального правдоподобия.

В машинном обучении

Многие алгоритмы обучения с учителем (логистическая регрессия, наивный байесовский классификатор, нейронные сети с кросс-энтропийной функцией потерь) фактически минимизируют отрицательное логарифмическое правдоподобие. В обучении без учителя (например, смеси гауссовых распределений) используется EM-алгоритм.

В биоинформатике и эволюционной биологии

ММП применяется для построения филогенетических деревьев, оценки параметров эволюционных моделей, анализа последовательностей ДНК и белков.

В эконометрике

Оценка параметров моделей дискретного выбора (логит, пробит), моделей с цензурированными данными (тобит-модели), моделей временных рядов (ARMA, GARCH) выполняется методом максимального правдоподобия.

Критика и ограничения

• Зависимость от модели: неправильная спецификация распределения ведёт к смещённым и несостоятельным оценкам.
• Малые выборки: асимптотические свойства могут плохо работать при малом объёме данных; оценки могут быть смещёнными (например, оценка дисперсии нормального распределения имеет смещение \( \sigma^2/n \)).
• Мультимодальность: функция правдоподобия может иметь несколько локальных максимумов, и численный алгоритм может сойтись к неверному.
• Вычислительная сложность: для сложных моделей (глубокие нейронные сети, большие байесовские модели) оптимизация требует значительных ресурсов.
• Неидентифицируемость: если разные наборы параметров порождают одинаковое распределение, оценки не единственны.

Альтернативы

• Метод моментов: проще в вычислении, но менее эффективен.
• Байесовское оценивание: использует априорное распределение и даёт апостериорное распределение параметров, а не точечную оценку.
• Метод наименьших квадратов: частный случай ММП для нормального распределения, но может применяться и к негауссовским данным.
• Робастные методы: менее чувствительны к выбросам, чем ММП.

Пример

Рассмотрим выборку из экспоненциального распределения с плотностью \( f(x; \lambda) = \lambda e^{-\lambda x} \) для \( x \geq 0 \). Функция правдоподобия:

\[ L(\lambda) = \prod_{i=1}^{n} \lambda e^{-\lambda x_i} = \lambda^n e^{-\lambda \sum x_i} \]

Логарифмическая функция:

\[ \ell(\lambda) = n \ln \lambda - \lambda \sum_{i=1}^{n} x_i \]

Производная:

\[ \frac{d\ell}{d\lambda} = \frac{n}{\lambda} - \sum x_i = 0 \Rightarrow \hat{\lambda} = \frac{n}{\sum x_i} = \frac{1}{\bar{x}} \]

Таким образом, оценка максимального правдоподобия для параметра экспоненциального распределения — обратная величина выборочного среднего.

Источники

• Fisher, R. A. (1912). On an absolute criterion for fitting frequency curves. Messenger of Mathematics, 41, 155–160.
• Fisher, R. A. (1922). On the mathematical foundations of theoretical statistics. Philosophical Transactions of the Royal Society of London, Series A, 222, 309–368.
• Casella, G., Berger, R. L. (2002). Statistical Inference (2nd ed.). Duxbury Press.
• Lehmann, E. L., Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer.
• Wasserman, L. (2004). All of Statistics: A Concise Course in Statistical Inference. Springer.