Теория статистических решений¶

Теория статистических решений — это раздел математической статистики и теории вероятностей, изучающий методы принятия решений в условиях неопределённости, когда результат выбора зависит от случайных факторов, распределение которых известно лишь частично или с точностью до параметров. В отличие от классической теории игр, где противник активен и целенаправлен, в теории статистических решений «природа» (или статистическая среда) действует случайно, но с заданным вероятностным законом. Основная задача — построить правило (решающую функцию), которое по наблюдаемым данным минимизирует ожидаемые потери или риск.

¶История

Истоки теории статистических решений восходят к работам Абрахама Вальда, который в 1939—1945 годах опубликовал серию статей, обобщающих подходы Неймана — Пирсона к проверке гипотез и теории оценивания. Вальд ввёл понятие решающей функции, функции потерь и риска, а также сформулировал минимаксный критерий. В 1950 году вышла его монография «Statistical Decision Functions», ставшая основополагающей. Дальнейшее развитие связано с именами Леонарда Сэвиджа (субъективная вероятность и байесовский подход), Дэвида Блэквелла и Лучана Ле Кама. В СССР теория развивалась в работах А. Н. Колмогорова, Ю. В. Линника, А. А. Боровкова.

¶Основные понятия

¶Пространство решений и пространство состояний

Формально задача описывается тройкой:

• Пространство состояний природы \(\Theta\) — множество возможных значений неизвестного параметра \(\theta\).
• Пространство решений \(A\) — множество допустимых действий (например, «принять гипотезу \(H_0\)», «отвергнуть \(H_0\)», «оценить параметр числом»).
• Функция потерь \(L(\theta, a)\) — числовая мера ущерба от принятия решения \(a\), когда истинное состояние равно \(\theta\).

¶Решающая функция

Решающая функция (или правило) \(\delta(x)\) — это отображение из пространства наблюдений \(X\) в пространство решений \(A\). Она определяет, какое решение следует принять при каждом возможном наборе наблюдений.

¶Функция риска

Риск \(R(\theta, \delta)\) определяется как математическое ожидание функции потерь по распределению наблюдений при фиксированном \(\theta\):

\[ R(\theta, \delta) = \mathbb{E}_\theta[L(\theta, \delta(X))] = \int L(\theta, \delta(x)) \, f(x|\theta) \, dx \]

Здесь \(f(x|\theta)\) — плотность распределения наблюдений. Риск характеризует средние потери, которые понесёт исследователь, многократно применяя правило \(\delta\) при одном и том же \(\theta\).

¶Классификация критериев

¶Байесовский подход

В байесовском подходе предполагается, что на \(\Theta\) задано априорное распределение \(\pi(\theta)\). Байесовским риском называется средний риск по априорному распределению:

\[ r(\pi, \delta) = \int R(\theta, \delta) \, \pi(\theta) \, d\theta \]

Оптимальное правило \(\delta^\pi\) минимизирует байесовский риск. Такое правило называется байесовским решением (или байесовским правилом). Оно может быть найдено как решение, минимизирующее апостериорный риск.

¶Минимаксный подход

Минимаксный критерий не требует априорного распределения. Правило \(\delta^*\) называется минимаксным, если оно минимизирует максимально возможный риск:

\[ \delta^* = \arg\min_{\delta} \max_{\theta} R(\theta, \delta) \]

Минимаксное решение гарантирует, что даже в наихудшем состоянии природы риск не превысит некоторого уровня. В некоторых задачах минимаксное правило совпадает с байесовским для наименее благоприятного априорного распределения.

¶Адмиссибильность (допустимость)

Правило \(\delta\) называется допустимым, если не существует другого правила \(\delta'\), которое имеет риск не хуже при всех \(\theta\) и строго лучше хотя бы при одном \(\theta\). Недопустимые правила заведомо неоптимальны. Теорема Блэквелла — Рао — Лемана связывает допустимость с байесовскими и минимаксными решениями.

¶Применение

¶Проверка статистических гипотез

Классическая задача проверки гипотез (например, \(H_0: \theta = \theta_0\) против \(H_1: \theta \neq \theta_0\)) формулируется в терминах теории решений. Решениями являются «принять \(H_0\)» или «отвергнуть \(H_0\)». Функция потерь обычно задаётся как 0 при правильном решении и 1 при ошибке. Риск при этом равен вероятности ошибки. Критерий Неймана — Пирсона является частным случаем минимаксного подхода с ограничением на вероятность ошибки первого рода.

¶Оценивание параметров

В задачах точечного оценивания решением является число (оценка), а функция потерь часто берётся квадратичной: \(L(\theta, a) = (\theta - a)^2\). Тогда риск — это среднеквадратичная ошибка. Байесовская оценка при квадратичной потере совпадает с апостериорным средним. Минимаксная оценка для нормального распределения — выборочное среднее.

¶Распознавание образов и машинное обучение

Теория статистических решений лежит в основе многих алгоритмов классификации. Например, наивный байесовский классификатор и метод опорных векторов могут быть интерпретированы как построение решающих функций, минимизирующих эмпирический риск или байесовский риск. В задачах с учителем пространство состояний — это множество классов, а функция потерь — матрица штрафов за неверную классификацию.

¶Эконометрика и финансы

В экономике и финансах теория используется для выбора оптимальных портфелей, определения кредитных рейтингов, управления рисками. Например, задача минимизации ожидаемых убытков при заданном распределении доходностей активов решается как байесовская задача с квадратичной функцией потерь.

¶Критика и ограничения

Основные возражения против теории статистических решений связаны с субъективностью выбора функции потерь и априорного распределения. В байесовском подходе результат может сильно зависеть от априорных предположений, которые не всегда обоснованы. Минимаксный подход, напротив, часто приводит к слишком консервативным решениям, игнорирующим реальную информацию о распределении. Кроме того, классическая теория предполагает, что все возможные состояния природы известны и заданы, что на практике не всегда выполняется.

¶Связь с другими дисциплинами

Теория статистических решений тесно связана с теорией игр (игры с «природой»), теорией информации (энтропийные критерии), теорией оптимального управления (динамические задачи принятия решений) и робастной статистикой (устойчивость к отклонениям от модели). В современной статистике активно развиваются непараметрические и семипараметрические методы, обобщающие классические подходы.

¶Интересные факты

• Абрахам Вальд, создатель теории, был вынужден эмигрировать из Австрии в США в 1938 году из-за преследований нацистов. Его работа над теорией решений была частично мотивирована задачами военной статистики, в частности оптимизацией поиска подводных лодок.
• В 1950-е годы Леонард Сэвидж предложил субъективную интерпретацию вероятности, что позволило применять байесовский подход даже при отсутствии объективных априорных данных.
• Понятие «риск» в теории статистических решений послужило основой для современной теории управления рисками в банковской сфере (Value at Risk).

¶Источники

• Вальд А. Статистические решающие функции. — М.: Наука, 1967.
• Боровков А. А. Математическая статистика. — М.: Наука, 1984.
• Леман Э. Л. Проверка статистических гипотез. — М.: Наука, 1979.
• Berger J. O. Statistical Decision Theory and Bayesian Analysis. — Springer, 1985.
• DeGroot M. H. Optimal Statistical Decisions. — Wiley, 1970.