Функция ценности

Функция ценности — это понятие, используемое в математике, теории игр, экономике и искусственном интеллекте, обозначающее отображение (функцию), которая ставит в соответствие каждому возможному состоянию системы, стратегии или набору ресурсов числовую оценку их полезности, выгодности или предпочтительности. В зависимости от области применения, функция ценности может измерять ожидаемый выигрыш, степень удовлетворения потребностей, рыночную стоимость или вероятность достижения цели.

История и происхождение

Истоки понятия функции ценности лежат в теории полезности, разработанной в XVIII—XIX веках. Швейцарский математик Даниил Бернулли в 1738 году предложил концепцию ожидаемой полезности, где ценность (полезность) денег убывает по мере роста их количества (логарифмическая функция). В XX веке Джон фон Нейман и Оскар Моргенштерн в своей книге «Теория игр и экономическое поведение» (1944) формализовали функцию полезности как основу для принятия решений в условиях риска.

В контексте обучения с подкреплением (reinforcement learning) термин «функция ценности» (value function) был введён Ричардом Саттоном и Эндрю Барто в 1980-х годах. Они определили её как математическое ожидание суммарного дисконтированного вознаграждения, которое агент может получить, начиная с определённого состояния и следуя заданной политике.

Классификация

Функции ценности классифицируются по нескольким признакам.

По области применения

• Экономическая функция ценности — оценивает полезность товаров, услуг или денег для потребителя или инвестора. Пример: функция полезности Кобба — Дугласа.
• Функция ценности в теории игр — определяет выигрыш игрока в зависимости от его стратегии и стратегий оппонентов. В кооперативных играх — это распределение выигрыша между участниками (например, значение Шепли).
• Функция ценности в обучении с подкреплением — оценивает, насколько «хорошо» находиться в данном состоянии или выполнять данное действие с точки зрения долгосрочного вознаграждения.

По типу зависимости

• Линейная функция ценности — ценность пропорциональна значению аргумента (например, цена товара прямо пропорциональна его количеству).
• Нелинейная функция ценности — ценность изменяется нелинейно (например, убывающая предельная полезность, описываемая логарифмической или степенной функцией).
• Дискретная функция ценности — определена только для конечного набора состояний (например, таблица выигрышей в игре).
• Непрерывная функция ценности — определена на непрерывном множестве состояний (например, функция полезности дохода).

По отношению к риску

• Нейтральная к риску функция ценности — линейная, где ценность равна математическому ожиданию.
• Избегающая риска функция ценности — вогнутая, где убывающая предельная полезность делает потери более значимыми, чем выигрыши.
• Склонная к риску функция ценности — выпуклая, где выигрыши ценятся выше, чем потери.

Математическое определение

В общем виде функция ценности \( V \) определяется как отображение из множества состояний \( S \) во множество действительных чисел \( \mathbb{R} \):

\[ V: S \rightarrow \mathbb{R} \]

Для каждого состояния \( s \in S \) значение \( V(s) \) интерпретируется как «ценность» этого состояния.

В обучении с подкреплением

В рамках марковского процесса принятия решений (MDP) функция ценности состояния \( V^\pi(s) \) при следовании политике \( \pi \) определяется как:

\[ V^\pi(s) = \mathbb{E}_\pi \left[ \sum_{t=0}^{\infty} \gamma^t R_{t+1} \mid S_t = s \right] \]

где:

• \( \mathbb{E}_\pi \) — математическое ожидание по траекториям, порождаемым политикой \( \pi \);
• \( \gamma \in [0, 1] \) — коэффициент дисконтирования;
• \( R_{t+1} \) — вознаграждение, полученное на шаге \( t+1 \).

Аналогично определяется функция ценности действия (Q-функция):

\[ Q^\pi(s, a) = \mathbb{E}_\pi \left[ \sum_{t=0}^{\infty} \gamma^t R_{t+1} \mid S_t = s, A_t = a \right] \]

В экономике

В микроэкономике функция полезности \( U(x) \), где \( x \) — вектор потребляемых благ, часто интерпретируется как функция ценности. Она должна удовлетворять аксиомам рационального выбора (полнота, транзитивность, рефлексивность).

Свойства

Функции ценности обладают рядом ключевых свойств:

• Монотонность — если одно состояние лучше другого, его ценность выше.
• Непрерывность — малые изменения состояния приводят к малым изменениям ценности (для непрерывных функций).
• Выпуклость/вогнутость — определяет отношение к риску.
• Инвариантность к аффинным преобразованиям — в теории полезности функция ценности определена с точностью до монотонного преобразования.
• Дисконтирование — в динамических моделях будущие выигрыши имеют меньшую ценность, чем текущие.

Применение

В экономике и финансах

• Оценка инвестиционных проектов — функция ценности используется для расчёта чистой приведённой стоимости (NPV) и внутренней нормы доходности (IRR).
• Потребительский выбор — моделирование спроса на основе функции полезности.
• Управление рисками — построение функций полезности для оценки рискованных активов.

В теории игр

• Определение оптимальных стратегий — в играх с нулевой суммой функция ценности равна значению игры.
• Кооперативные игры — распределение выигрыша между игроками (например, значение Шепли, ядро).

В искусственном интеллекте и обучении с подкреплением

• Обучение с подкреплением — алгоритмы Q-обучения, SARSA, Deep Q-Networks (DQN) используют функцию ценности для выбора действий.
• Планирование — в методах динамического программирования (итерация по значениям, итерация по политикам).
• Робототехника — оценка состояний среды для навигации и манипуляции.

В психологии и поведенческой экономике

• Теория перспектив (Канеман и Тверски, 1979) — функция ценности в этой модели асимметрична: потери воспринимаются более остро, чем выигрыши (loss aversion).
• Принятие решений — моделирование субъективной ценности альтернатив.

Примеры

Пример 1: Линейная функция ценности в экономике

Пусть функция полезности потребителя имеет вид \( U(x) = 2x \), где \( x \) — количество товара. Тогда ценность каждой дополнительной единицы товара постоянна и равна 2. Это нейтральная к риску функция.

Пример 2: Логарифмическая функция ценности

Функция \( U(x) = \ln(x) \) описывает убывающую предельную полезность. Для \( x = 1 \) ценность равна 0, для \( x = 10 \) — около 2,3. Прирост ценности от увеличения \( x \) с 1 до 2 больше, чем с 10 до 11.

Пример 3: Функция ценности в обучении с подкреплением

Рассмотрим простую среду — лабиринт с двумя состояниями: «начало» и «цель». Вознаграждение за достижение цели — +10, за нахождение в начале — 0. Коэффициент дисконтирования \( \gamma = 0,9 \). Функция ценности состояния «цель» равна 10, состояния «начало» — \( 0 + 0,9 \times 10 = 9 \).

Критика и ограничения

• Субъективность — функция ценности часто зависит от индивидуальных предпочтений, что затрудняет её объективное измерение.
• Неполнота информации — в реальных задачах точное определение функции ценности может быть невозможным из-за неопределённости.
• Вычислительная сложность — в обучении с подкреплением для больших пространств состояний точное вычисление функции ценности экспоненциально сложно, что требует аппроксимации (например, с помощью нейронных сетей).
• Парадоксы — в теории полезности существуют парадоксы (например, парадокс Алле), которые ставят под сомнение рациональность стандартных функций ценности.

Интересные факты

• В 2017 году алгоритм AlphaGo компании DeepMind использовал функцию ценности для оценки позиций на доске в игре Го, что позволило ему обыграть чемпиона мира.
• В теории перспектив функция ценности имеет S-образную форму: вогнутая для выигрышей и выпуклая для потерь, что отражает психологическую асимметрию.
• В математической психологии функция ценности используется для моделирования процессов принятия решений в условиях риска и неопределённости.

Источники

• Саттон Р., Барто Э. — «Обучение с подкреплением: Введение» (2018)
• Фон Нейман Дж., Моргенштерн О. — «Теория игр и экономическое поведение» (1944)
• Канеман Д., Тверски А. — «Теория перспектив: анализ принятия решений в условиях риска» (1979)
• Бернулли Д. — «Specimen theoriae novae de mensura sortis» (1738)
• Мас-Колелл А., Уинстон М., Грин Дж. — «Микроэкономическая теория» (1995)