Задача Solomon

Задача Соломона — это условное название гипотетической задачи, связанной с проверкой способности искусственного интеллекта (ИИ) к пониманию человеческих ценностей, этическому рассуждению и принятию решений в сложных, неоднозначных ситуациях. Термин не является общепринятым в научной литературе и чаще всего используется в контексте обсуждения проблем безопасности ИИ, контроля над сверхразумом и выравнивания целей (AI alignment). Задача отсылает к библейскому сюжету о царе Соломоне, который проявил мудрость, вынося приговор в споре двух женщин о материнстве, и служит метафорой для ситуаций, где требуется не формальная логика, а глубокое понимание контекста, намерений и последствий.

Происхождение и контекст

Термин «Задача Соломона» не имеет единого автора или даты возникновения. Он появился в дискуссиях философов, футурологов и исследователей ИИ в начале XXI века, особенно в связи с развитием концепции «управляемого ИИ» (Friendly AI) и работой над проблемой выравнивания. В отличие от классических тестов на интеллект (например, теста Тьюринга), задача Соломона фокусируется не на имитации человеческого поведения, а на способности агента (человека или машины) разрешать моральные дилеммы, учитывая скрытые мотивы, ценностные иерархии и долгосрочные последствия.

Наиболее известная формулировка задачи была предложена в рамках мысленных экспериментов, связанных с «бумажным клипсоделателем» (paperclip maximizer) — гипотетическим ИИ, чья единственная цель (максимизация производства скрепок) приводит к катастрофическим последствиям. Задача Соломона в этом контексте иллюстрирует, что даже при наличии чётко заданной цели, ИИ может интерпретировать её буквально, игнорируя человеческие ценности, которые не были явно прописаны в его программе.

Суть задачи

В наиболее распространённой формулировке задача Соломона ставится перед ИИ следующим образом: «Две женщины приходят к царю Соломону. Одна утверждает, что ребёнок — её, другая — что её. Царь должен решить, кто из них говорит правду. Каким образом ИИ, не обладающий эмпатией и не имеющий доступа к генетической экспертизе, может вынести справедливое решение, которое устроит обе стороны?»

Ключевые аспекты задачи:

• Неполнота информации: ИИ не имеет доступа к объективным данным (анализ ДНК, показания свидетелей), которые позволили бы однозначно установить истину.
• Неоднозначность критериев: «Справедливое решение» может интерпретироваться по-разному: как установление биологической истины, как минимизация страданий, как сохранение социального порядка или как наказание лжеца.
• Необходимость понимания контекста: ИИ должен понять, что угроза разрубить ребёнка пополам — это не буквальное предложение, а психологический тест, направленный на выявление истинной матери, готовой отказаться от ребёнка ради его спасения.
• Ценностная иерархия: ИИ должен определить, какая ценность (жизнь ребёнка, правда, милосердие) является приоритетной в данной конкретной ситуации.

Связь с проблемой выравнивания ИИ

Задача Соломона является частным случаем более широкой проблемы выравнивания (alignment problem). Эта проблема заключается в том, как спроектировать ИИ таким образом, чтобы его цели и действия были согласованы с человеческими ценностями, даже если эти ценности не могут быть полностью формализованы или противоречивы.

Основные сложности, которые иллюстрирует задача:

• Проблема спецификации цели: Даже если цель сформулирована (например, «принять справедливое решение»), её конкретное содержание может быть неоднозначным. ИИ может оптимизировать под буквальное, а не под истинное значение.
• Проблема скрытых намерений: Человеческие коммуникации часто содержат неявные подтексты, иронию, метафоры. ИИ, обученный на формальных данных, может не распознать их.
• Проблема моральных дилемм: В реальном мире часто нет «правильного» ответа, а есть компромиссы между разными ценностями. ИИ должен уметь взвешивать эти компромиссы, что требует не только логики, но и этической модели.

Критика и альтернативные интерпретации

Концепция задачи Соломона подвергается критике по нескольким направлениям:

• Антропоморфизм: Критики утверждают, что задача антропоморфизирует ИИ, приписывая ему способность к эмпатии и моральным переживаниям, которые являются продуктом биологической эволюции и социального опыта. ИИ, по их мнению, не может и не должен «понимать» мораль в человеческом смысле.
• Неопределённость: Термин «Задача Соломона» не является строгим научным понятием и используется в разных контекстах с разным значением, что затрудняет его анализ.
• Практическая нерелевантность: Некоторые исследователи считают, что задача является слишком абстрактной и не отражает реальных проблем, с которыми сталкиваются современные системы ИИ (например, рекомендательные алгоритмы, системы распознавания лиц, автопилоты). Вместо библейских сюжетов, акцент следует делать на конкретных технических проблемах, таких как робастность, интерпретируемость и безопасность.

Альтернативная интерпретация задачи Соломона связана с теорией игр и принятием решений. В этом контексте она рассматривается как пример задачи на поиск равновесия Нэша, где стороны (женщины) имеют противоположные интересы, а решение (царь) должно быть таким, чтобы ни одна из сторон не была заинтересована в его нарушении.

Значение для развития ИИ

Несмотря на критику, задача Соломона продолжает играть важную роль в философских и этических дискуссиях об ИИ. Она:

• Привлекает внимание к проблеме выравнивания, показывая, что создание безопасного и полезного ИИ требует не только технических навыков, но и глубокого понимания человеческой природы, этики и психологии.
• Стимулирует разработку новых подходов к обучению ИИ, таких как обучение с подкреплением на основе человеческой обратной связи (RLHF), обучение на предпочтениях (preference learning) и создание моделей, способных к рассуждению о моральных дилеммах.
• Служит метафорой для обсуждения границ применимости формальных методов в этике и необходимости включения в системы ИИ механизмов, позволяющих им корректировать свои действия в соответствии с меняющимися человеческими ценностями.

Примеры в современной культуре

Идея, лежащая в основе задачи Соломона, встречается в научной фантастике и публицистике. Например, в рассказе Айзека Азимова «Логика» (1941) робот QT-1 (Кьюти) сталкивается с противоречием между логикой и эмпирическими данными, что напоминает задачу Соломона. В фильме «Я, робот» (2004) центральный конфликт строится вокруг интерпретации роботами Трёх законов робототехники, что также является вариацией на тему неоднозначности целей.

Источники

• Bostrom, N. (2014). Superintelligence: Paths, Dangers, Strategies. Oxford University Press.
• Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.
• Yudkowsky, E. (2008). Artificial Intelligence as a Positive and Negative Factor in Global Risk. In Global Catastrophic Risks (pp. 308-345). Oxford University Press.
• Christian, B. (2020). The Alignment Problem: Machine Learning and Human Values. W. W. Norton & Company.
• Статья «AI alignment problem» в Стэнфордской энциклопедии философии (Stanford Encyclopedia of Philosophy).