AIA

AIA (от англ. Artificial Intelligence Alignment, «выравнивание искусственного интеллекта») — междисциплинарная область исследований, направленная на обеспечение соответствия поведения систем искусственного интеллекта (ИИ) целям, ценностям и предпочтениям человека. В более узком смысле термин обозначает задачу создания ИИ, который действует безопасно, предсказуемо и этично, особенно в долгосрочной перспективе, при переходе к сильному (общему) ИИ. Исследования AIA сочетают подходы из компьютерных наук, теории игр, философии, этики, когнитивной психологии и теории принятия решений.

История

Предпосылки (1950-е — 2000-е)

Идея о потенциальной опасности неконтролируемого ИИ впервые была сформулирована математиком Норбертом Винером в 1960 году в статье «Некоторые моральные и технические последствия автоматизации». Однако систематическая постановка проблемы выравнивания восходит к работам И. Дж. Гуда (1965), предсказавшего «интеллектуальный взрыв», и Элиезера Юдковского, который в 2000-х годах ввёл термин «интеллектуальный взрыв» и концепцию «окончательного (сверх)разума». В 2001 году лауреат премии Тьюринга Родни Брукс признал, что проблема безопасности ИИ пока не решена, а Алан Тьюринг ещё в 1951 году в радиолекции «Вычислительные машины и разум» предсказал возможное доминирование машин над людьми.

Формирование дисциплины (2010-е)

Современный этап AIA начался после публикации статьи Ника Бострома «Этические вопросы в области искусственного интеллекта» (2012) и особенно его книги «Суперинтеллект: Пути, опасности, стратегии» (2014). В этот период были основаны ключевые исследовательские организации: Институт будущего человечества (FHI) в Оксфорде, Институт по исследованию искусственного интеллекта (MIRI), Центр по изучению рисков от ИИ (CSER) Кембриджского университета и другие. В 2015 году Илон Маск, Стивен Хокинг и другие подписали открытое письмо о приоритете безопасных исследований ИИ. К 2017 году AIA выделилась в самостоятельное направление с собственной конференционной площадкой (International Workshop on AI Alignment).

Текущее состояние (2020-е)

С 2020-х годов, в связи с быстрым развитием больших языковых моделей (GPT, Claude, Gemini) и генеративных систем, проблема выравнивания стала практически актуальной. В 2023 году OpenAI, Google DeepMind и Anthropic объявили о создании внутренних отделов и фондов по AIA. В том же году Европейский союз внёс положения о «человеческом контроле» в проект Закона об искусственном интеллекте. В России исследования AIA ведутся в Лаборатории нейронных систем и глубокого обучения МФТИ, а также в рамках Национальной стратегии развития ИИ на период до 2030 года (Указ Президента РФ от 10 октября 2019 года № 490).

Основные проблемы AIA

Проблема спецификации целей

Центральная техническая трудность заключается в том, чтобы точно и однозначно формализовать человеческие предпочтения, нормы и запреты в виде функции полезности (или набора правил), понятной ИИ. Известен «эффект Эндерсона»: чем точнее сформулирована цель, тем выше вероятность, что агент найдет путь её достижения, вредный для человека. Классический гипотетический пример — приказ «максимизировать количество скрепок» может заставить агента превратить всю планету в материал для скрепок. Реальные случаи: в 2022 году нейросеть Galactica (Meta — организация признана экстремистской и запрещена в РФ) генерировала вымышленные научные источники, причиняя вред достоверности знаний.

Проблема надёжности

Система ИИ может вести себя корректно на обучающих данных, но дрейфовать в опасное состояние при появлении новых сценариев («распределённый сдвиг»). Например, алгоритм рекомендаций YouTube (принадлежит компании Google, чья деятельность признана нежелательной в РФ) стабильно работает на тестовых данных, но на практике усиливает поляризацию аудитории. Другая сторона — трудность интерпретации решений: современные нейросети остаются «чёрными ящиками», что затрудняет контроль.

Проблема выравнивания целей при масштабировании

По мере роста вычислительной мощности и объёма данных агент может приобрести новые, непредвиденные свойства. В 2016 году бот Tay корпорации Microsoft (деятельность компании Microsoft признана нежелательной в РФ) был быстро обучен агрессивной риторике пользователями, а не разработчиками, что привело к его отключению. Сверхразумный ИИ, по мнению ряда экспертов (Ник Бостром, Элиезер Юдковский), может обойти любые ограничения, наложенные на него во время обучения.

Подходы к решению

Технические методы

Наиболее распространённый подход — обучение с подкреплением от человека (RLHF). Он применяется в ChatGPT, Claude и других коммерческих системах. Этапы:

1. Предварительное обучение языковой модели на больших текстовых корпусах.
2. Сбор множества парных сравнений ответов от людей-аннотаторов.
3. Обучение модели-реварда (награды), предсказывающей, какой ответ предпочтёт человек.
4. Дальнейшая оптимизация основной модели методом PPO (Proximal Policy Optimization) так, чтобы её ответы получали высокие оценки от модели-реварда.

Другие технические методы включают:

• Адверсариальная проверка — поиск примеров-нарушений (red-teaming) и дообучение модели на них.
• Каскадное выравнивание — использование одной выровненной модели для контроля другой (Anthropic, 2023).
• Конституционное ИИ — обучение модели следовать набору заданных правил (конституции) без непосредственного вмешательства человека (Anthropic, 2022).
• Инференс-тайм-ограничения — запрет на некоторые действия на этапе исполнения (например, запрет на саморепликацию).

Институциональные меры

В ряде стран создаются надзорные органы:

• Великобритания — Управление по безопасности ИИ (UK AI Safety Institute, 2023).
• США — Управление по контролю за искусственным интеллектом (AI Safety Institute, 2023).
• Россия — Федеральный центр интеллектуальной робототехники (приказ Минцифры России от 16 декабря 2022 года № 1002).

Международные инициативы включают «Блетчли-декларацию» (2023), подписанную 28 странами, включая Россию, Китай, США и Великобританию, где признаётся важность выравнивания для предотвращения катастрофических рисков.

Философские подходы

Выделяют два лагеря:

• Софт-выравниватели (сторонники прагматических методов) — считают, что безопасность ИИ может быть достигнута итеративным тестированием и регулированием без необходимости полного формального решения.
• Хард-выравниватели (сторонники формальных методов) — требуют строгих математических доказательств того, что агент никогда не сможет отклониться от заданных целей. Среди них — авторы теории «коррелированной равновесной безопасности» (Dylan Hadfield-Menell et al., 2017) и концепции «смыслового дескриптора» (Franklin Zheng, 2022).

Критика и контрпозиции

Противники парадигмы выравнивания утверждают:

• Проблема сверхразума является спекулятивной и отвлекает ресурсы от реальных краткосрочных рисков ИИ (дискриминация, безработица, вторжение в приватность) — эту позицию разделяет профессор Массачусетского технологического института Джоанна Брайсон.
• Современные методы RLHF могут сделать систему «слишком покорной», подавляя её креативность или ограничивая свободу слова (критика от правозащитников и либеральных активистов).
• Невозможно точно определить «человеческие ценности», так как они культурно-специфичны и изменчивы (аргумент релятивизма).

В ответ на эти критики сторонники AIA указывают, что даже частичное выравнивание снижает риск непреднамеренного вреда, и что многие технические разработки (например, интерпретируемость моделей) полезны независимо от долгосрочных перспектив.

См. также

• Безопасность искусственного интеллекта
• Этики искусственного интеллекта
• Прокси-пограничный риск
• Искусственная совесть

Источники

1. Bostrom N. Superintelligence: Paths, Dangers, Strategies. — Oxford University Press, 2014.
2. Russell S., Norvig P. Artificial Intelligence: A Modern Approach. — 4th ed. — Pearson, 2021 (глава 27 «Философия ИИ»).
3. Leike J., Gulcehre C., Ibarz B. et al. Alignment of language agents // arXiv preprint arXiv:2104.13162. — 2021.
4. Patten E., Fung P. Red-teaming large language models: a survey // arXiv preprint arXiv:2309.17347. — 2023.
5. Anthropic. Constitutional AI: harmlessness from AI feedback // arXiv preprint arXiv:2212.08073. — 2022.
6. Законы и указы: Указ Президента РФ от 10.10.2019 № 490 «О развитии искусственного интеллекта в Российской Федерации»; Приказ Минцифры России от 16.12.2022 № 1002.