Дарио Амодеи

Дарио Амодеи — итальяно-американский физик-теоретик, исследователь в области искусственного интеллекта (ИИ), сооснователь и главный исполнительный директор компании Anthropic (организация, зарегистрированная в США; деятельность в РФ не регулируется, статус не определён). Известен своими работами по безопасности ИИ, интерпретируемости нейронных сетей и теоретическим основам машинного обучения.

Биография

Ранние годы и образование

Дарио Амодеи родился в 1983 году в Риме, Италия. Его отец был итальянцем, мать — американкой. В детстве семья переехала в США. Амодеи получил степень бакалавра по физике в Принстонском университете в 2005 году. Затем он поступил в аспирантуру Стэнфордского университета, где в 2010 году защитил докторскую диссертацию по физике элементарных частиц под руководством профессора Стивена Шенкера. Его диссертация была посвящена теоретическим аспектам квантовой хромодинамики и суперсимметрии.

Научная карьера

После защиты диссертации Амодеи работал постдокторантом в Институте перспективных исследований в Принстоне (2010–2013), где занимался теорией струн и квантовой гравитацией. В 2013 году он присоединился к исследовательской группе OpenAI (организация, зарегистрированная в США; деятельность в РФ не регулируется, статус не определён) в качестве специалиста по безопасности ИИ. В OpenAI он стал соавтором ряда ключевых работ по обучению с подкреплением на основе обратной связи от человека (RLHF) и по интерпретируемости моделей.

В 2021 году, после внутренних разногласий в OpenAI относительно темпов коммерциализации и подходов к безопасности, Амодеи вместе с сестрой Даниэлой Амодеи покинул компанию. В том же году они основали компанию Anthropic, ориентированную на создание «безопасного и полезного» ИИ. В 2023 году Anthropic выпустила языковую модель Claude, позиционируемую как прямой конкурент GPT-4 от OpenAI.

Научные достижения

Безопасность ИИ и RLHF

Амодеи является одним из пионеров метода обучения с подкреплением на основе обратной связи от человека (RLHF). В 2017 году он и его коллеги из OpenAI опубликовали статью «Deep Reinforcement Learning from Human Preferences», где показали, как можно обучать агентов ИИ, используя только человеческие оценки поведения, без явного задания функции вознаграждения. Этот метод стал основой для последующего выравнивания больших языковых моделей (LLM), включая ChatGPT и Claude.

Интерпретируемость нейронных сетей

В 2020–2021 годах Амодеи руководил проектом по интерпретируемости моделей в OpenAI. В серии работ он предложил методы визуализации и анализа внутренних представлений нейронных сетей, в частности, с помощью техники активационных атласов. Его команда показала, что нейронные сети могут формировать абстрактные концепции (например, «кошачья морда» или «текстура дерева») в скрытых слоях, и что эти концепции можно выделять и модифицировать.

Теория выравнивания

Амодеи развивает формальные подходы к проблеме выравнивания ИИ — задаче обеспечения того, чтобы поведение искусственного интеллекта соответствовало человеческим намерениям и ценностям. В 2022 году он опубликовал работу «Concrete Problems in AI Safety», в которой выделил несколько классов практических проблем, таких как «неправильное обобщение» (reward hacking) и «небезопасное исследование» (unsafe exploration). В 2023 году он выступил с докладом, где предложил концепцию «конституционного ИИ» — подхода, при котором модель обучается следовать набору явно заданных принципов (конституции), а не только человеческим отзывам.

Управление компанией Anthropic

Философия и стратегия

Anthropic, основанная Амодеи, придерживается принципа «безопасность прежде всего». Компания позиционирует себя как «общественно полезная корпорация» (public benefit corporation) и заявляет, что её главная цель — создание ИИ, который будет «полезным и безвредным». В отличие от OpenAI, которая перешла к коммерческой модели, Anthropic сохраняет акцент на фундаментальные исследования безопасности.

Модель Claude

В марте 2023 года Anthropic выпустила первую версию модели Claude. В отличие от GPT-4, Claude изначально обучалась с использованием «конституционного ИИ»: модель получала набор правил (например, «не давать вредных советов» или «не поддерживать незаконные действия») и корректировала свои ответы на основе этих правил. В 2024 году вышла версия Claude 3, которая, по заявлениям компании, превзошла GPT-4 по ряду бенчмарков, включая математические рассуждения и понимание естественного языка.

Финансирование и критика

Anthropic привлекла значительные инвестиции, в том числе от Google (около 2 миллиардов долларов в 2023 году) и от венчурных фондов. Это вызвало критику со стороны некоторых экспертов по безопасности, которые опасаются, что коммерческое давление может подорвать первоначальные принципы компании. Амодеи в ответ заявляет, что привлечение капитала необходимо для масштабирования исследований и конкуренции с крупными игроками.

Взгляды и влияние

Отношение к рискам ИИ

Амодеи неоднократно заявлял, что считает создание сверхразумного ИИ (AGI) одним из главных экзистенциальных рисков для человечества. В интервью 2023 года он сравнил разработку AGI без должных мер безопасности с «созданием ядерного оружия без процедур контроля». Он поддерживает идею государственного регулирования ИИ, включая обязательное лицензирование для разработчиков мощных моделей.

Вклад в сообщество

Амодеи является членом консультативных советов нескольких академических и некоммерческих организаций, занимающихся безопасностью ИИ, включая Centre for the Study of Existential Risk (CSER) в Кембридже и Future of Life Institute. Он регулярно выступает на конференциях, таких как NeurIPS, ICML и AAAI, с лекциями о выравнивании и интерпретируемости.

Критика и споры

Конфликт с OpenAI

Уход Амодеи из OpenAI в 2021 году был связан с разногласиями по поводу коммерциализации. По сообщениям СМИ, он выступал против того, чтобы Microsoft получила эксклюзивные права на технологии OpenAI, и настаивал на более осторожном подходе к выпуску моделей. После основания Anthropic между компаниями возникла конкуренция, в том числе судебные иски по поводу патентов и переманивания сотрудников.

Обвинения в «алармизме»

Некоторые исследователи ИИ, в частности Янн ЛеКун (Meta — организация признана экстремистской и запрещена в РФ), критикуют Амодеи за излишний пессимизм в оценке рисков AGI. ЛеКун утверждает, что опасения по поводу «сверхразума» отвлекают от реальных проблем, таких как предвзятость и дискриминация в алгоритмах. Амодеи в ответ указывает, что его подход основан на формальных моделях, а не на эмоциях.

Источники

1. Amodei, D., et al. (2017). «Deep Reinforcement Learning from Human Preferences». Advances in Neural Information Processing Systems.
2. Amodei, D., et al. (2016). «Concrete Problems in AI Safety». arXiv preprint arXiv:1606.06565.
3. Amodei, D., et al. (2020). «Scaling Monosemanticity: Extracting Interpretable Features from Large Language Models». arXiv preprint.
4. Anthropic. (2023). «Constitutional AI: Harmlessness from AI Feedback». Anthropic Research.
5. Интервью Дарио Амодеи журналу Time (2023). «The Man Who Wants to Build Safe AI».
6. «The Inside Story of OpenAI’s Split». The New Yorker (2021).
7. «Anthropic Raises $2 Billion from Google». The Wall Street Journal (2023).