Дэниела Амодеи

Дэниела Амодеи — это американский учёный в области компьютерных наук и предприниматель, наиболее известный как сооснователь и генеральный директор компании Anthropic, занимающейся разработкой безопасных и надёжных систем искусственного интеллекта (ИИ). Амодеи является одним из ключевых фигур в современном движении за ответственное развитие ИИ, акцентируя внимание на безопасности, интерпретируемости и долгосрочных рисках, связанных с созданием передовых моделей.

Биография и образование

Дэниела Амодеи родился в 1986 году в США. Точная дата и место рождения не являются широко публикуемыми данными. Он получил степень бакалавра наук по физике в Принстонском университете. В 2011 году он защитил докторскую диссертацию (PhD) по физике в Массачусетском технологическом институте (MIT), где его исследования были сосредоточены на квантовой теории поля и теории струн. После защиты докторской Амодеи работал постдокторантом в Стэнфордском университете, где его интересы сместились в сторону компьютерных наук и искусственного интеллекта.

Карьера

Работа в OpenAI

В 2016 году Дэниела Амодеи присоединился к OpenAI — некоммерческой (позднее — коммерческой) исследовательской организации, занимающейся разработкой ИИ. В OpenAI он занимал должность вице-президента по исследованиям и безопасности. Вместе с командой он внёс значительный вклад в разработку крупных языковых моделей, в частности, в создание GPT-2 и GPT-3. Амодеи также был одним из ключевых авторов исследований, посвящённых безопасности ИИ, включая работу по выравниванию (alignment) моделей — процессу, при котором поведение системы ИИ согласуется с человеческими ценностями и намерениями.

В 2020 году, по мере коммерциализации OpenAI и усиления разногласий по поводу приоритетов безопасности, Амодеи вместе с группой коллег покинул организацию.

Основание Anthropic

В 2021 году Дэниела Амодеи совместно со своей сестрой, Дарио Амодеи, и рядом бывших сотрудников OpenAI основал компанию Anthropic. Целью компании было заявлено создание «надёжного, интерпретируемого и управляемого» ИИ, который будет служить на благо человечества. Anthropic позиционируется как общественно-полезная корпорация (Public Benefit Corporation), что подразумевает баланс между коммерческими интересами и социальной миссией.

Дэниела Амодеи занимает пост генерального директора (CEO) Anthropic. Под его руководством компания разработала семейство языковых моделей Claude, которые конкурируют с GPT-4 от OpenAI и Gemini от Google.

Ключевые достижения и исследования

Амодеи является автором и соавтором множества научных работ в области ИИ. Наиболее значимые из них:

• Исследования по безопасности ИИ: Работы, посвящённые проблеме выравнивания (alignment), включая методы обучения с подкреплением на основе обратной связи от человека (RLHF), которые стали стандартом для современных чат-ботов.
• Интерпретируемость моделей: Исследования, направленные на понимание того, как внутренние механизмы нейронных сетей приводят к конкретным решениям. Амодеи и его команда разработали техники, позволяющие визуализировать «нейроны» и «схемы» внутри моделей, что критически важно для обеспечения безопасности.
• Крупные языковые модели (LLM): Участие в создании GPT-3 и руководство разработкой моделей Claude. Claude известен своим акцентом на безопасность, отказ от вредоносных действий и строгую приверженность заданным этическим принципам.

Философия и взгляды на ИИ

Дэниела Амодеи является одним из самых влиятельных голосов в дискуссиях о долгосрочных рисках, связанных с развитием ИИ. Его взгляды можно охарактеризовать как «алтруистический эффективный» (effective altruism) в применении к ИИ.

Основные тезисы его позиции:

• Риск экзистенциальной катастрофы: Амодеи неоднократно заявлял, что существует реальная, хотя и небольшая, вероятность того, что создание сверхразумного ИИ, не выровненного с человеческими ценностями, может привести к катастрофическим последствиям, вплоть до уничтожения человечества.
• Необходимость упреждающего регулирования: Он выступает за разработку и внедрение строгих стандартов безопасности и регулирования в области ИИ, причём до того, как будут созданы системы, способные причинить серьёзный вред.
• Приоритет безопасности над скоростью: Амодеи критикует «гонку вооружений» в области ИИ, когда компании стремятся как можно быстрее выпустить более мощные модели, пренебрегая при этом тщательным тестированием и мерами предосторожности.
• Концепция «конституционного ИИ»: Anthropic разработала подход, названный «конституционным ИИ», при котором модель обучается следовать набору принципов (конституции), а не просто имитировать поведение на основе человеческой обратной связи. Это должно сделать поведение модели более предсказуемым и менее подверженным манипуляциям.

Публичное признание и критика

Дэниела Амодеи регулярно приглашают для дачи показаний в Конгресс США, он выступает на международных конференциях (например, TED) и даёт интервью ведущим СМИ (The New York Times, The Wall Street Journal, Financial Times). Его часто называют «совестью индустрии ИИ» за его последовательную и публичную позицию по вопросам безопасности.

Критика в адрес Амодеи и его компании Anthropic включает:

• Конфликт интересов: Критики указывают, что Anthropic, будучи коммерческой компанией, одновременно выступает в роли разработчика ИИ и его регулятора. Это может приводить к тому, что компания лоббирует такие правила, которые выгодны ей самой, а не всему обществу.
• Недостаточная прозрачность: Несмотря на заявленную миссию безопасности, многие внутренние исследования и архитектура моделей Claude остаются закрытыми, что затрудняет независимую проверку их безопасности.
• Скептицизм относительно экзистенциальных рисков: Многие учёные и инженеры считают, что опасения Амодеи относительно «сверхразума» преувеличены и отвлекают внимание от более насущных проблем, таких как предвзятость алгоритмов, дезинформация и потеря рабочих мест.

Личная жизнь

Дэниела Амодеи женат на Джулии Амодеи (урождённая Джулия Шуман), которая также является исследователем в области ИИ и работает в Anthropic. У пары есть дети. Амодеи известен своим сдержанным и академическим стилем общения, а также тем, что редко даёт интервью о своей личной жизни, сосредотачиваясь на профессиональных темах.

Источники

• Официальный сайт компании Anthropic
• Публикации Дэниелы Амодеи на платформе arXiv
• Интервью Дэниелы Амодеи в The New York Times, The Wall Street Journal, Financial Times
• Показания Дэниелы Амодеи в Сенате США (2023)
• Статья «The Inside Story of How ChatGPT Was Built» в Wired
• Статья «Anthropic CEO Daniela Amodei on the Dangers of AI» в Time