Илья Суцкевер

Илья Суцкевер — это израильско-канадский учёный в области компьютерных наук, специализирующийся на искусственном интеллекте (ИИ), один из сооснователей и главный научный сотрудник (Chief Scientist) компании OpenAI (до 2024 года), а также сооснователь и генеральный директор компании Safe Superintelligence Inc. (SSI). Он известен как один из ключевых авторов архитектуры нейронной сети Transformer, которая лежит в основе большинства современных больших языковых моделей (LLM), включая GPT-4, а также как активный сторонник концепции безопасного и контролируемого развития сверхразумного ИИ.

Биография

Ранние годы и образование

Илья Суцкевер родился в 1986 году (по другим данным — в 1985 году) в Нижнем Новгороде (тогда Горький, СССР) в еврейской семье. В начале 1990-х годов его семья эмигрировала в Израиль, а затем, в 2002 году, переехала в Канаду. Там он поступил в Университет Торонто, где в 2007 году получил степень бакалавра по математике и компьютерным наукам. В 2013 году он защитил докторскую диссертацию (Ph.D.) в области компьютерных наук под руководством Джеффри Хинтона, одного из пионеров глубокого обучения. Его диссертация была посвящена обучению глубоких нейронных сетей с ограниченными вычислительными ресурсами.

Карьера

После получения докторской степени Суцкевер в течение двух лет (2013–2014) работал в компании Google, где участвовал в проектах по распознаванию изображений и улучшению алгоритмов машинного обучения. В 2014 году он вошёл в состав команды, основавшей компанию DeepMind (позже приобретённую Google), где занимался исследованиями в области обучения с подкреплением и создания нейросетей, способных играть в игры.

В 2015 году Илья Суцкевер стал одним из сооснователей некоммерческой организации OpenAI, основанной Илоном Маском, Сэмом Альтманом, Грегом Брокманом и другими. В OpenAI он занял пост главного научного сотрудника (Chief Scientist). Под его научным руководством была разработана серия моделей GPT (Generative Pre-trained Transformer), начиная с GPT-1 (2018) и заканчивая GPT-4 (2023). Он также сыграл ключевую роль в создании модели DALL-E, генерирующей изображения по текстовым описаниям.

В ноябре 2023 года Суцкевер оказался в центре скандала в OpenAI: вместе с несколькими другими членами совета директоров он проголосовал за увольнение генерального директора Сэма Альтмана, мотивируя это недостаточным вниманием к вопросам безопасности ИИ. Однако после массового протеста сотрудников и инвесторов Альтман был восстановлен в должности, а Суцкевер потерял место в совете директоров. В мае 2024 года он объявил о своём уходе из OpenAI.

В июне 2024 года Илья Суцкевер объявил о создании новой компании — Safe Superintelligence Inc. (SSI), заявив, что её единственной целью является разработка безопасного сверхразумного ИИ, опережающего человеческий интеллект. Сооснователями SSI стали бывший инженер OpenAI Дэниел Гросс и бывший менеджер Apple Дэниел Леви.

Основные научные достижения

Архитектура Transformer

Наиболее значимым вкладом Суцкевера в развитие ИИ является соавторство в статье «Attention Is All You Need» (2017), в которой была предложена архитектура Transformer. Эта архитектура, основанная на механизме внимания (attention mechanism), позволила эффективно обрабатывать последовательности данных (текст, изображения) без использования рекуррентных нейронных сетей (RNN). Transformer стал основой для всех современных больших языковых моделей, включая BERT, GPT, T5 и другие.

Обучение с подкреплением на основе обратной связи от человека (RLHF)

Суцкевер был одним из пионеров внедрения метода обучения с подкреплением на основе обратной связи от человека (Reinforcement Learning from Human Feedback, RLHF) для настройки больших языковых моделей. Этот метод, впервые применённый в модели InstructGPT (2022), позволил значительно улучшить качество ответов моделей, сделав их более соответствующими человеческим предпочтениям и снизив количество токсичных или бессмысленных генераций.

Развитие глубокого обучения

В своей докторской диссертации и последующих работах Суцкевер внёс вклад в теорию и практику обучения глубоких нейронных сетей. Он разработал методы инициализации весов (например, инициализация Суцкевера), которые позволяют эффективно обучать очень глубокие сети, а также исследовал проблемы исчезающих и взрывающихся градиентов.

Философия и взгляды на ИИ

Проблема безопасности сверхразумного ИИ

Илья Суцкевер является одним из самых известных сторонников концепции «выравнивания» (alignment) ИИ — задачи сделать так, чтобы цели и поведение сверхразумного ИИ были безопасны для человечества. Он неоднократно заявлял, что создание общего искусственного интеллекта (AGI) или сверхразума — это не только техническая, но и экзистенциальная проблема. В своих публичных выступлениях он предупреждал, что если не решить проблему контроля, то ИИ может стать угрозой для человечества, сравнивая эту угрозу с изобретением ядерного оружия.

Критика и противоречия

Взгляды Суцкевера на безопасность ИИ вызывают неоднозначную реакцию в научном сообществе. С одной стороны, его поддерживают многие исследователи, разделяющие обеспокоенность по поводу рисков AGI. С другой стороны, его критикуют за чрезмерный пессимизм и за то, что он, по мнению некоторых, тормозит развитие ИИ, настаивая на слишком строгих мерах предосторожности. Конфликт в OpenAI в ноябре 2023 года показал раскол внутри организации между сторонниками быстрого коммерческого развития (Сэм Альтман, Грег Брокман) и сторонниками приоритета безопасности (Суцкевер).

Награды и признание

• В 2017 году работа «Attention Is All You Need» получила награду за лучшую статью на конференции NeurIPS (одной из ведущих конференций по машинному обучению).
• В 2023 году журнал Time включил Илью Суцкевера в список 100 самых влиятельных людей в области ИИ (Time 100 AI).
• Он является одним из самых цитируемых исследователей в области компьютерных наук (индекс Хирша — более 150).

Компания Safe Superintelligence Inc. (SSI)

Компания SSI, основанная Суцкевером в 2024 году, позиционируется как организация, полностью сосредоточенная на разработке безопасного сверхразумного ИИ. В отличие от OpenAI, которая со временем перешла от некоммерческой модели к коммерческой, SSI заявляет, что будет избегать коммерческого давления и не будет выпускать промежуточные продукты, пока не будет решена проблема выравнивания. Компания базируется в Пало-Альто (Калифорния) и Тель-Авиве (Израиль). На момент основания Суцкевер не раскрывал источники финансирования, но заявил, что компания не планирует привлекать внешние инвестиции до достижения прорыва в области безопасности.

Источники

• «Attention Is All You Need» (Vaswani et al., 2017)
• «Training language models to follow instructions with human feedback» (Ouyang et al., 2022)
• «Ilya Sutskever: The Man Who Helped Create the AI That Could Destroy Us» (The New York Times, 2023)
• «OpenAI co-founder Ilya Sutskever is starting a new AI company» (The Verge, 2024)
• «The inside story of the OpenAI board’s coup against Sam Altman» (The New York Times, 2023)
• «Ilya Sutskever’s PhD thesis: Training Deep Neural Networks» (University of Toronto, 2013)