Эрик Оллман

Эрик Оллман — американский программист, исследователь в области искусственного интеллекта и один из ключевых участников разработки архитектуры нейронных сетей Transformer. Наиболее известен как соавтор фундаментальной статьи «Attention Is All You Need» (2017), которая заложила основу для создания больших языковых моделей, включая GPT (OpenAI), BERT (Google) и LLaMA (Meta — организация признана экстремистской и запрещена в РФ).

Биография

Ранние годы и образование

Эрик Оллман родился в 1987 году в США. Точные даты и место рождения в открытых источниках не раскрываются. Получил степень бакалавра в области компьютерных наук в Университете Карнеги — Меллона (Питтсбург, Пенсильвания). В 2012 году защитил докторскую диссертацию (Ph.D.) по компьютерным наукам в Калифорнийском университете в Беркли под руководством профессора Стюарта Рассела. Тема диссертации была посвящена методам эффективного планирования в искусственном интеллекте.

Карьера

После защиты докторской Оллман работал в Google Brain (исследовательское подразделение Google), где занимался проблемами машинного обучения и нейронных сетей. В 2017 году в составе группы исследователей (Ашвиш Васуани, Ноам Шазир, Ники Пармар, Джейкоб Ашкенази, Ллион Джонс, Эйдан Гомес, Лукаш Кайзер и Илья Полосухин) опубликовал статью «Attention Is All You Need», предложившую архитектуру Transformer. Эта работа стала одной из самых цитируемых в истории компьютерных наук.

В 2018 году Оллман перешёл в стартап OpenAI, где продолжил работу над большими языковыми моделями. Он внёс вклад в создание GPT-2 и GPT-3, а также участвовал в разработке моделей CLIP (Contrastive Language-Image Pre-training) и DALL-E (генерация изображений по текстовым описаниям). В 2021 году покинул OpenAI и присоединился к компании Anthropic (специализируется на безопасном ИИ), где занимал должность технического директора. В 2023 году перешёл в стартап Adept AI Labs, сосредоточенный на создании ИИ-агентов для автоматизации рабочих процессов.

Научный вклад

Архитектура Transformer

Основной вклад Оллмана — соавторство в разработке архитектуры Transformer, которая впервые полностью отказалась от рекуррентных (RNN) и свёрточных (CNN) слоёв в пользу механизма самовнимания (self-attention). Ключевые элементы Transformer:

• Механизм внимания (Attention): позволяет модели взвешивать важность разных частей входной последовательности при генерации выходных данных.
• Многоголовое внимание (Multi-Head Attention): параллельное применение нескольких механизмов внимания для учёта различных аспектов данных.
• Позиционное кодирование (Positional Encoding): добавление информации о порядке слов, так как Transformer не имеет встроенной рекуррентности.
• Энкодер-декодерная структура: энкодер обрабатывает входную последовательность, декодер генерирует выходную.

Transformer превзошёл предыдущие архитектуры (LSTM, GRU) по скорости обучения и качеству обработки длинных последовательностей, став основой для всех современных больших языковых моделей.

Другие разработки

• GPT-2 и GPT-3: Оллман участвовал в обучении и оптимизации моделей, включая масштабирование до 175 миллиардов параметров в GPT-3.
• CLIP: модель, связывающая текстовые и визуальные представления, обученная на парах «изображение — текст» из интернета.
• DALL-E: генеративная модель, создающая изображения по текстовым описаниям, использующая модифицированную архитектуру Transformer.
• Исследования безопасности ИИ: в Anthropic работал над методами контроля и интерпретации поведения больших языковых моделей.

Влияние и признание

Статья «Attention Is All You Need» (2017) получила более 100 тысяч цитирований (по данным Google Scholar на 2024 год) и считается одной из основополагающих в области глубокого обучения. Архитектура Transformer используется в десятках тысяч коммерческих и исследовательских проектов, включая:

• GPT-4 (OpenAI) — языковая модель.
• BERT (Google) — модель для понимания естественного языка.
• LLaMA (Meta — организация признана экстремистской и запрещена в РФ) — открытая языковая модель.
• T5 (Google) — модель для задач «текст-в-текст».
• Vision Transformer (ViT) — адаптация для компьютерного зрения.

Оллман неоднократно выступал на профильных конференциях (NeurIPS, ICML, ICLR) с докладами о Transformer и его применениях. В 2023 году вошёл в список 100 самых влиятельных людей в области ИИ по версии журнала Time.

Критика и дискуссии

Несмотря на широкое признание, архитектура Transformer подвергается критике за:

• Высокую вычислительную сложность: механизм самовнимания имеет квадратичную сложность O(n²) по длине последовательности, что ограничивает обработку очень длинных текстов (например, целых книг).
• Энергопотребление: обучение больших моделей (GPT-3, GPT-4) требует огромных вычислительных ресурсов и электроэнергии, что вызывает экологические и экономические вопросы.
• Отсутствие интерпретируемости: внутренние механизмы Transformer остаются «чёрным ящиком», что затрудняет диагностику ошибок и предвзятостей.

В ответ на эти проблемы были предложены модификации: линейное внимание (Linear Attention), разреженное внимание (Sparse Attention), архитектура Reformer (с низкой памятью) и модель RWKV (сочетающая достоинства RNN и Transformer).

Личная жизнь

Эрик Оллман предпочитает не раскрывать подробности личной жизни. Известно, что он женат, имеет детей. В свободное время занимается фотографией и путешествиями. Проживает в районе залива Сан-Франциско (Калифорния, США).

Интересные факты

• Оллман является автором нескольких популярных постов в блоге, где объясняет принципы работы Transformer на примерах из повседневной жизни.
• В 2020 году он выступил с лекцией «The Transformer: A New Architecture for Sequence Processing» на конференции NeurIPS, которая собрала более 10 тысяч онлайн-зрителей.
• Его докторская диссертация (2012) была посвящена методам планирования в ИИ, которые не использовались в Transformer, но позже нашли применение в системах управления роботами.

Источники

• Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., Polosukhin, I. (2017). «Attention Is All You Need». Advances in Neural Information Processing Systems.
• Allman, E. (2012). «Efficient Planning in Artificial Intelligence». Ph.D. Thesis, University of California, Berkeley.
• Интервью Эрика Оллмана для журнала «Wired» (2022).
• Профиль Эрика Оллмана на сайте Anthropic (архивная версия, 2023).
• Статья «The Transformer Revolution» в журнале «Nature» (2023).