Google Brain

Google Brain — это исследовательское подразделение компании Google, занимающееся разработкой и внедрением технологий искусственного интеллекта (ИИ), в частности методов глубокого обучения (deep learning). Созданное в 2011 году, оно стало одним из ключевых центров по развитию нейросетевых архитектур, которые впоследствии легли в основу многих продуктов Google, включая поиск, перевод, распознавание изображений и речи.

История

Основание и первые проекты

Проект был инициирован в 2011 году исследователями Джеффри Джефом Дином, Эндрю Ыном и Грегом Коррадо. Первоначально он назывался «Project Brain» и ставил целью изучение возможностей крупномасштабных нейронных сетей. В 2012 году команда представила одну из самых известных ранних работ — нейросеть, которая после обучения на 10 миллионах случайных изображений из YouTube (без предварительной разметки) научилась распознавать кошек. Этот эксперимент продемонстрировал способность глубоких сетей к самообучению на неструктурированных данных.

Развитие и ключевые вехи

В 2013 году Google Brain объединился с другими исследовательскими группами, что привело к быстрому росту масштабов проектов. В 2014 году подразделение сыграло важную роль в разработке системы распознавания речи, которая снизила уровень ошибок на 25% по сравнению с предыдущими методами. В 2015 году была представлена архитектура нейронной сети Inception (также известная как GoogLeNet), которая выиграла соревнование ImageNet Large Scale Visual Recognition Challenge (ILSVRC) по классификации изображений. В 2016 году Google Brain совместно с DeepMind (принадлежит Google) разработал систему машинного перевода Google Neural Machine Translation (GNMT), которая заменила фразовый перевод на сквозной нейросетевой, значительно улучшив качество перевода.

Слияние с DeepMind и реорганизация

В апреле 2023 года компания Google объявила о слиянии Google Brain с британской лабораторией DeepMind в единое подразделение Google DeepMind. Целью объединения стало усиление конкурентоспособности в области ИИ, особенно на фоне стремительного развития таких продуктов, как ChatGPT от OpenAI. В результате реорганизации ключевые исследователи, такие как Джефф Дин, заняли руководящие позиции в новой структуре, а проекты обоих подразделений были интегрированы.

Ключевые направления исследований

Глубокое обучение и нейросетевые архитектуры

Google Brain внёс значительный вклад в теорию и практику глубокого обучения. Среди разработанных архитектур:

• Inception (GoogLeNet) — глубокая свёрточная нейросеть с модулями, позволяющими эффективно использовать вычислительные ресурсы.
• Transformer (совместно с другими командами Google) — архитектура, впервые представленная в статье «Attention is All You Need» (2017). Она легла в основу большинства современных языковых моделей, включая BERT, GPT и LaMDA.
• TensorFlow — открытая программная библиотека для машинного обучения, созданная командой Google Brain в 2015 году. TensorFlow стал одним из самых популярных инструментов для разработки и обучения нейросетей в мире.

Обработка естественного языка (NLP)

Подразделение разработало ряд моделей для понимания и генерации текста:

• BERT (Bidirectional Encoder Representations from Transformers) — модель, представленная в 2018 году, которая установила новые рекорды в 11 задачах NLP, включая ответы на вопросы и анализ тональности. BERT использует двунаправленное обучение, что позволяет учитывать контекст слова слева и справа.
• LaMDA (Language Model for Dialogue Applications) — языковая модель, ориентированная на ведение свободных диалогов. В 2022 году инженер Google Блейк Лемойн заявил, что LaMDA обладает сознанием, что вызвало широкую дискуссию, однако научное сообщество и руководство Google не подтвердили это утверждение.
• PaLM (Pathways Language Model) — модель с 540 миллиардами параметров, представленная в 2022 году, продемонстрировавшая способности к рассуждению, переводу и генерации кода.

Компьютерное зрение

Google Brain активно занимался распознаванием изображений и видео:

• AutoML — подход к автоматическому поиску архитектур нейросетей (Neural Architecture Search, NAS), который позволил создавать модели, превосходящие по точности ручные разработки.
• Системы распознавания объектов — использовались в Google Photos для автоматической категоризации снимков и в проекте Google Lens для анализа изображений в реальном времени.

Обучение с подкреплением

Хотя основным центром обучения с подкреплением в Google является DeepMind, Google Brain внёс вклад в разработку алгоритмов, применяемых в робототехнике и оптимизации. Например, были созданы системы для управления центрами обработки данных, которые снизили энергопотребление на 40%.

Применение в продуктах Google

Поиск и реклама

Технологии Google Brain лежат в основе алгоритмов ранжирования поисковой выдачи, понимания запросов и показа рекламы. В частности, модель BERT была интегрирована в поиск Google в 2019 году, что улучшило понимание сложных и длинных запросов.

Google Assistant и распознавание речи

Системы распознавания речи, созданные на базе глубоких нейросетей, используются в голосовом помощнике Google Assistant, а также в сервисах транскрибации и перевода. Уровень ошибок при распознавании был снижен до 5% и ниже.

Google Translate

Нейросетевой машинный перевод (GNMT) заменил статистический перевод в 2016 году. Система, разработанная при участии Google Brain, переводит целые предложения, а не отдельные фразы, что значительно повысило естественность и точность перевода для 103 языков.

Google Photos

Функции автоматической категоризации (например, распознавание лиц, объектов, мест) и поиска по фотографиям основаны на моделях компьютерного зрения, разработанных в Google Brain.

Критика и ограничения

Этические вопросы

Как и другие крупные проекты в области ИИ, Google Brain сталкивался с критикой по поводу потенциальных рисков, включая предвзятость алгоритмов (bias), возможность использования технологий для слежки или создания дезинформации. В 2018 году Google принял внутренние «Принципы ИИ», которые запрещают использование технологий для оружия и массового наблюдения, однако их соблюдение неоднократно ставилось под сомнение.

Увольнение исследователей

В 2020 году из Google уволили доктора Тиманит Гебру, одного из ведущих исследователей в области этики ИИ, после конфликта вокруг её критики языковых моделей. Этот инцидент вызвал общественный резонанс и привёл к обсуждению вопросов академической свободы внутри компании.

Конкуренция с OpenAI

Несмотря на значительные достижения, Google Brain (и Google в целом) часто критиковали за медленное внедрение результатов исследований в коммерческие продукты. Запуск ChatGPT от OpenAI в 2022 году заставил Google ускорить разработку собственных чат-ботов (Bard, ныне Gemini), что привело к реорганизации подразделений.

Интересные факты

• Название «Brain» — проект изначально назывался «Google Brain» из-за метафоры, что нейросеть работает как мозг, хотя сам термин «мозг» (brain) не является научным определением для ИИ.
• TensorFlow — библиотека, созданная Google Brain, используется не только в Google, но и в тысячах других организаций, включая NASA, Airbus и Twitter.
• Эксперимент с кошками — нейросеть, обученная распознавать кошек, состояла из 16 000 процессоров (CPU) и 1 миллиарда соединений, что было рекордным масштабом на тот момент.

Источники

• Dean, J., Corrado, G., et al. (2012). «Large Scale Distributed Deep Networks». Advances in Neural Information Processing Systems.
• Vaswani, A., Shazeer, N., et al. (2017). «Attention is All You Need». arXiv:1706.03762.
• Devlin, J., Chang, M.-W., et al. (2018). «BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding». arXiv:1810.04805.
• Wu, Y., Schuster, M., et al. (2016). «Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation». arXiv:1609.08144.
• Официальный блог Google AI (ai.googleblog.com) — серия публикаций о проектах Google Brain, включая AutoML, LaMDA и PaLM.
• «The Brain Makers: Google's Quest to Build an AI» — статья в журнале Wired (2014).