PaLM 2

PaLM 2 (Pathways Language Model 2) — это большая языковая модель (LLM), разработанная компанией Google (Google LLC — организация, зарегистрированная в США). Она представляет собой второе поколение семейства моделей PaLM, анонсированное в мае 2023 года на конференции Google I/O. PaLM 2 позиционируется как более компактная и эффективная по сравнению с предшественником (PaLM), способная решать широкий спектр задач обработки естественного языка, включая генерацию текста, перевод, написание кода и логические рассуждения. Модель легла в основу многих продуктов Google, в том числе чат-бота Bard (позднее переименованного в Gemini).

История и развитие

Предпосылки создания

Первая версия модели, PaLM, была представлена Google в апреле 2022 года. Она имела 540 миллиардов параметров и обучалась на наборе данных, включающем тексты на разных языках и программный код. Несмотря на высокую производительность в задачах рассуждения и генерации, PaLM требовала значительных вычислительных ресурсов, что ограничивало её практическое применение. Основной целью разработчиков PaLM 2 стало создание модели, сопоставимой по качеству с PaLM, но с меньшими затратами на инференс (выполнение запросов) и обучение.

Анонс и архитектурные изменения

PaLM 2 была анонсирована 10 мая 2023 года в ходе выступления генерального директора Google Сундара Пичаи. Ключевым нововведением стало использование новой архитектуры, оптимизированной на основе подхода Pathways. В отличие от PaLM, которая была монолитной, PaLM 2 представляет собой семейство моделей разного размера (Gecko, Otter, Bison, Unicorn), адаптированных под различные сценарии — от работы на мобильных устройствах до серверных вычислений. В официальных документах Google указывалось, что модель обучалась на значительно большем объёме данных, включая параллельные корпуса текстов на более чем 100 языках, а также на исходных кодах программ на 20 языках программирования.

Связь с другими моделями Google

PaLM 2 стала промежуточным звеном между оригинальным PaLM и более поздними моделями Gemini. Технологии, отработанные на PaLM 2, включая мультиязычность и многозадачность, были впоследствии усовершенствованы в семействе Gemini. Некоторые сервисы Google, первоначально работавшие на PaLM 2 (например, Bard), были переведены на Gemini в начале 2024 года.

Технические характеристики и архитектура

Архитектура

PaLM 2 построена на основе архитектуры трансформера (Transformer), стандартной для современных LLM. Однако разработчики внесли в неё несколько ключевых изменений:

• Улучшенное внимание (Attention): Использовались модифицированные механизмы внимания, позволяющие эффективнее обрабатывать длинные последовательности токенов (до 4096 токенов в контексте).
• Оптимизация Pathways: Модель использует систему распределённых вычислений Pathways, что позволяет задействовать множество ускорителей (TPU) параллельно, снижая время обучения.
• Мультимодальность (ограниченная): Хотя PaLM 2 является преимущественно текстовой моделью, она способна обрабатывать и генерировать базовые элементы кода и математические формулы. Полноценная мультимодальность (работа с изображениями, аудио и видео) была реализована в Gemini.

Размеры и варианты

Google выпустила четыре основных варианта модели, различающихся по размеру и производительности:

• Gecko: Самая лёгкая версия, предназначенная для работы на мобильных устройствах и встраиваемых системах. Способна работать без подключения к облаку.
• Otter: Средняя модель, оптимизированная для задач с умеренными требованиями к скорости и точности.
• Bison: Основная версия, используемая в большинстве серверных продуктов Google (например, в Google Cloud AI).
• Unicorn: Самая мощная версия, предназначенная для сложных задач, требующих глубоких логических рассуждений и генерации кода.

Точное количество параметров для каждой из этих моделей не было раскрыто Google. По оценкам независимых исследователей, размеры варьируются от нескольких миллиардов (Gecko) до нескольких сотен миллиардов (Unicorn), что значительно меньше 540 миллиардов параметров PaLM.

Обучение

Обучение PaLM 2 проводилось на суперкомпьютерах Google с использованием тысяч тензорных процессоров (TPU v4). Датасет включал:

• Тексты на более чем 100 языках мира (с акцентом на английский, китайский, арабский, испанский, французский и русский).
• Исходные коды с GitHub на 20 языках (Python, Java, C++, JavaScript, Go и др.).
• Научные статьи, книги и веб-страницы.

Возможности и применение

Основные функции

PaLM 2 демонстрирует высокие результаты в следующих категориях:

• Генерация текста: Написание статей, писем, креативных текстов, сценариев.
• Перевод: Поддержка множества языков, включая редкие. Модель способна переводить идиомы и фразеологизмы.
• Написание кода: Генерация, объяснение и отладка программного кода. PaLM 2 лежала в основе инструментов Google Colab и Duet AI for Developers.
• Логические рассуждения: Решение математических задач, задач на логику, ответы на вопросы по тексту.
• Анализ тональности: Определение эмоциональной окраски текста.

Продукты на базе PaLM 2

Модель была интегрирована в более чем 25 продуктов Google, включая:

• Bard (позднее — Gemini): Чат-бот, который использовал PaLM 2 с июня 2023 года до замены на Gemini.
• Google Search: Улучшение функций поиска, включая генерацию кратких ответов (Search Generative Experience, SGE).
• Google Workspace: Инструменты Duet AI для Gmail, Google Docs, Sheets и Slides (автозаполнение, генерация формул, создание презентаций).
• Google Cloud: Сервис Vertex AI, позволяющий разработчикам развёртывать собственные экземпляры модели.
• Med-PaLM 2: Специализированная версия, обученная на медицинских данных. Модель показала результаты, сопоставимые с профессиональными врачами, в задачах ответов на вопросы из медицинских экзаменов (например, USMLE).

Ограничения

Несмотря на улучшения, PaLM 2 унаследовала некоторые ограничения, свойственные большим языковым моделям:

• Галлюцинации: Модель может генерировать правдоподобные, но фактически неверные утверждения.
• Предвзятость: Как и другие LLM, PaLM 2 может воспроизводить стереотипы, присутствующие в обучающих данных.
• Отсутствие актуальных знаний: База знаний модели ограничена датой её обучения (начало 2023 года). Google решала эту проблему интеграцией с поисковой системой для получения свежей информации.

Критика и конкуренция

Конкуренты

На момент выхода PaLM 2 основными конкурентами на рынке LLM были:

• GPT-4 (OpenAI): Модель, выпущенная в марте 2023 года, которая на тот момент считалась эталоном по качеству генерации и рассуждений. PaLM 2 уступала GPT-4 в некоторых бенчмарках, особенно в задачах, требующих креативности и понимания сложного контекста.
• Claude 2 (Anthropic): Модель, ориентированная на безопасность и этичность ответов.
• LLaMA 2 (Meta — организация признана экстремистской и запрещена в РФ): Открытая модель, которая стала популярной в исследовательском сообществе.

Критика

Основные замечания в адрес PaLM 2 касались:

1. Недостаточной прозрачности: Google не раскрыла детали архитектуры, размеры датасетов и точное количество параметров, что затрудняло независимую оценку.
2. Проблем с безопасностью: Вскоре после запуска Bard на PaLM 2 пользователи сообщали о случаях генерации нежелательного контента. Google внедрила дополнительные фильтры, но инциденты подорвали доверие к модели.
3. Отставания от GPT-4: В независимых тестах (например, в бенчмарке MMLU) PaLM 2 (версия Bison) набирала около 78-80% правильных ответов, в то время как GPT-4 достигал 86-87%.

Интересные факты

• Название Gecko: Самая маленькая версия модели названа в честь ящерицы геккона, что символизирует её способность «прилипать» к мобильным устройствам и работать в условиях ограниченных ресурсов.
• Медицинский экзамен: Med-PaLM 2 стала первой моделью, которая успешно сдала американский медицинский экзамен USMLE с результатом, превышающим проходной порог (67% против 60%).
• Русский язык: PaLM 2 демонстрировала хорошие результаты на русском языке, что было отмечено в тестах Google. Однако в ряде задач (например, перевод технической документации) она уступала специализированным моделям.

Источники

• Официальный блог Google: «PaLM 2: A Next Generation Language Model» (май 2023)
• Технический отчёт Google Research: «Pathways Language Model 2» (2023)
• Статья в журнале Nature: «Performance of a large language model on medical exam questions» (Med-PaLM 2, 2023)
• Документация Google Cloud: «Vertex AI: PaLM 2 models» (2023)
• Аналитический обзор TechCrunch: «Google’s PaLM 2 vs GPT-4: Benchmarking the new AI model» (май 2023)