GPT-3

GPT-3 (сокр. от англ. Generative Pre-trained Transformer 3) — это языковая модель третьего поколения, разработанная американской компанией OpenAI (организация признана иноагентом в РФ). Представляет собой нейронную сеть с архитектурой трансформер, обученную на огромном объёме текстовых данных для генерации связного и контекстно-релевантного текста на естественном языке. GPT-3 была представлена в июне 2020 года и стала одной из крупнейших и наиболее мощных языковых моделей своего времени, способной выполнять широкий спектр задач обработки естественного языка (Natural Language Processing, NLP) без дополнительной дообучки под конкретные задачи.

История создания

Разработка GPT-3 стала продолжением серии моделей GPT, начатой OpenAI в 2018 году с выпуска первой версии (GPT-1). GPT-1 содержала 117 миллионов параметров и была обучена на корпусе книг BookCorpus. В 2019 году вышла GPT-2 с 1,5 миллиардами параметров, которая продемонстрировала значительное улучшение качества генерации текста, но изначально была выпущена с ограничениями из-за опасений по поводу возможного злоупотребления.

Работа над GPT-3 началась в 2019 году. Ключевым отличием стало резкое увеличение масштаба: модель была обучена на 175 миллиардах параметров, что примерно в 100 раз больше, чем у GPT-2. Для обучения использовался датасет Common Crawl, включающий тексты из интернета, а также отфильтрованные версии Википедии, книг и научных статей. Общий объём обучающих данных составил около 570 гигабайт текста.

Презентация GPT-3 состоялась 11 июня 2020 года в виде научной статьи «Language Models are Few-Shot Learners» (авторы: Том Браун, Бенджамин Манн, Ник Райдер и др.). Первоначально доступ к модели был ограничен: OpenAI предоставляла API для тестирования ограниченному кругу разработчиков и исследователей. В 2021 году был запущен коммерческий доступ через API, а в 2022 году — выпущена модель GPT-3.5, которая стала основой для ChatGPT.

Архитектура и принцип работы

Архитектура трансформер

GPT-3 построена на архитектуре трансформер (Transformer), предложенной в 2017 году в статье «Attention Is All You Need» (Васкеви и др.). Эта архитектура использует механизм самовнимания (self-attention), позволяющий модели учитывать взаимосвязи между всеми словами в последовательности, независимо от их расстояния. В отличие от рекуррентных нейронных сетей, трансформеры обрабатывают текст параллельно, что значительно ускоряет обучение и генерацию.

GPT-3 является декодерной моделью: она использует только часть трансформера, отвечающую за генерацию последовательности. Модель предсказывает следующее слово (токен) в последовательности, исходя из предыдущих слов. Это делает её авторегрессионной: каждый новый токен генерируется на основе всех предыдущих.

Параметры и размеры

GPT-3 имеет 175 миллиардов параметров — настраиваемых весовых коэффициентов, которые определяют поведение модели. Для сравнения: GPT-2 имела 1,5 миллиарда параметров, а BERT (популярная модель от Google) — 340 миллионов. Размер модели в памяти составляет около 700 гигабайт (в формате с плавающей запятой одинарной точности). Для обучения использовались тысячи графических процессоров (GPU) — по оценкам, около 10 000 GPU Nvidia V100, работавших в течение нескольких недель.

Обучение

Обучение GPT-3 проходило в два этапа:

1. Предварительное обучение (pre-training): модель обучалась на большом корпусе текстов без учителя (unsupervised learning). Задача — предсказывать следующее слово в последовательности. На этом этапе модель усваивает грамматику, факты, стили и логические связи.
2. Дообучение (fine-tuning): после предварительного обучения модель может быть дополнительно обучена на небольших наборах данных для конкретных задач (например, перевод, ответы на вопросы). Однако GPT-3 демонстрирует способность выполнять задачи без дообучения, используя только контекст (few-shot learning).

Few-shot и zero-shot обучение

Одной из ключевых особенностей GPT-3 стала способность к обучению на нескольких примерах (few-shot learning) и даже без примеров (zero-shot learning). Пользователь может предоставить модели несколько примеров выполнения задачи прямо в тексте запроса, и модель «на лету» адаптируется к задаче, не изменяя свои веса. Это стало возможным благодаря огромному объёму обучающих данных, в которых модель «видела» множество различных шаблонов.

Возможности и применение

Генерация текста

GPT-3 способна генерировать связные, грамматически правильные и стилистически разнообразные тексты на десятках языков, включая русский. Она может писать эссе, статьи, стихи, код, сценарии, диалоги и даже имитировать стиль конкретных авторов. Примеры использования:

• Написание рекламных текстов и маркетинговых материалов.
• Создание контента для блогов и социальных сетей.
• Генерация кода на языках программирования (Python, JavaScript и др.).
• Составление резюме, писем и деловой переписки.

Перевод и перефразирование

Модель выполняет перевод между языками, хотя качество может уступать специализированным переводчикам. Она также может перефразировать текст, сохраняя смысл, но изменяя стиль или тон.

Ответы на вопросы и диалог

GPT-3 может отвечать на вопросы по широкому кругу тем, вести диалог и поддерживать контекст беседы. Это свойство легло в основу ChatGPT, где модель дообучена с использованием техники обучения с подкреплением на основе обратной связи от человека (RLHF — Reinforcement Learning from Human Feedback).

Классификация и анализ

Модель способна классифицировать тексты (например, определять тональность, тему, язык), извлекать сущности (имена, даты, места) и выполнять другие задачи NLP.

Программирование и математика

GPT-3 демонстрирует способность решать простые математические задачи, писать и отлаживать код, объяснять алгоритмы. Однако для сложных задач её точность снижается.

Ограничения и критика

Фактологическая точность

GPT-3 не имеет доступа к актуальным данным в реальном времени (если не подключена к интернету) и не «знает» факты в традиционном смысле. Она генерирует текст, основываясь на статистических закономерностях, поэтому может выдавать правдоподобные, но ложные утверждения (так называемые «галлюцинации»). Модель не способна проверять достоверность информации.

Предвзятость и стереотипы

Поскольку модель обучалась на текстах из интернета, она усвоила существующие в обществе предубеждения, стереотипы и дискриминационные высказывания. Исследования показали, что GPT-3 может воспроизводить расовые, гендерные и религиозные стереотипы, а также генерировать токсичный контент. OpenAI предпринимает меры для фильтрации, но проблема полностью не решена.

Отсутствие понимания

GPT-3 не обладает сознанием, пониманием или намерениями. Она имитирует человеческую речь, но не осознаёт смысл генерируемых слов. Это может создавать иллюзию интеллекта, что критикуется философами и исследователями ИИ.

Затраты и доступность

Обучение GPT-3 обошлось в десятки миллионов долларов США (по оценкам, около 12 миллионов долларов за один прогон обучения). Запуск модели на продакшене также требует значительных вычислительных ресурсов, что делает её дорогой для массового использования. API OpenAI предоставляется по подписке, что ограничивает доступ для небольших компаний и исследователей.

Безопасность и злоупотребление

Существуют опасения, что GPT-3 может быть использована для создания дезинформации, фишинговых писем, спама, а также для автоматизации вредоносных действий. OpenAI ввела модерацию контента и ограничения на использование, но полностью исключить злоупотребления невозможно.

Влияние и наследие

GPT-3 стала важной вехой в развитии искусственного интеллекта. Она продемонстрировала, что увеличение масштаба модели (числа параметров и объёма данных) приводит к качественному скачку в способностях, что стимулировало гонку за создание ещё более крупных моделей (например, GPT-4, PaLM, LLaMA). Модель также способствовала популяризации технологий NLP среди широкой публики и бизнеса, показав практическую ценность генеративных языковых моделей.

В России и других странах использование GPT-3 и её аналогов регулируется законодательством в области информационной безопасности и защиты данных. В 2023 году в РФ были приняты меры по ограничению доступа к некоторым сервисам OpenAI в связи с требованиями о локализации данных и статусом организации.

Интересные факты

• GPT-3 способна генерировать текст, который трудно отличить от написанного человеком, что привело к дебатам о том, следует ли маркировать контент, созданный ИИ.
• Модель может «выучить» новую задачу всего на нескольких примерах, что делает её одной из первых «универсальных» языковых моделей.
• В 2022 году на основе GPT-3 был создан проект «DALL-E», генерирующий изображения по текстовым описаниям, хотя это уже другая модель.
• Некоторые исследователи утверждают, что GPT-3 демонстрирует «зачатки рассуждений», хотя большинство экспертов считают это иллюзией.

Источники

• Brown, T. B., Mann, B., Ryder, N., et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Vaswani, A., Shazeer, N., Parmar, N., et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Документация OpenAI API (2020–2023).
• Floridi, L., & Chiriatti, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds and Machines, 30(4), 681–694.
• Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? Proceedings of FAccT 2021.