Открыть сервис
Главная → Блог → GPT-4

GPT-4

GPT-4 — это мультимодальная большая языковая модель (LLM), разработанная американской компанией OpenAI. Она является четвёртым поколением семейства генеративных предварительно обученных трансформеров (GPT) и была представлена 14 марта 2023 года. Модель способна обрабатывать и генерировать текст, а также анализировать изображения (в версии GPT-4V), решать задачи в различных предметных областях, включая математику, юриспруденцию и программирование. GPT-4 демонстрирует значительно более высокие результаты в тестах на логику, понимание контекста и безопасность по сравнению с предшественником GPT-3.5.

История

Разработка GPT-4 велась в рамках стратегии OpenAI по масштабированию нейросетей и улучшению их способности следовать инструкциям. Первые слухи о модели появились в 2022 году, когда компания подала заявку на регистрацию товарного знака «GPT-4». Официальный анонс состоялся 14 марта 2023 года. В отличие от предыдущих версий, OpenAI не раскрыла большинство технических деталей, включая точное количество параметров и состав обучающих данных, сославшись на конкурентные соображения и соображения безопасности.

В сентябре 2023 года была выпущена версия GPT-4V (Vision), которая добавила возможность анализа изображений. В ноябре 2023 года состоялась первая конференция разработчиков OpenAI DevDay, на которой были представлены GPT-4 Turbo — более быстрая и дешёвая версия модели с контекстным окном до 128 000 токенов, а также возможность создания пользовательских версий (GPTs). В мае 2024 года OpenAI представила GPT-4o («омни»), которая объединила обработку текста, изображений и аудио в одной модели.

Архитектура и технические характеристики

Архитектура

GPT-4 основана на архитектуре трансформера (Transformer), но точная конфигурация (количество слоёв, голов внимания, размер скрытого слоя) не раскрыта. Известно, что модель использует механизм многоголового внимания (multi-head attention) и предварительное обучение на больших корпусах текстов с последующей донастройкой с использованием обучения с подкреплением на основе обратной связи от человека (RLHF).

Размер и параметры

OpenAI не опубликовала точное количество параметров GPT-4. По оценкам независимых исследователей, модель может содержать около 1,76 триллиона параметров, распределённых по восьми моделям-экспертам (Mixture of Experts, MoE). Каждый эксперт содержит около 220 миллиардов параметров, но при выполнении запроса активируется только часть из них, что снижает вычислительные затраты.

Контекстное окно

Стандартная версия GPT-4 поддерживает контекстное окно в 8 192 токена (примерно 6 000 слов). Версия GPT-4-32k — до 32 768 токенов. GPT-4 Turbo и GPT-4o — до 128 000 токенов.

Мультимодальность

GPT-4V и GPT-4o могут анализировать изображения, включая фотографии, диаграммы, графики и рукописный текст. Модель способна отвечать на вопросы по содержанию изображения, описывать его и выполнять простые визуальные рассуждения (например, подсчёт объектов или распознавание эмоций на лицах). GPT-4o также поддерживает обработку аудио (распознавание речи и синтез) в реальном времени.

Возможности

Обработка текста

GPT-4 демонстрирует высокие результаты в задачах генерации текста, перевода, реферирования, ответов на вопросы и написания кода. Модель способна поддерживать длинные диалоги, запоминать контекст и адаптировать стиль общения под задачу.

Решение задач

В стандартизированных тестах GPT-4 показала результаты, сопоставимые с уровнем человека:

Программирование

Модель способна писать код на многих языках (Python, JavaScript, C++, Rust и др.), объяснять алгоритмы, находить ошибки и рефакторить существующий код. В тесте HumanEval (генерация функций по описанию) GPT-4 достигла точности около 87 %, что значительно выше, чем у GPT-3.5 (около 48 %).

Работа с изображениями (GPT-4V)

Ограничения и недостатки

Галлюцинации

Как и другие большие языковые модели, GPT-4 иногда генерирует правдоподобные, но фактически неверные утверждения («галлюцинации»). Частота таких ошибок снижена по сравнению с GPT-3.5, но не устранена полностью.

Контекстное окно

Несмотря на увеличение до 128 000 токенов в версии Turbo, модель может терять часть информации из начала длинного диалога или документа, особенно при сложных запросах.

Стоимость

API GPT-4 значительно дороже, чем у GPT-3.5. Стоимость запроса составляет около 0,03 доллара за 1000 токенов на вход и 0,06 доллара за 1000 токенов на выход (для версии GPT-4-8k). GPT-4 Turbo дешевле: 0,01 доллара за 1000 токенов на вход и 0,03 доллара на выход.

Предвзятость (bias)

Модель может воспроизводить стереотипы, присутствующие в обучающих данных. OpenAI применяет фильтры и донастройку для снижения предвзятости, но полностью устранить её не удаётся.

Безопасность

OpenAI внедрила механизмы защиты от генерации вредоносного контента (насилие, инструкции по созданию оружия, дискриминация). Однако модель может быть обойдена с помощью специальных промптов (jailbreak-атак). В ответ на это OpenAI регулярно обновляет политики безопасности и донастраивает модель.

Применение

Коммерческие продукты

Образование и наука

GPT-4 применяется для создания учебных материалов, проверки заданий, написания черновиков научных статей. Некоторые исследователи используют её для генерации гипотез и анализа данных.

Медицина

Модель демонстрирует способность интерпретировать медицинские тексты, отвечать на вопросы по диагностике (с оговорками, что она не заменяет врача). В тесте USMLE (экзамен для врачей в США) GPT-4 набрала около 90 % правильных ответов.

Юриспруденция

GPT-4 используется для составления договоров, анализа судебной практики, написания юридических меморандумов. Однако из-за риска галлюцинаций и устаревших данных юристы проверяют её выводы вручную.

Критика

Непрозрачность

OpenAI критикуют за отказ публиковать детали архитектуры, обучающие данные и методологию оценки. Это затрудняет независимую проверку заявленных характеристик и выявление потенциальных уязвимостей.

Экологические последствия

Обучение больших языковых моделей требует огромных вычислительных ресурсов. По оценкам, обучение GPT-4 могло потреблять электроэнергию, эквивалентную годовому потреблению нескольких сотен домохозяйств, что вызывает вопросы об углеродном следе.

Риски автоматизации

Существуют опасения, что широкое внедрение GPT-4 может привести к сокращению рабочих мест в таких сферах, как копирайтинг, перевод, программирование начального уровня и поддержка клиентов.

Регулирование

В 2023–2024 годах регулирующие органы разных стран начали разрабатывать законы об искусственном интеллекте. В ЕС принят Акт об искусственном интеллекте (AI Act), который классифицирует модели общего назначения, такие как GPT-4, как системы с системным риском, требующие дополнительного контроля. В России в 2023 году был принят Федеральный закон № 258-ФЗ «Об экспериментальных правовых режимах в сфере цифровых инноваций», который регулирует, в том числе, использование технологий искусственного интеллекта.

Источники

BFOmetr — база данных и аналитика по компаниям России.

На главную BFOmetr →

Похожие материалы