ChatGPT — генеративная языковая модель¶

ChatGPT — чат-бот с генеративным искусственным интеллектом, разработанный американской компанией OpenAI и выпущенный в ноябре 2022 года. Работает на основе больших языковых моделей (LLM) семейства GPT и предназначен для ведения диалога на естественном языке: отвечает на вопросы, пишет и редактирует тексты, объясняет понятия, помогает с кодом и решением прикладных задач. Относится к классу генеративных моделей-трансформеров, обученных предсказывать следующее слово в последовательности на больших объёмах текстовых данных.

¶История

Компания OpenAI была основана в 2015 году; её языковые модели развивались поэтапно: GPT (2018), GPT-2 (2019), GPT-3 (2020). Модель GPT-3.5 с обучением на основе обратной связи от человека (RLHF) легла в основу публичного чат-интерфейса, запущенного 30 ноября 2022 года. В 2023 году появилась GPT-4, поддерживающая обработку изображений и более длинный контекст; в дальнейшем вышли версии GPT-4o и последующие итерации. Доступ к сервису предоставляется через веб-интерфейс, мобильные приложения и программный интерфейс API.

¶Принцип работы

ChatGPT построен на архитектуре трансформер — нейросети с механизмом внимания, которая учитывает связи между словами в длинном тексте. Обучение проходит в несколько стадий:

• предварительное обучение на большом корпусе текстов (предсказание следующего токена);
• тонкая настройка на диалоговых примерах;
• выравнивание по предпочтениям человека (RLHF), при котором ответы ранжируются людьми, а модель обучается на этих оценках.

Модель не хранит готовые ответы, а генерирует их вероятностно, слово за словом. Из-за этого возможны фактические ошибки и вымышленные сведения — так называемые «галлюцинации».

¶Возможности и ограничения

Основные функции: генерация и переработка текстов, перевод, summarization, ответы на вопросы, написание и отладка программного кода, работа с таблицами и формулами, а в поздних версиях — анализ изображений и голосовой ввод.

Ограничения:

• отсутствие гарантии достоверности фактов;
• ограниченное знание о событиях после даты обучения (если нет доступа к поиску);
• конечный объём контекста;
• чувствительность к формулировке запроса (промпта).

¶Применение

ChatGPT используется в образовании, журналистике, программировании, маркетинге, поддержке клиентов, научной работе. В России сервис официально не представлен, доступ ограничен; при этом существуют отечественные аналоги — YandexGPT, GigaChat и другие. В корпоративной среде модель применяется для автоматизации рутинных текстовых задач, а также встраивается в продукты через API.

¶Влияние и критика

Запуск ChatGPT вызвал широкий общественный резонанс и ускорил развитие направления генеративного ИИ. К числу обсуждаемых проблем относятся: распространение недостоверной информации, вопросы авторских прав на обучающие данные, риск использования для создания вредоносного кода и текстов, а также влияние на рынок труда. Ряд стран и организаций вводил ограничения на использование сервиса; в России доступ к нему блокируется, а регулирование ИИ развивается в рамках национального законодательства.

¶См. также

Большие языковые модели, генеративный искусственный интеллект, обработка естественного языка, трансформер.

Источники: материалы OpenAI, публикации о развитии больших языковых моделей, обзоры по генеративному ИИ.