ChatGPT — чат-бот на основе больших языковых моделей¶

ChatGPT — чат-бот с искусственным интеллектом, разработанный компанией OpenAI, работающий на основе больших языковых моделей (LLM) семейства GPT. Сервис позволяет пользователю задавать вопросы в форме естественного диалога и получать развёрнутые текстовые ответы, генерируемые нейросетью. Запущен в открытый доступ 30 ноября 2022 года и стал одним из самых быстрорастущих потребительских приложений в истории: за первые два месяца набрал более 100 миллионов активных пользователей.

¶История

¶Предыстория

OpenAI — американская компания, основанная в 2015 году как некоммерческая исследовательская организация, в 2019 году преобразованная в прибыльную. В 2018 году компания выпустила модель GPT (Generative Pre-trained Transformer), обученную предсказывать следующее слово в тексте. В 2019 году вышла GPT-2, а в 2020-м — GPT-3 с 175 миллиардами параметров, одна из крупнейших на тот момент языковых моделей.

¶Запуск ChatGPT

ChatGPT был представлен 30 ноября 2022 года как исследовательский прототип на базе модели GPT-3.5. В отличие от предыдущих моделей, обучение включало технику RLHF (обучение с подкреплением через обратную связь от человека), что позволило модели вести диалог, уточнять вопросы и отвечать на уточнения пользователя. Уже 5 декабря 2022 года генеральный директор OpenAI Сэм Альтман сообщил, что у сервиса более миллиона пользователей. В январе 2023 года ChatGPT стал самым быстрорастущим потребительским приложением в истории, достигнув 100 миллионов пользователей за два месяца.

¶Развитие

В феврале 2023 года OpenAI выпустила платную подписку ChatGPT Plus на базе модели GPT-4, а в марте 2023 года GPT-4 была интегрирована в бесплатную версию. В ноябре 2023 года вышла GPT-4 Turbo с расширенным контекстным окном и более низкой стоимостью запросов. В мае 2024 года OpenAI представила мультимодальную модель GPT-4o, способную обрабатывать текст, изображения и звук в реальном времени. В 2024 году вышла серия моделей o1, ориентированных на рассуждение и решение задач с пошаговым анализом.

¶Устройство и принцип работы

ChatGPT построен на архитектуре трансформер — нейросети, предложенной в статье «Attention Is All You Need» (2017). Модель обучена на большом корпусе текстов из интернета и книг, после чего дообучена с использованием человеко-ориентированного подкрепления: участники оценивали ответы модели, формируя предпочтения, по которым обучалась политика генерации.

Пользователь задаёт вопрос в текстовом поле, запрос отправляется на серверы OpenAI, где модель генерирует ответ по токенам — частям слов. Ответ строится вероятностно: модель предсказывает наиболее вероятное продолжение текста на основе контекста диалога. Контекстное окно (объём текста, который модель учитывает) в разных версиях составляет от 4 до 128 тысяч токенов.

¶Возможности

Основные функции ChatGPT:

• ответы на вопросы по широкому кругу тем;
• написание и редактирование текстов, кода;
• перевод между языками;
• суммаризация длинных документов;
• помощь в обучении и объяснение сложных концепций;
• генерация идей, планов, сценариев;
• работа с изображениями (в мультимодальных версиях) и создание изображений по описанию.

¶Ограничения

ChatGPT имеет ряд известных ограничений:

• модель может генерировать фактически неверные ответы (так называемые «галлюцинации»), выглядящие убедительно;
• данные обучения ограничены определённой датой, поэтому актуальная информация может отсутствовать;
• модель не имеет доступа к интернету в базовой версии (в более новых версиях появился режим поиска);
• ответы не являются экспертной консультацией в юридической, медицинской и финансовой сферах.

¶Распространение и влияние

ChatGPT вызвал волну интереса к генеративному искусственному интеллекту. Microsoft инвестировала в OpenAI около 13 миллиардов долларов и интегрировала технологию в поисковик Bing и офисный пакет Microsoft 365. Google в ответ разработала конкурентный чат-бот Bard (позже переименованный в Gemini). Многие компании по всему миру начали внедрять языковые модели в свои продукты и внутренние процессы.

В России сервис доступен через веб-интерфейс, однако OpenAI не имеет официального представительства в стране, и оплата подписки для российских банковских карт ограничена. На российском рынке работают аналогичные продукты — «Яндекс GPT» (ассистент «Алиса» на базе модели YandexGPT) и «GigaChat» от Сбера.

¶Критика

Критики указывают на проблемы достоверности ответов, риск использования в образовании для списывания, вопросы авторских прав на обучающие данные, энергопотребление обучения больших моделей и возможное влияние на рынок труда. OpenAI отмечает, что сервис является экспериментальным и требует проверки информации пользователем.

Источники:

• OpenAI. ChatGPT: Optimizing Language Models for Dialogue (2022)
• Vaswani A. et al. Attention Is All You Need (2017)
• Reuters, Bloomberg — материалы о росте ChatGPT и инвестициях Microsoft
• «Ведомости», «Коммерсантъ» — обзоры российских аналогов ChatGPT