360 GPT

360 GPT — это семейство больших языковых моделей (LLM), разработанное китайской компанией Qihoo 360 (также известной как 360 Security Technology Inc.). Модели предназначены для генерации текста, ответов на вопросы, перевода, написания кода и выполнения других задач обработки естественного языка. 360 GPT является частью глобального тренда по созданию национальных альтернатив западным языковым моделям, таким как GPT от OpenAI, с акцентом на китайский язык, локальную специфику и соответствие требованиям китайского законодательства.

История

Разработка 360 GPT была анонсирована в начале 2023 года, когда Qihoo 360, известная в первую очередь как разработчик антивирусного программного обеспечения и интернет-сервисов, объявила о входе в сферу искусственного интеллекта. Компания заявила о намерении создать собственную большую языковую модель, способную конкурировать с существующими решениями на китайском рынке. Первая версия модели была представлена в марте 2023 года, а в июне того же года состоялся публичный запуск. В апреле 2024 года компания представила обновлённую версию — 360 GPT 2.0, которая, по заявлениям разработчиков, демонстрировала улучшенные показатели в тестах на понимание языка, рассуждение и генерацию контента.

Архитектура и технические характеристики

360 GPT основана на архитектуре трансформера, которая является стандартом для современных больших языковых моделей. Точное количество параметров модели не раскрывается публично, однако, по оценкам экспертов, оно может составлять от десятков до сотен миллиардов, что сопоставимо с другими моделями аналогичного класса, такими как GPT-3.5 или ERNIE Bot от Baidu.

Модель обучалась на больших объёмах текстовых данных, преимущественно на китайском языке, включая книги, статьи, веб-страницы, форумы и другие источники. Qihoo 360 подчёркивает, что обучение проводилось с учётом требований китайского законодательства, включая фильтрацию контента, который может быть признан незаконным или нежелательным. Модель поддерживает контекстное окно длиной до 8192 токенов, что позволяет обрабатывать относительно длинные запросы и генерировать развёрнутые ответы.

Функциональные возможности

360 GPT позиционируется как универсальная модель, способная выполнять широкий спектр задач:

• Генерация текста: написание статей, эссе, писем, рекламных текстов, сценариев и других видов контента.
• Ответы на вопросы: предоставление информации по различным темам, включая науку, историю, культуру, технологии.
• Перевод: перевод текстов между китайским и другими языками, включая английский, русский, японский и другие.
• Написание кода: генерация и отладка программного кода на различных языках программирования, таких как Python, Java, C++.
• Анализ данных: обработка и интерпретация структурированных данных, создание отчётов.
• Диалоговое взаимодействие: поддержка беседы в режиме реального времени, в том числе с учётом контекста предыдущих сообщений.

Применение

Qihoo 360 интегрирует 360 GPT в свои существующие продукты и сервисы, а также предлагает API для сторонних разработчиков. Основные направления применения включают:

• Поисковые системы: улучшение качества поиска за счёт генерации прямых ответов на запросы пользователей, а не простого вывода ссылок.
• Кибербезопасность: анализ угроз, генерация отчётов о безопасности, помощь в написании правил для систем обнаружения вторжений.
• Образование: создание учебных материалов, генерация вопросов и ответов, помощь в изучении языков.
• Бизнес: автоматизация документооборота, генерация маркетинговых материалов, анализ отзывов клиентов.
• Развлечения: создание сценариев для игр, генерация диалогов для виртуальных персонажей.

Критика и ограничения

Как и другие большие языковые модели, 360 GPT подвергается критике по нескольким направлениям:

• Точность: модель может генерировать правдоподобные, но фактически неверные ответы (явление, известное как «галлюцинации»). Разработчики признают эту проблему и работают над её решением.
• Предвзятость: как и любая модель, обученная на человеческих данных, 360 GPT может воспроизводить существующие в обществе предубеждения и стереотипы.
• Цензура: в соответствии с китайским законодательством, модель фильтрует контент, который может быть признан незаконным, в том числе критику правительства, упоминания запрещённых тем и событий. Это ограничивает свободу выражения и может приводить к неполным или искажённым ответам на некоторые вопросы.
• Зависимость от данных: качество и репрезентативность обучающих данных напрямую влияют на производительность модели. Недостаток данных по определённым темам может снижать точность ответов.

Сравнение с аналогами

360 GPT конкурирует на китайском рынке с другими большими языковыми моделями, такими как ERNIE Bot от Baidu, Tongyi Qianwen от Alibaba, SparkDesk от iFlytek и другими. По результатам независимых тестов, 360 GPT демонстрирует сопоставимые результаты в задачах на китайском языке, однако уступает ведущим западным моделям, таким как GPT-4 от OpenAI, в задачах, требующих глубокого понимания контекста и сложных рассуждений. Основным преимуществом 360 GPT является её интеграция с экосистемой Qihoo 360, включая антивирусное ПО, браузер и другие сервисы, что обеспечивает доступ к большой пользовательской базе.

Правовой статус

360 GPT разработана и используется в соответствии с законодательством Китайской Народной Республики. В России модель не имеет официального статуса, не признана нежелательной или запрещённой. Qihoo 360 не входит в перечень организаций, признанных экстремистскими или террористическими в РФ.

Источники

• Официальные пресс-релизы Qihoo 360 (2023–2024).
• Статьи в китайских деловых изданиях (Caixin, 36Kr, TechNode).
• Публикации на платформе GitHub, связанные с проектом.
• Обзоры и тесты на сайтах, посвящённых искусственному интеллекту (например, Papers with Code).