watsonx.ai

watsonx.ai — это облачная платформа для разработки, развёртывания и управления моделями искусственного интеллекта (ИИ), созданная компанией IBM. Платформа входит в портфель продуктов watsonx, который также включает watsonx.data (озеро данных) и watsonx.governance (управление моделями). watsonx.ai предназначена для работы с большими языковыми моделями (LLM), генеративным ИИ и классическими моделями машинного обучения, предоставляя инструменты для их обучения, тонкой настройки, оценки и внедрения в бизнес-процессы.

История

Платформа watsonx была анонсирована IBM в мае 2023 года на конференции Think 2023. Разработка стала ответом на растущий спрос на корпоративные решения в области генеративного ИИ, а также на необходимость обеспечения безопасности, контроля и соответствия нормативным требованиям при работе с ИИ. До этого IBM предлагала решения на базе IBM Watson, но watsonx.ai представляет собой принципиально новую, более гибкую и открытую платформу, ориентированную на работу с различными моделями, включая открытые и сторонние.

В июле 2023 года платформа стала доступна в публичном облаке IBM Cloud. В 2024 году были выпущены обновления, включающие новые модели из семейства Granite, а также интеграцию с инструментами для разработки программного обеспечения и автоматизации бизнес-процессов.

Архитектура и компоненты

Основные компоненты

Платформа watsonx.ai построена на модульной архитектуре и включает следующие ключевые компоненты:

• Studio — среда для разработки и экспериментов с моделями. Позволяет загружать данные, выбирать базовые модели, настраивать гиперпараметры и выполнять тонкую настройку (fine-tuning) с использованием собственных данных.
• Prompt Lab — инструмент для проектирования и тестирования промптов (запросов к ИИ). Позволяет создавать шаблоны, задавать контекст и оценивать ответы модели.
• AutoAI — автоматизированная система машинного обучения, которая помогает выбирать наилучшие алгоритмы и параметры для классических задач (регрессия, классификация, прогнозирование временных рядов).
• Model Registry — реестр моделей, где хранятся версии обученных моделей, их метаданные и метрики производительности.
• Watson Machine Learning — сервис для развёртывания моделей в продуктивной среде, включая REST API, пакетную обработку и потоковую передачу данных.

Модели Granite

Семейство моделей Granite — это серия больших языковых моделей, разработанных IBM. Они доступны в открытом исходном коде (лицензия Apache 2.0) и оптимизированы для корпоративных задач, таких как генерация кода, анализ текстов, создание отчётов и поддержка клиентов. Модели Granite имеют различные размеры (от 3 до 34 миллиардов параметров) и специализации (например, Granite-13b-Instruct, Granite-20b-Code).

Интеграция с открытыми моделями

Платформа поддерживает не только собственные модели IBM, но и открытые модели из репозиториев Hugging Face, а также модели от сторонних поставщиков, таких как Meta (организация признана экстремистской и запрещена в РФ) (модель Llama 2) и другие. Пользователь может выбирать модель в зависимости от задачи, требований к производительности и стоимости.

Возможности

Тонкая настройка (Fine-tuning)

Платформа позволяет адаптировать предобученные модели под конкретные бизнес-задачи с помощью собственных данных. Для этого используются методы:

• Полная тонкая настройка — обновление всех параметров модели на небольшом наборе данных.
• LoRA (Low-Rank Adaptation) — метод, который добавляет обучаемые матрицы к слоям модели, снижая вычислительные затраты.
• QLoRA — вариант LoRA с квантизацией, позволяющий настраивать модели на оборудовании с ограниченной памятью.

Генерация с дополнением (RAG)

watsonx.ai поддерживает архитектуру Retrieval-Augmented Generation (RAG), которая позволяет модели получать актуальную информацию из внешних источников (базы знаний, документы, веб-страницы) перед генерацией ответа. Это повышает точность и снижает вероятность галлюцинаций (выдачи ложных фактов).

Оценка и управление

Платформа включает инструменты для оценки качества моделей: метрики точности, полноты, F1, а также специализированные метрики для генеративного ИИ (например, оценка релевантности, токсичности, согласованности). В состав watsonx.governance входят средства для мониторинга дрейфа данных, отслеживания предвзятости и обеспечения соответствия нормативным требованиям (например, GDPR).

Интеграция с другими сервисами IBM

watsonx.ai интегрируется с:

• IBM Cloud Pak for Data — платформа для управления данными и аналитики.
• IBM Watson Assistant — сервис для создания чат-ботов.
• IBM OpenPages — система управления рисками и соответствием.
• Red Hat OpenShift — платформа для контейнеризации и оркестрации, позволяющая развёртывать модели в гибридных облачных средах.

Применение

Разработка программного обеспечения

watsonx.ai используется для генерации кода, автоматизации тестирования, создания документации и рефакторинга. Модели Granite-Code, обученные на больших объёмах кода, помогают разработчикам писать и отлаживать программы.

Бизнес-аналитика

Платформа применяется для анализа отзывов клиентов, извлечения сущностей из документов, создания сводок и отчётов. Например, в финансовом секторе модели могут обрабатывать отчёты о прибылях и убытках, выявлять аномалии и генерировать рекомендации.

Поддержка клиентов

watsonx.ai интегрируется с системами управления взаимоотношениями с клиентами (CRM) для создания интеллектуальных чат-ботов, способных отвечать на сложные вопросы, обрабатывать заявки и передавать запросы операторам.

Научные исследования

В академической среде платформа используется для анализа текстов, обработки естественного языка, создания моделей для прогнозирования и классификации. Открытые модели Granite позволяют исследователям адаптировать их под свои задачи без необходимости платить за лицензии.

Критика и ограничения

Зависимость от облачной инфраструктуры

Для полноценной работы с watsonx.ai требуется доступ к облачным сервисам IBM Cloud или локальному развёртыванию на базе Red Hat OpenShift. Это может создавать барьеры для небольших компаний с ограниченными ИТ-ресурсами.

Стоимость

Хотя платформа предлагает бесплатный тарифный план (Lite) с ограниченными возможностями, полный функционал, включая тонкую настройку и развёртывание моделей, требует оплаты подписки. Стоимость может быть высокой при больших объёмах данных и частых запросах.

Качество моделей

Несмотря на усилия IBM, модели Granite уступают по некоторым показателям (например, в задачах общего понимания языка) лидерам рынка, таким как GPT-4 от OpenAI (организация признана нежелательной в РФ) или Claude от Anthropic. В тестах на бенчмарках (например, MMLU, HellaSwag) Granite показывают результаты ниже среднего по сравнению с моделями аналогичного размера.

Прозрачность и предвзятость

IBM декларирует приверженность принципам ответственного ИИ, но, как и другие крупные модели, Granite могут воспроизводить предвзятости, присутствующие в обучающих данных. Платформа предоставляет инструменты для оценки предвзятости, но полное устранение этой проблемы остаётся сложной задачей.

Интересные факты

• Название «watsonx» происходит от имени первого директора IBM Томаса Дж. Уотсона, а также от системы IBM Watson, ставшей известной после победы в телевикторине Jeopardy! в 2011 году.
• Модели Granite доступны в открытом исходном коде, что позволяет разработчикам и исследователям изучать их архитектуру и дорабатывать под свои нужды.
• IBM активно сотрудничает с научными организациями, включая Массачусетский технологический институт (MIT), для исследования методов повышения надёжности и безопасности генеративного ИИ.
• Платформа watsonx.ai поддерживает работу с данными на русском языке, но качество генерации текстов на русском языке у моделей Granite ниже, чем на английском, из-за меньшего объёма русскоязычных данных в обучающих наборах.

Источники

• IBM. «IBM watsonx.ai: Enterprise AI platform». Официальная документация IBM.
• IBM Research. «Granite: Open Foundation Models for Enterprise AI». Технический отчёт, 2024.
• Статья «IBM launches watsonx, a new AI platform for businesses» на сайте TechCrunch, май 2023.
• Документация по модели Granite-13b на Hugging Face.
• Обзор платформы watsonx.ai на сайте IBM Cloud.