ISO/IEC 42001¶

ISO/IEC 42001 — это международный стандарт, разработанный совместной технической комиссией ISO и IEC (ISO/IEC JTC 1, подкомитет SC 42), который устанавливает требования к системе менеджмента искусственного интеллекта (СМИИ). Стандарт опубликован в декабре 2023 года и является первым в мире документом такого рода, предназначенным для сертификации организаций, разрабатывающих, внедряющих или использующих системы искусственного интеллекта (ИИ). Он определяет структуру для управления рисками, связанными с ИИ, обеспечения прозрачности, безопасности, этичности и соответствия нормативным требованиям.

¶История разработки

Разработка ISO/IEC 42001 началась в 2021 году в рамках деятельности подкомитета SC 42 «Искусственный интеллект» технического комитета ISO/IEC JTC 1. Инициаторами выступили национальные органы по стандартизации ряда стран, включая Россию (в лице Росстандарта), а также международные организации, заинтересованные в унификации подходов к управлению ИИ. Проект проходил несколько стадий обсуждения и голосования, в которых участвовали эксперты из более чем 40 стран. Окончательная версия была одобрена в ноябре 2023 года и официально опубликована 18 декабря 2023 года. В России стандарт был принят в качестве национального (ГОСТ Р ИСО/МЭК 42001-2024) с датой введения в действие 1 января 2025 года.

¶Структура и основные положения

Стандарт построен на основе общей структуры High-Level Structure (HLS), применяемой в большинстве современных систем менеджмента (например, ISO 9001, ISO 14001, ISO 27001). Это облегчает интеграцию СМИИ с другими системами управления организации.

¶Ключевые элементы системы менеджмента ИИ

Контекст организации — определение внешних и внутренних факторов, влияющих на деятельность организации в сфере ИИ, а также заинтересованных сторон и их требований.
Лидерство — обязательства высшего руководства по разработке и внедрению политики в области ИИ, распределение ответственности и полномочий.
Планирование — идентификация рисков и возможностей, связанных с системами ИИ, установление целей в области ИИ и планирование их достижения.
Поддержка — обеспечение ресурсами (кадровыми, финансовыми, технологическими), компетентностью персонала, осведомлённостью и документированной информацией.
Операционная деятельность — планирование, выполнение и контроль процессов, связанных с жизненным циклом систем ИИ: от проектирования и разработки до развёртывания, эксплуатации и вывода из эксплуатации.
Оценка результатов — мониторинг, измерение, анализ и оценка эффективности СМИИ, включая внутренние аудиты и анализ со стороны руководства.
Улучшение — корректирующие действия и постоянное улучшение системы.

¶Специфические требования для ИИ

В отличие от стандартов на общие системы менеджмента, ISO/IEC 42001 содержит ряд уникальных положений, учитывающих особенности технологий ИИ:

Управление рисками, связанными с ИИ — требует систематической идентификации, оценки и обработки рисков, включая риски предвзятости (bias), дискриминации, нарушения конфиденциальности, ошибок в принятии решений и непреднамеренных последствий.
Прозрачность и объяснимость — организация должна обеспечить, чтобы заинтересованные стороны (пользователи, регуляторы, общественность) могли понимать, как работают системы ИИ, на каких данных они обучались и какие факторы влияют на их результаты.
Управление данными — устанавливаются требования к качеству, происхождению, безопасности и этичности данных, используемых для обучения, тестирования и эксплуатации систем ИИ.
Человеческий контроль — стандарт требует, чтобы в критически важных системах ИИ (например, в медицине, автономном транспорте, юриспруденции) был предусмотрен механизм вмешательства человека и возможность отмены решений, принятых ИИ.
Этическое соответствие — организация должна учитывать этические принципы (справедливость, недискриминация, уважение автономии человека) при проектировании и использовании ИИ.

¶Применение и значение

ISO/IEC 42001 предназначен для организаций любого размера и сектора, которые разрабатывают, внедряют или используют системы ИИ. Он может применяться как для внутреннего управления, так и для сертификации третьей стороной (аккредитованным органом по сертификации). Сертификация по данному стандарту подтверждает, что организация имеет зрелую и эффективную систему управления рисками и качеством в области ИИ.

¶Основные области применения

Разработчики ИИ — стартапы и крупные технологические компании, создающие алгоритмы машинного обучения, нейросети и другие решения.
Пользователи ИИ — банки, страховые компании, медицинские учреждения, промышленные предприятия, государственные органы, внедряющие ИИ в свои процессы.
Регуляторы и аудиторы — стандарт служит основой для оценки соответствия требованиям национальных законов (например, в России — Федеральный закон «Об экспериментальных правовых режимах в сфере цифровых инноваций»), а также международных актов, таких как AI Act Европейского союза.

¶Значение для рынка

Принятие ISO/IEC 42001 способствует:

Повышению доверия к системам ИИ со стороны потребителей и бизнеса.
Снижению репутационных и юридических рисков, связанных с ошибками или неэтичным использованием ИИ.
Упрощению международной торговли и сотрудничества в области ИИ за счёт единых требований.
Созданию основы для будущих отраслевых стандартов (например, для ИИ в здравоохранении, финансах или транспорте).

¶Критика и ограничения

Несмотря на широкое признание, стандарт имеет ряд критических замечаний:

Общий характер — как и многие стандарты серии ISO, ISO/IEC 42001 является рамочным и не содержит конкретных технических требований к алгоритмам или данным. Это делает его недостаточно строгим для некоторых критически важных приложений.
Сложность внедрения — для малых и средних предприятий внедрение полной системы менеджмента может быть ресурсоёмким и бюрократичным.
Отсутствие механизмов принуждения — стандарт является добровольным, и его соблюдение не гарантирует полного отсутствия негативных последствий от использования ИИ.
Быстрое развитие технологий — требования стандарта могут устаревать по мере появления новых типов ИИ (например, генеративных нейросетей или систем общего искусственного интеллекта).

¶Взаимосвязь с другими стандартами

ISO/IEC 42001 является частью серии стандартов по искусственному интеллекту, разрабатываемых SC 42. К ним относятся:

ISO/IEC 22989 — термины и определения в области ИИ.
ISO/IEC 23053 — структура для систем ИИ с использованием машинного обучения.
ISO/IEC 38507 — руководство по управлению ИИ для советов директоров.
ISO/IEC 23894 — руководство по управлению рисками в области ИИ.

Стандарт также может использоваться совместно с ISO 31000 (управление рисками), ISO 27001 (информационная безопасность) и ISO 9001 (менеджмент качества).

¶Источники

ISO/IEC 42001:2023 «Information technology — Artificial intelligence — Management system». Международная организация по стандартизации (ISO), 2023.
ГОСТ Р ИСО/МЭК 42001-2024 «Информационные технологии. Искусственный интеллект. Система менеджмента». Федеральное агентство по техническому регулированию и метрологии (Росстандарт), 2024.
Доклад подкомитета SC 42 «Искусственный интеллект» технического комитета ISO/IEC JTC 1, 2023.
Материалы конференции «Стандартизация искусственного интеллекта» (Москва, 2024), организованной Росстандартом и АНО «Цифровая экономика».