Allen Institute for AI

Allen Institute for AI (AI2) — это некоммерческий исследовательский институт в области искусственного интеллекта, основанный в 2014 году в Сиэтле (штат Вашингтон, США). Институт занимается фундаментальными и прикладными исследованиями в таких областях, как обработка естественного языка (NLP), компьютерное зрение, рассуждение на основе здравого смысла, семантический анализ данных и создание крупных языковых моделей. AI2 известен разработкой открытых программных продуктов, наборов данных и моделей, доступных для научного сообщества, а также созданием таких проектов, как языковая модель OLMo, система семантического поиска Semantic Scholar и платформа для вопросно-ответных систем Aristo. Основателем института выступил Пол Аллен, сооснователь корпорации Microsoft, а его первым главным научным руководителем стал доктор Орен Этциони.

История

Основание и первые годы (2014—2016)

Институт был основан 3 января 2014 года Полом Алленом, который вложил в проект первоначальные 125 миллионов долларов. Целью создания AI2 было проведение высококачественных исследований в области ИИ с акцентом на открытость и доступность результатов для широкой научной общественности, в отличие от коммерческих лабораторий крупных технологических компаний. Первым проектом института стала система семантического поиска Semantic Scholar, запущенная в 2015 году. Semantic Scholar использует методы машинного обучения для анализа научных статей, извлечения ключевых выводов, цитирований и связей между публикациями, что значительно упрощает поиск релевантной информации для исследователей.

Развитие и ключевые проекты (2017—2020)

В 2017 году AI2 запустил проект Aristo, направленный на создание систем, способных отвечать на вопросы из школьных и университетских экзаменов по естественным наукам. В 2019 году система Aristo успешно сдала экзамен по естествознанию для 8-го класса (New York State Regents Science Exam), набрав более 90 % правильных ответов. В 2020 году AI2 представил модель UnifiedQA, которая объединила несколько подходов к вопросно-ответным системам и показала высокие результаты на различных бенчмарках. В этот же период институт активно развивал направление компьютерного зрения, в частности, проекты по распознаванию объектов и сцен, а также анализ изображений в научных публикациях.

Современный этап (2021 — настоящее время)

В 2021 году AI2 анонсировал проект OLMo (Open Language Model), направленный на создание полностью открытой языковой модели, включая обучающие данные, код, архитектуру и веса. Первая версия OLMo была выпущена в 2024 году. В 2023 году институт представил модель Tulu, которая демонстрирует возможности в области инструктивного следования и диалога. В 2024 году AI2 запустил проект по созданию мультимодальных моделей, способных одновременно обрабатывать текст и изображения. Институт продолжает расширять свою исследовательскую программу, уделяя особое внимание вопросам безопасности, этики и интерпретируемости ИИ.

Ключевые направления исследований

Обработка естественного языка (NLP)

AI2 является одним из ведущих центров в области NLP. Исследования охватывают широкий спектр задач: машинный перевод, суммаризация текстов, анализ тональности, извлечение информации, построение диалоговых систем. Особое внимание уделяется созданию моделей, способных к рассуждению на основе здравого смысла и пониманию сложных текстов. Институт разработал ряд эталонных наборов данных (бенчмарков) для оценки NLP-моделей, таких как CommonsenseQA, WinoGrande и HellaSwag.

Компьютерное зрение

В области компьютерного зрения AI2 занимается распознаванием объектов, сегментацией изображений, анализом видеопотоков, а также интерпретацией визуальной информации в научных контекстах. Проекты включают создание систем, способных анализировать диаграммы, графики и схемы из научных статей, а также распознавать объекты на изображениях с высокой точностью.

Рассуждение на основе здравого смысла

Одной из ключевых задач AI2 является создание систем, способных к рассуждению на основе здравого смысла — то есть к пониманию повседневных ситуаций, причинно-следственных связей и неявных знаний. Проект Aristo стал важным шагом в этом направлении, продемонстрировав способность ИИ решать задачи, требующие логического вывода и понимания контекста.

Семантический анализ данных

AI2 разрабатывает методы для автоматического извлечения структурированной информации из неструктурированных текстов. Это включает извлечение фактов, отношений, событий и их связей. Система Semantic Scholar является одним из наиболее известных примеров применения этих методов в научной сфере.

Открытые языковые модели

Институт активно работает над созданием открытых языковых моделей, которые могут быть свободно использованы, модифицированы и изучены научным сообществом. Проект OLMo (Open Language Model) является флагманским в этом направлении. OLMo предоставляет полный стек разработки, включая обучающие данные, код, архитектуру и веса, что позволяет другим исследователям воспроизводить результаты и вносить свой вклад.

Ключевые проекты и продукты

Semantic Scholar

Semantic Scholar — это бесплатная поисковая система для научных статей, использующая методы машинного обучения для анализа и структурирования научной литературы. Система извлекает ключевые выводы, цитирования, ссылки на источники, а также строит графы знаний, связывающие публикации по тематике. Semantic Scholar охватывает более 200 миллионов научных статей из различных областей знаний, включая компьютерные науки, медицину, биологию, физику и инженерию.

Aristo

Aristo — это проект, направленный на создание систем, способных отвечать на вопросы из школьных и университетских экзаменов по естественным наукам. Система использует комбинацию методов машинного обучения, логического вывода и доступа к базам знаний. В 2019 году Aristo успешно сдала экзамен по естествознанию для 8-го класса, а в 2020 году — экзамен по физике для 12-го класса.

OLMo (Open Language Model)

OLMo — это серия полностью открытых языковых моделей, разработанных AI2. Модели OLMo доступны в различных размерах (от 1 до 7 миллиардов параметров) и обучаются на открытых наборах данных. Институт предоставляет не только веса моделей, но и полный код для обучения, оценки и дообучения, а также подробное описание архитектуры и обучающих данных. OLMo предназначен для использования в научных исследованиях, образовании и разработке приложений.

Tulu

Tulu — это серия моделей, разработанных AI2, которые демонстрируют улучшенные способности к инструктивному следованию и диалогу. Модели Tulu обучаются на основе открытых языковых моделей, таких как OLMo, с использованием методов дообучения на инструкциях и предпочтениях. Tulu показывает высокие результаты на бенчмарках, оценивающих способность ИИ выполнять инструкции и вести диалог.

CommonsenseQA

CommonsenseQA — это набор данных для оценки способности моделей к рассуждению на основе здравого смысла. Набор данных содержит вопросы, требующие понимания повседневных ситуаций, причинно-следственных связей и неявных знаний. CommonsenseQA широко используется в научном сообществе для оценки NLP-моделей.

WinoGrande

WinoGrande — это набор данных для оценки способности моделей к разрешению анафоры (определению, к какому слову относится местоимение) в контексте, требующем понимания здравого смысла. WinoGrande является более сложной версией классического набора данных Winograd Schema Challenge.

Финансирование и структура

AI2 является некоммерческой организацией, финансируемой за счет грантов, пожертвований и доходов от лицензирования технологий. Основным источником финансирования является Фонд Пола Аллена, а также гранты от государственных агентств, таких как Национальный научный фонд США (NSF) и Управление перспективных исследовательских проектов Министерства обороны США (DARPA). Институт также получает поддержку от частных фондов и корпоративных партнеров.

Структура AI2 включает несколько исследовательских групп, каждая из которых специализируется на определенной области: NLP, компьютерное зрение, семантический анализ, рассуждение на основе здравого смысла, открытые модели. В институте работает более 200 исследователей, инженеров и специалистов по обработке данных. Руководство осуществляется главным научным руководителем и исполнительным директором.

Влияние и признание

AI2 признан одним из ведущих мировых центров в области искусственного интеллекта. Его проекты, такие как Semantic Scholar, Aristo и OLMo, оказали значительное влияние на развитие научных исследований и технологий. Институт регулярно публикует статьи в ведущих научных журналах и на конференциях, таких как NeurIPS, ICML, ACL, CVPR и EMNLP. Многие разработки AI2 используются в коммерческих продуктах и образовательных платформах. Открытость и доступность результатов исследований AI2 способствуют ускорению прогресса в области ИИ и привлекают внимание широкой научной общественности.

Критика и ограничения

Несмотря на значительные успехи, деятельность AI2 подвергается критике по ряду направлений. Некоторые исследователи отмечают, что открытые модели, такие как OLMo, могут быть использованы для создания вредоносных приложений, включая генерацию дезинформации, спама и вредоносного кода. Другие критикуют институт за недостаточное внимание к вопросам этики и безопасности при разработке моделей. Также высказываются опасения, что открытость моделей может привести к усилению неравенства в доступе к передовым технологиям, поскольку для их обучения и использования требуются значительные вычислительные ресурсы, которые доступны не всем исследовательским группам.

Источники

1. Официальный сайт Allen Institute for AI (ai2.org)
2. Публикации AI2 в научных журналах и конференциях (NeurIPS, ICML, ACL, CVPR, EMNLP)
3. Статья «Paul Allen's AI2 launches OLMo, an open-source language model» (VentureBeat, 2024)
4. Статья «AI2's Aristo passes 8th grade science exam» (The Verge, 2019)
5. Документация проекта Semantic Scholar (semanticscholar.org)
6. Пресс-релизы Фонда Пола Аллена