CompVis Group

CompVis Group — это исследовательская группа в области компьютерного зрения и машинного обучения, действовавшая на базе Мюнхенского технического университета (TUM) и Университета Людвига-Максимилиана в Мюнхене (LMU). Группа получила известность благодаря разработке фундаментальных моделей генерации изображений, в частности Stable Diffusion, а также другим открытым инструментам для синтеза и анализа визуального контента. Деятельность CompVis Group сыграла ключевую роль в демократизации технологий генерации изображений, сделав их доступными для широкой аудитории.

История

CompVis Group была основана профессором Бьёрном Оммером (Björn Ommer) в начале 2010-х годов. Первоначально группа занималась фундаментальными исследованиями в области компьютерного зрения, включая задачи сегментации изображений, распознавания объектов и анализа сцен. Однако ключевым направлением стало создание генеративных моделей, способных синтезировать реалистичные изображения по текстовому описанию.

В 2021 году группа представила модель Latent Diffusion Models (LDM), которая стала основой для последующих разработок. LDM позволяла генерировать изображения, работая не с пикселями, а с их сжатым представлением (латентным пространством), что значительно снижало вычислительные затраты по сравнению с предшественниками (например, DALL-E 1). В 2022 году на основе LDM была создана модель Stable Diffusion, которая была выпущена как открытый исходный код под лицензией Creative ML OpenRAIL-M. Релиз Stable Diffusion стал переломным моментом: до этого мощные генеративные модели были доступны только через закрытые API (как DALL-E 2 или Midjourney), а Stable Diffusion позволила любому пользователю запускать генерацию на собственном оборудовании.

В августе 2022 года CompVis Group в партнёрстве с компанией Stability AI (организация признана нежелательной на территории РФ) и другими исследователями (RunwayML, EleutherAI) выпустила Stable Diffusion 1.4. Впоследствии основная разработка модели перешла к Stability AI, а CompVis Group продолжила академические исследования. В 2023 году Бьёрн Оммер покинул LMU и основал компанию Ommer Lab, а группа фактически прекратила активную публичную деятельность как отдельное подразделение. Тем не менее, её вклад в развитие открытых генеративных моделей остаётся одним из самых значительных.

Ключевые разработки

CompVis Group известна следующими проектами, многие из которых стали основой для коммерческих и исследовательских продуктов:

Stable Diffusion

Stable Diffusion — модель для генерации изображений по текстовому описанию (text-to-image). Она использует архитектуру диффузионных моделей, работающую в латентном пространстве (LDM). Модель была обучена на подмножестве датасета LAION-5B, содержащем более 5 миллиардов пар «изображение-текст». Stable Diffusion способна генерировать изображения разрешением 512×512 пикселей, а также выполнять задачи inpainting (дорисовка), outpainting (расширение), преобразование изображений по тексту (img2img) и создание видео с помощью дополнительных модулей. Благодаря открытому исходному коду и возможности запуска на потребительских видеокартах с 8 ГБ VRAM, Stable Diffusion стала самой популярной локальной генеративной моделью.

Latent Diffusion Models (LDM)

LDM — это архитектура, предложенная исследователями CompVis Group в 2021 году. Основная идея заключается в применении диффузионного процесса не к пикселям, а к сжатому представлению изображения, полученному с помощью предварительно обученного автоэнкодера (VQ-VAE или KL-автоэнкодер). Это позволило сократить размерность данных и ускорить обучение и генерацию. LDM стала прорывом, так как предыдущие диффузионные модели (например, DDPM) требовали огромных вычислительных ресурсов и не могли работать с текстовыми условиями.

Другие проекты

• Score-based Generative Models — группа также внесла вклад в развитие моделей на основе функций оценки (score-based), которые являются альтернативой стандартным диффузионным моделям.
• Unconditional Generation — до появления Stable Diffusion группа публиковала работы по генерации изображений без текстового управления, например, модели для генерации лиц или природных сцен.
• Segmentation and Detection — в ранние годы группа занималась классическими задачами компьютерного зрения, такими как семантическая сегментация и детекция объектов, что отражено в публикациях на конференциях CVPR, ICCV, ECCV.

Влияние и значение

CompVis Group оказала значительное влияние на индустрию искусственного интеллекта и генеративного творчества. Открытый релиз Stable Diffusion привёл к следующим последствиям:

• Демократизация технологий — любой человек с компьютером получил доступ к генерации изображений высокого качества, что стимулировало появление тысяч приложений, от графических редакторов до игровых движков.
• Развитие экосистемы — вокруг Stable Diffusion сформировалось сообщество разработчиков, создавших десятки тысяч дообученных моделей (LoRA, ControlNet, DreamBooth), расширяющих возможности базовой архитектуры.
• Правовые и этические дискуссии — открытость модели вызвала споры об авторских правах на сгенерированные изображения, использовании данных для обучения и возможности создания дипфейков. Эти обсуждения привели к появлению законодательных инициатив в разных странах.
• Коммерциализация — многие компании (Stability AI, RunwayML, Hugging Face) использовали наработки CompVis Group для создания коммерческих продуктов. Stability AI привлекла более 100 миллионов долларов инвестиций, став одним из лидеров в области генеративного ИИ.

Критика и ограничения

Несмотря на успехи, деятельность CompVis Group и созданные ею модели подвергались критике по нескольким направлениям:

• Этические проблемы — Stable Diffusion может использоваться для создания изображений, нарушающих авторские права, а также для генерации порнографического контента без согласия изображённых лиц. Группа внедрила фильтры безопасности, но они не всегда эффективны.
• Качество и предвзятость — модель, обученная на нефильтрованных данных из интернета, воспроизводит существующие в обществе стереотипы (гендерные, расовые, профессиональные). Например, при запросе «врач» модель чаще генерирует изображения мужчин, а «медсестра» — женщин.
• Ресурсоёмкость — хотя Stable Diffusion работает на потребительских видеокартах, для обучения и дообучения требуются значительные вычислительные мощности, что ограничивает доступ для исследователей из развивающихся стран.
• Научная репутация — некоторые критики отмечали, что группа уделяла больше внимания созданию открытых моделей, чем строгим научным публикациям, что вызывало споры о приоритетах в академической среде.

Наследие

CompVis Group прекратила существование как активная исследовательская единица, но её наследие продолжает жить. Stable Diffusion остаётся одной из самых популярных моделей генерации изображений, а архитектура LDM используется в десятках последующих работ (например, Imagen, DALL-E 3, Midjourney). Исследования группы заложили основы для развития открытых генеративных моделей, что изменило ландшафт искусственного интеллекта. В 2023 году Бьёрн Оммер основал компанию Ommer Lab, которая продолжает разработку в области генеративного ИИ, но уже в коммерческом формате.

Источники

• Ommer, B. et al. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR.
• Rombach, R. et al. (2022). Stable Diffusion: High-Resolution Image Synthesis with Latent Diffusion Models. arXiv.
• LAION-5B: A Large-scale Dataset for Training Foundation Models (2022).
• Публикации группы на официальном сайте CompVis Group (архив).
• Интервью Бьёрна Оммера для журнала Nature (2023).