Stable Diffusion

Stable Diffusion — это модель глубокого обучения, предназначенная для генерации изображений на основе текстового описания (prompt), а также для выполнения других задач, связанных с обработкой изображений (inpainting, outpainting, image-to-image translation). Относится к классу диффузионных моделей (diffusion models) и является одной из наиболее известных и широко используемых открытых моделей в области генеративного искусственного интеллекта. Разработана компанией Stability AI в сотрудничестве с исследователями из Ludwig Maximilian University of Munich и Runway ML.

История

Предпосылки и разработка

Диффузионные модели начали активно развиваться в начале 2020-х годов, когда исследователи из Калифорнийского университета в Беркли и Google Brain продемонстрировали способность этих моделей генерировать высококачественные изображения. Однако первоначальные модели требовали значительных вычислительных ресурсов и времени для генерации.

Stable Diffusion была создана на основе архитектуры Latent Diffusion Model (LDM), предложенной в 2021 году группой исследователей из Ludwig Maximilian University of Munich под руководством Роберта Райнхарта. Ключевым нововведением LDM стало выполнение процесса диффузии не в пространстве пикселей, а в сжатом латентном пространстве, что позволило значительно снизить вычислительные затраты и ускорить генерацию.

Релиз и версии

Первая публичная версия модели, Stable Diffusion 1.4, была выпущена 22 августа 2022 года. Она стала доступна для широкой публики под лицензией Creative ML OpenRAIL-M, что позволяло использовать, модифицировать и распространять модель при соблюдении определённых условий. Этот шаг вызвал широкий резонанс, так как до этого момента мощные генеративные модели (например, DALL-E 2 от OpenAI) были доступны только через закрытые API.

Версия 1.5 (октябрь 2022) стала стандартом для многих сообществ и разработчиков. В 2023 году вышли версии 2.0 и 2.1, которые были обучены на более отфильтрованном наборе данных и имели улучшенную безопасность, но получили неоднозначную оценку из-за снижения качества генерации по сравнению с 1.5. В 2024 году была выпущена версия 3.0 и Stable Diffusion XL (SDXL), которая значительно улучшила качество изображений, особенно в плане композиции и детализации.

Архитектура и принцип работы

Диффузионная модель

В основе Stable Diffusion лежит процесс, обратный диффузии. В прямом процессе на изображение постепенно добавляется шум до тех пор, пока оно не превращается в чистый случайный шум. Модель обучается предсказывать этот шум и, следовательно, выполнять обратный процесс — постепенно удалять шум из случайного шума, восстанавливая изображение.

Латентое пространство (Latent Space)

Ключевая особенность Stable Diffusion — работа в латентном пространстве. Вместо того чтобы оперировать пикселями (например, 512x512x3), модель сначала сжимает изображение в сжатое представление (например, 64x64x4) с помощью предварительно обученного вариационного автоэнкодера (VAE). Затем процесс диффузии выполняется в этом сжатом пространстве, что значительно ускоряет обучение и генерацию. После завершения обратного процесса декодер VAE преобразует латентное представление обратно в полноразмерное изображение.

Текстовая обусловленность (Text Conditioning)

Для управления генерацией используется текстовый энкодер (обычно CLIP от OpenAI), который преобразует текстовый запрос пользователя в векторное представление. Это представление затем подаётся в модель через механизм кросс-внимания (cross-attention), направляя процесс генерации в соответствии с описанием.

Компоненты модели

1. VAE (Variational Autoencoder): Сжимает изображение в латентное пространство и восстанавливает его обратно.
2. U-Net: Основная нейронная сеть, которая выполняет обратный процесс диффузии в латентном пространстве.
3. Текстовый энкодер (CLIP): Преобразует текст в векторное представление для управления генерацией.

Применение

Генерация изображений по текстовому описанию (Text-to-Image)

Основное и наиболее популярное применение. Пользователь вводит текстовый запрос, и модель генерирует соответствующее изображение.

Image-to-Image (Img2Img)

Пользователь предоставляет исходное изображение и текстовый запрос. Модель модифицирует исходное изображение в соответствии с запросом, сохраняя при этом его общую структуру.

Inpainting и Outpainting

• Inpainting: Замена или восстановление определённой области изображения на основе текстового описания.
• Outpainting: Расширение изображения за его исходные границы, дорисовывание новых частей сцены.

Генерация видео (Text-to-Video)

На основе Stable Diffusion были разработаны модели для генерации коротких видеороликов, такие как Stable Video Diffusion (SVD) от Stability AI.

3D-генерация

Модель используется в качестве компонента в системах генерации трёхмерных объектов из текста или изображений, например, в проекте DreamFusion.

Критика и ограничения

Этические и правовые вопросы

Stable Diffusion, как и другие генеративные модели, подвергается критике за возможность создания изображений, нарушающих авторские права. Модель обучалась на миллиардах изображений, собранных из интернета, включая защищённые авторским правом произведения. Это привело к судебным искам со стороны художников и правообладателей, которые утверждают, что модель незаконно использует их работы для обучения.

Генерация неприемлемого контента

Открытый характер модели позволяет использовать её для создания изображений, которые могут быть оскорбительными, порнографическими, насильственными или пропагандирующими незаконную деятельность. Разработчики предпринимают меры по фильтрации обучающих данных и встраиванию механизмов безопасности, но они не являются абсолютными.

Предвзятость (Bias)

Модель может воспроизводить и усиливать социальные стереотипы, присутствующие в обучающих данных. Например, при запросе «врач» модель может чаще генерировать изображения мужчин, а при запросе «медсестра» — женщин.

Технические ограничения

• Разрешение: Несмотря на улучшения, модель может испытывать трудности с генерацией сложных сцен с множеством объектов, точных анатомических деталей (особенно рук и глаз) и текста.
• Сложность запроса: Для получения качественного результата часто требуется точная и подробная формулировка запроса, а также использование отрицательных запросов (negative prompts).

Интересные факты

• Stable Diffusion может работать на потребительских видеокартах с 4-6 ГБ видеопамяти, что делает её доступной для широкого круга пользователей.
• Сообщество разработчиков создало множество модификаций и расширений для модели, таких как ControlNet (позволяет управлять позой, глубиной и другими параметрами генерации), LoRA (Low-Rank Adaptation, позволяет дообучать модель на конкретные стили или объекты) и DreamBooth (позволяет встраивать в модель изображения конкретного объекта или человека).
• Модель распространяется под лицензией Creative ML OpenRAIL-M, которая разрешает коммерческое использование, но запрещает использование в незаконных целях, для распространения дезинформации или нарушения прав человека.

Источники

• Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.
• Официальная документация и блоги Stability AI.
• Статья «Stable Diffusion: A Beginner's Guide» на портале Towards Data Science.
• Материалы судебных разбирательств, связанных с авторскими правами на генеративные модели (например, иск Getty Images против Stability AI).