Латентная диффузия

Латентная диффузия (от лат. latens — скрытый, невидимый и diffusio — распространение, растекание) — это класс вероятностных генеративных моделей машинного обучения, предназначенных для создания новых данных (изображений, аудио, видео, текста) путём постепенного преобразования случайного шума в структурированное представление. В отличие от классических диффузионных моделей, работающих непосредственно в пространстве исходных данных (например, пикселей), латентная диффузия выполняет процесс диффузии и денойзинга в сжатом (латентном) пространстве признаков, что значительно снижает вычислительные затраты и позволяет генерировать высококачественный контент с высоким разрешением. Наибольшую известность получила архитектура Stable Diffusion, разработанная в 2022 году.

История

Предпосылки и ранние диффузионные модели

Идея использования диффузионных процессов для генерации данных впервые была предложена в 2015 году в работе Ясена Сонга и Стефано Эрмона. Однако практическая реализация стала возможна после публикации в 2020 году статьи «Denoising Diffusion Probabilistic Models» (DDPM), авторы которой — Джонатан Хо, Аджай Джайн и Питер Абель — показали, что последовательное добавление и удаление шума позволяет получать реалистичные изображения. Эти модели, однако, требовали огромных вычислительных ресурсов и времени, так как работали с полным разрешением изображений (например, 256×256 пикселей).

Разработка латентного подхода

В 2021–2022 годах исследователи из Мюнхенского университета Людвига-Максимилиана и компании Runway ML (США) предложили решение: перенести процесс диффузии из пиксельного пространства в латентное. Для этого использовался предварительно обученный вариационный автоэнкодер (VAE), который сжимал изображение в компактное представление (латентный код), а затем восстанавливал его обратно. Диффузионная модель училась работать именно с этим сжатым представлением, что позволило в десятки раз сократить количество операций и ускорить генерацию.

Выход Stable Diffusion

В августе 2022 года компания Stability AI (Великобритания) совместно с Runway ML и исследовательской группой CompVis выпустила открытую модель Stable Diffusion, основанную на латентной диффузии. Модель была обучена на подмножестве датасета LAION-5B, содержащем около 2,3 миллиарда пар «изображение—текст». Ключевой особенностью стало то, что модель распространялась под лицензией Creative ML OpenRAIL-M, что позволило любому разработчику использовать её для коммерческих и некоммерческих проектов. Это привело к взрывному росту популярности технологии: за первые три месяца после релиза Stable Diffusion скачали более 10 миллионов раз.

Принцип работы

Архитектура

Латентная диффузия состоит из трёх основных компонентов:

1. Вариационный автоэнкодер (VAE): сжимает входное изображение в латентное представление (обычно в 8–48 раз меньше по пространственным размерам) и восстанавливает его обратно. Кодировщик преобразует изображение в скрытый код, декодировщик — из кода в изображение.
2. U-Net: нейронная сеть с архитектурой, напоминающей букву U, которая выполняет последовательный денойзинг (очистку от шума) в латентном пространстве. U-Net принимает на вход зашумлённый латентный код и временной шаг, а на выходе выдаёт предсказание добавленного шума.
3. Текстовый энкодер: преобразует текстовое описание (промпт) в векторное представление, которое подаётся в U-Net через механизм перекрёстного внимания (cross-attention). В Stable Diffusion используется текстовый энкодер CLIP (OpenAI, США).

Процесс генерации

Генерация состоит из двух этапов:

• Прямая диффузия (обучение): на этапе обучения к чистому латентному коду последовательно добавляется гауссов шум в течение T шагов (обычно T = 1000). Модель U-Net учится предсказывать шум, добавленный на каждом шаге, минимизируя среднеквадратичную ошибку (MSE) между предсказанным и истинным шумом.
• Обратная диффузия (генерация): на этапе генерации модель берёт случайный шум (латентный код, заполненный гауссовым шумом) и последовательно удаляет его, шаг за шагом, используя обученную U-Net. На каждом шаге модель также учитывает текстовый промпт, направляя процесс в сторону желаемого содержания. После завершения всех шагов декодировщик VAE преобразует очищенный латентный код в итоговое изображение.

Ключевые особенности

• Эффективность: работа в латентном пространстве снижает размерность данных в 8–48 раз, что уменьшает требования к памяти и ускоряет обучение и генерацию в 2–3 раза по сравнению с пиксельными диффузионными моделями.
• Гибкость: латентная диффузия может быть адаптирована для различных задач (генерация изображений, видео, аудио, 3D-моделей) путём замены кодировщика/декодировщика VAE или модификации U-Net.
• Контролируемость: благодаря текстовому энкодеру и механизму cross-attention, модель позволяет управлять содержанием генерируемого контента с помощью текстовых описаний.

Применение

Генерация изображений

Наиболее распространённое применение — создание фотореалистичных и художественных изображений по текстовому описанию. Пользователь вводит промпт (например, «кот в космическом скафандре, сидящий на Марсе, стиль киберпанк»), и модель генерирует соответствующее изображение. Stable Diffusion и её производные (Midjourney, DALL-E 3) используются в дизайне, рекламе, игровой индустрии и искусстве.

Редактирование и инпейнтинг

Латентная диффузия позволяет редактировать существующие изображения: заменять объекты, изменять фон, дорисовывать отсутствующие части (inpainting). Для этого исходное изображение сначала кодируется в латентное пространство, затем часть латентного кода маскируется, и модель генерирует новое содержимое в замаскированной области, сохраняя остальную часть неизменной.

Генерация видео

Архитектуры на основе латентной диффузии, такие как Stable Video Diffusion (Stability AI, 2023) и AnimateDiff, позволяют создавать короткие видеоролики. Временная размерность добавляется в U-Net, что позволяет модели генерировать последовательность кадров, согласованных по времени.

Генерация 3D-моделей

Методы, такие как DreamFusion (Google, 2022) и Zero-1-to-3 (Stability AI, 2023), используют латентную диффузию для создания трёхмерных объектов из текстовых описаний или одного изображения. Модель генерирует несколько ракурсов объекта, которые затем объединяются в 3D-модель с помощью нейросетевых методов (NeRF, 3D Gaussian Splatting).

Другие области

• Аудиогенерация: модели, такие как AudioLDM (2023), генерируют звуковые эффекты и музыку по текстовому описанию.
• Генерация текста: хотя для текста чаще используются трансформеры, существуют гибридные модели, комбинирующие латентную диффузию с языковыми моделями.
• Медицина: генерация синтетических медицинских изображений (рентген, МРТ) для обучения диагностических моделей, при условии соблюдения конфиденциальности данных.

Критика и ограничения

Этические проблемы

Латентная диффузия, как и другие генеративные модели, подвергается критике за возможность создания дипфейков (поддельных изображений и видео) и распространения дезинформации. В ответ на это разработчики внедряют методы фильтрации контента и водяные знаки (например, система C2PA), но полного решения проблемы пока нет.

Авторские права

Использование датасетов, содержащих изображения, защищённые авторским правом, для обучения моделей вызвало судебные иски со стороны художников и фотографов (в частности, иск против Stability AI, Midjourney и DeviantArt в США, 2023). Вопрос о том, является ли генерация изображений по текстовому описанию нарушением авторских прав, остаётся открытым.

Вычислительные ресурсы

Хотя латентная диффузия значительно эффективнее пиксельных аналогов, для обучения и работы с высокими разрешениями (1024×1024 пикселей и выше) всё ещё требуются мощные графические процессоры (GPU) с объёмом видеопамяти от 8 ГБ. Это ограничивает доступность технологии для пользователей без специализированного оборудования.

Качество и предвзятость

Модели могут генерировать изображения с искажениями (например, неправильные руки, лица) или воспроизводить социальные стереотипы, заложенные в обучающих данных. Разработчики постоянно улучшают модели, но проблема полной нейтральности и реалистичности остаётся нерешённой.

См. также

• Генеративно-состязательная сеть (GAN)
• Вариационный автоэнкодер (VAE)
• Трансформер (архитектура нейросети)
• Stable Diffusion

Источники

1. Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. Advances in Neural Information Processing Systems.
2. Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.
3. Saharia, C., Chan, W., Saxena, S., et al. (2022). Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding. arXiv preprint arXiv:2205.11487.
4. Stability AI. (2022). Stable Diffusion: A Latent Diffusion Model for Text-to-Image Generation. Официальный блог Stability AI.
5. Podell, D., English, Z., Lacey, K., et al. (2023). SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis. arXiv preprint arXiv:2307.01952.