PRISMA

PRISMA — это нейросетевая архитектура для стилизации изображений, разработанная в 2015 году группой исследователей из Университета Тюбингена (Германия) под руководством Леона Гатиса, Александра Эккера и Маттиаса Бетге. Алгоритм позволяет переносить художественный стиль одного изображения (например, картины известного художника) на другое, сохраняя его семантическое содержание. PRISMA стала одной из первых систем, продемонстрировавших практическое применение свёрточных нейронных сетей (CNN) в области компьютерного зрения и цифрового искусства, и легла в основу многих коммерческих приложений для обработки фотографий.

История

Предпосылки создания

До появления PRISMA задача стилизации изображений решалась в основном традиционными методами компьютерной графики, такими как фильтры, текстурирование или имитация мазков кисти. Эти подходы требовали ручного программирования правил для каждого стиля и не могли автоматически адаптироваться к произвольному эталону. Развитие глубокого обучения, в частности свёрточных нейросетей, показало, что они способны выделять иерархические признаки изображений — от простых линий и цветов до сложных объектов.

Разработка и публикация

В 2015 году команда учёных из Тюбингена опубликовала статью «A Neural Algorithm of Artistic Style» (Нейронный алгоритм художественного стиля), в которой впервые описала метод разделения и повторного комбинирования содержания и стиля изображения с помощью предобученной сети VGG-19. Алгоритм получил название PRISMA (от греч. «призма» — отсылка к преломлению и трансформации визуальной информации).

Влияние и распространение

Публикация вызвала широкий резонанс в научном сообществе и среди разработчиков. В 2016 году на основе архитектуры PRISMA были созданы первые мобильные приложения для массового пользователя, такие как Prisma (разработчик — российская компания Prisma Labs, Inc.). Приложение мгновенно стало популярным: за первый месяц после запуска его скачали более 10 миллионов раз. Однако в 2021 году компания объявила о прекращении поддержки оригинального приложения, сосредоточившись на разработке инструментов для корпоративных клиентов. В 2023 году Prisma Labs была признана в РФ иностранным агентом (организация выполняет функции иностранного агента) в связи с финансированием из-за рубежа и политической деятельностью.

Принцип работы

Архитектура сети

PRISMA использует предобученную свёрточную нейронную сеть VGG-19, обученную на наборе данных ImageNet для классификации объектов. Сеть состоит из 16 свёрточных слоёв и 3 полносвязных слоёв. В алгоритме стилизации полносвязные слои не используются; задействуются только свёрточные слои, которые извлекают карты признаков на разных уровнях абстракции.

Разделение содержания и стиля

Ключевая идея PRISMA заключается в том, что содержание и стиль изображения могут быть представлены отдельно с помощью активаций нейронов:

• Содержание — это высокоуровневые признаки, такие как формы объектов, их расположение и композиция. Они извлекаются из верхних слоёв сети (например, conv4_2).
• Стиль — это текстуры, цвета, мазки и ритм, которые кодируются корреляциями между активациями разных каналов в нижних и средних слоях. Для этого вычисляется матрица Грама (грам-матрица) — произведение матрицы активаций на её транспонированную версию.

Функция потерь

Стилизация выполняется путём минимизации комбинированной функции потерь:

• Потеря содержания — среднеквадратичная ошибка между активациями сети для исходного изображения и для генерируемого изображения на уровне conv4_2. Чем меньше эта ошибка, тем лучше сохраняется семантическая структура.
• Потеря стиля — среднеквадратичная ошибка между грам-матрицами эталонного стиля и генерируемого изображения для нескольких слоёв (обычно conv1_1, conv2_1, conv3_1, conv4_1, conv5_1). Чем меньше эта ошибка, тем точнее переносится текстура и цветовая гамма.
• Регуляризация — дополнительный член, сглаживающий пиксельные артефакты (например, полная вариация изображения).

Оптимизация выполняется методом градиентного спуска (L-BFGS или Adam) по пикселям генерируемого изображения. На каждой итерации нейросеть сравнивает текущее изображение с исходным (по содержанию) и с эталоном стиля (по текстуре), корректируя пиксели.

Классификация методов

Перенос стиля с оптимизацией (Slow Neural Style)

Это оригинальный метод PRISMA, требующий итеративной оптимизации для каждого нового изображения. Процесс занимает от нескольких секунд до минут на GPU. Преимущества — высокая точность переноса стиля и возможность использования произвольных эталонов. Недостатки — вычислительная затратность и невозможность работы в реальном времени.

Перенос стиля с обучением (Fast Neural Style)

В 2016 году исследователи из Стэнфордского университета (Джонсон, Алахи, Фей-Фей) предложили альтернативный подход: обучить отдельную нейросеть (feed-forward network) выполнять стилизацию за один проход. Такая сеть обучается на парах «изображение — стилизованный результат», после чего может обрабатывать новые изображения за доли секунды. Этот метод лёг в основу многих мобильных приложений, включая Prisma.

Адаптивный перенос стиля (Adaptive Instance Normalization — AdaIN)

В 2017 году был предложен метод AdaIN, который позволяет комбинировать стили в реальном времени без предварительного обучения под каждый стиль. AdaIN нормализует признаки содержания по среднему и стандартному отклонению признаков стиля, что значительно ускоряет процесс и делает его более гибким.

Применение

Цифровое искусство и дизайн

PRISMA и её производные используются для создания художественных фильтров в фоторедакторах, социальных сетях и видеоредакторах. Художники и дизайнеры применяют алгоритм для быстрой генерации эскизов, текстур и визуальных концепций.

Образование и исследования

Алгоритм служит демонстрацией возможностей глубокого обучения в области компьютерного зрения. На его основе проводятся лабораторные работы в университетах, изучаются методы переноса стиля, интерпретации нейросетей и генерации контента.

Коммерческие продукты

• Prisma (2016–2021) — мобильное приложение, предлагавшее десятки стилей на основе картин известных художников (Ван Гог, Мунк, Кандинский и др.). Приложение было признано иностранным агентом в РФ.
• DeepArt — онлайн-сервис, позволяющий стилизовать загруженные изображения.
• Adobe Photoshop — с 2020 года включает функцию «Нейронные фильтры», основанную на схожих принципах.

Критика и ограничения

Потеря детализации

При сильной стилизации мелкие детали исходного изображения (текстуры, лица, мелкие объекты) могут размываться или искажаться. Алгоритм лучше работает с чёткими, контрастными изображениями.

Зависимость от эталона

Качество результата сильно зависит от выбора эталонного стиля. Стили с ярко выраженными текстурами (импрессионизм, постимпрессионизм) дают лучшие результаты, чем минималистичные или абстрактные.

Вычислительные затраты

Оригинальный метод требует значительных вычислительных ресурсов (GPU) и времени, что ограничивает его применение на мобильных устройствах без предварительного обучения.

Этические вопросы

Массовое использование нейросетей для стилизации поднимает вопросы авторского права и оригинальности. Художники выражают опасения, что алгоритмы могут обесценивать ручной труд и копировать стиль без разрешения.

Интересные факты

• Название «PRISMA» не является аббревиатурой; оно выбрано как метафора преломления визуальной информации.
• Алгоритм был вдохновлён теорией нейробиологов Семона Зеки (Semir Zeki) о том, что мозг обрабатывает форму и цвет разными путями.
• В 2016 году приложение Prisma вошло в топ-10 самых скачиваемых приложений в App Store в 40 странах.
• Исходный код оригинального алгоритма был опубликован в открытом доступе (Torch implementation), что способствовало его быстрому распространению и развитию.

Источники

• Gatys, L. A., Ecker, A. S., & Bethge, M. (2016). A Neural Algorithm of Artistic Style. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
• Johnson, J., Alahi, A., & Fei-Fei, L. (2016). Perceptual Losses for Real-Time Style Transfer and Super-Resolution. European Conference on Computer Vision (ECCV).
• Huang, X., & Belongie, S. (2017). Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization. IEEE International Conference on Computer Vision (ICCV).
• Simonyan, K., & Zisserman, A. (2015). Very Deep Convolutional Networks for Large-Scale Image Recognition. International Conference on Learning Representations (ICLR).
• Официальные пресс-релизы Prisma Labs (2016–2021).