ComfyUI — нодовая среда для генерации изображений¶
ComfyUI — бесплатный графический интерфейс с открытым исходным кодом для работы с генеративными моделями искусственного интеллекта, построенный по принципу нодового (узлового) программирования. Пользователь соединяет блоки (ноды) — загрузку модели, текстовый промпт, сэмплер, декодер — в граф вычислений, который затем исполняется. Основная область применения — генерация и редактирование изображений на базе диффузионных моделей, таких как Stable Diffusion, однако поддерживается также работа с аудио- и видеомоделями. Проект распространяется по лицензии GPL-3.0.
¶История
ComfyUI создан разработчикиком под ником comfyanonymous и впервые опубликован на GitHub в январе 2023 года. Первоначально проект задумывался как инструмент для продвинутых пользователей Stable Diffusion, которым требовался точный контроль над каждым этапом конвейера генерации. В отличие от более ранних интерфейсов, таких как Automatic1111 Stable Diffusion WebUI, где большинство параметров скрыты за вкладками и полями ввода, ComfyUI сделал саму структуру пайплайна видимой и редактируемой.
К середине 2023 года проект получил широкое распространение в сообществе энтузиастов генеративного ИИ. Значительный вклад в популярность внесла поддержка ControlNet, а затем и выход моделей SDXL, для которых ComfyUI оказался одним из наиболее быстрых интерфейсов. В 2024 году вышла поддержка моделей SD3 и Flux от Black Forest Labs — именно ComfyUI стал одним из первых интерфейсов, обеспечивших работу с Flux, что ещё больше закрепило его позиции. В том же году появилась официальная интеграция с локальными моделями генерации видео, включая Wan и Hunyuan Video.
¶Принцип работы
В ComfyUI всё построено вокруг понятия графа вычислений. Граф состоит из нод, соединённых рёбрами: выход одной ноды служит входом другой. Типовой пайплайн генерации включает:
| Нод | Назначение |
|---|---|
| Load Checkpoint | Загрузка диффузионной модели |
| CLIP Text Encode | Кодирование промптов (позитивного и негативного) |
| KSampler | Основной цикл диффузионной генерации |
| VAEDecode | Декодирование латентного представления в изображение |
| Save Image | Сохранение результата |
При запуске ComfyUI строит исполнительный граф, кэширует промежуточные результаты и выполняет вычисления последовательно. Если пользователь меняет только часть графа, пересчитываются лишь затронутые узлы — это делает итерации быстрее по сравнению с интерфейсами, перезапускающими весь пайплайн.
¶Установка и запуск
Проект написан на Python с использованием фреймворка PyTorch. Базовая установка сводится к клонированию репозитория с GitHub и запуску скрипта main.py. Доступны готовые сборки для Windows (в том числе portable-версии без обязательной установки Python) и интеграция через менеджеры пакетов. ComfyUI работает на CPU, но для практического использования требуется видеокарта с поддержкой CUDA (NVIDIA) или ROCm (AMD). Существуют также порты для Apple Silicon с использованием MPS.
¶Расширения
Функциональность ComfyUI расширяется через custom nodes — пользовательские ноды, устанавливаемые из отдельных репозиториев. Крупнейшие каталоги — ComfyUI Manager и Registries — позволяют устанавливать расширения в пару кликов. Среди распространённых пакетов:
- ComfyUI-Manager — менеджер обновлений и установки нод;
- WAS Node Suite — набор утилитарных нод для работы с изображениями;
- Impact Pack — детекция объектов, маскирование, итеративное улучшение;
- AnimateDiff — генерация анимаций на базе статических моделей.
Благодаря модульной архитектуре сообщество создаёт ноды для интеграции с внешними API, локальными LLM, 3D-конвертацией и другими инструментами.
¶ComfyUI и другие интерфейсы
Основной альтернативой ComfyUI долгое время оставался Automatic1111 WebUI, предлагающий более простой «форменный» интерфейс, удобный для новичков. ComfyUI традиционно считается более продвинутым инструментом: кривая обучения выше, но контроль над процессом и скорость работы — значительнее. В 2024 году на рынке появился Forge — форк WebUI, оптимизированный под новые модели, однако ComfyUI сохранил лидерство по скорости адаптации к новым архитектурам.
Для промышленного применения ComfyUI используется как backend для автоматизации пайплайнов: граф можно сериализовать в JSON и запускать программно через API, что позволяет встраивать генерацию в веб-сервисы и пакетные конвейеры обработки.
¶Применение
ComfyUI применяется в сферах, где требуется воспроизводимый и настраиваемый процесс генерации: концепт-арт и иллюстрация, подготовка текстур для игр, прототипирование дизайна, генерация синтетических данных для обучения моделей компьютерного зрения. В России инструмент также используется энтузиастами и небольшими студиями для локальной генерации изображений без обращения к облачным сервисам.
¶Источники
- Репозиторий проекта на GitHub (comfyanonymous/ComfyUI)
- Документация ComfyUI (docs.comfy.org)
- Материалы сообщества Stable Diffusion