Восстановление изображения¶
Восстановление изображения — это совокупность методов обработки цифровых изображений, направленных на устранение дефектов, повреждений и искажений с целью приближения исходного (эталонного) вида снимка. К дефектам относятся шум, размытие, царапины, потёртости, пропуски пикселей, артефакты сжатия, а также повреждения носителя. Задача восстановления отличается от задачи улучшения качества тем, что предполагает наличие модели искажения и восстановление исходного сигнала, а не просто визуальное улучшение.
¶Область применения
Методы восстановления изображений применяются в широком спектре областей:
- Архивное дело и музейное хранение — оцифровка и реставрация повреждённых фотографий, негативов, киноплёнки, рукописей и старопечатных изданий.
- Кинематограф — восстановление старых фильмов: удаление царапин, дрожания кадра, мерцания, восстановление цвета.
- Медицинская диагностика — повышение качества МРТ-, КТ- и рентгеновских снимков для более точной интерпретации.
- Спутниковая и аэрофотосъёмка — коррекция искажений атмосферы, восстановление размытых снимков.
- Криминалистика и судебная экспертиза — восстановление размытых номеров, распознавание лиц по низкокачественным камерам наблюдения.
- Реставрация цифровых артефактов — восстановление повреждённых файлов изображений (JPEG, TIFF и др.).
¶Классификация методов
¶По типу искажения
| Тип искажения | Методы восстановления |
|---|---|
| Аддитивный шум | Фильтрация (медианный, гауссов, вейвлет-фильтры), методы на основе вариационного исчисления |
| Размытие (motion, defocus) | Обратная фильтрация, метод Ричардсона — Люси, регуляризация |
| Пропуски пикселей (чёрные точки) | Интерполяция, методы на основе заполнения низкой ранговой матрицы (matrix completion) |
| Царапины и потёртости | Математическая морфология, инпейнтинг |
| Артефакты сжатия (JPEG) | Денойзинг, обученные фильтры |
¶По принципу построения
- Классические (детерминированные) — основаны на математической модели искажения и решении обратной задачи. Примеры: обратная фильтрация, метод наименьших квадратов, вариационные методы (метод Рудина — Осера — Фатеми).
- Статистические и вероятностные — учитывают априорные статистические свойства изображения (например, разреженность вейвлет-представлении).
- Информационно-геометрические — используют структурные свойства изображений (низкоранговость, повторяемость паттернов).
- Машинное обучение и глубокое обучение — нейросетевые модели, обученные на парах «повреждённое — исходное» изображения. Наиболее распространены свёрточные нейронные сети (CNN) и трансформеры.
¶Ключевые алгоритмы
¶Обратная фильтрация
Простейший метод восстановления при размытии. Модель искажения: $g = h * f + n$, где $g$ — наблюдаемое изображение, $h$ — функция размытия, $f$ — исходное, $n$ — шум. В частотной области: $F = G / H$. Метод чувствителен к шуму, поэтому применяется с регуляризацией (например, фильтр Винера).
¶Метод Ричардсона — Люси
Итеративный метод, основанный на максимизации правдоподобия при пуассоновском шуме. Широко применяется в астрономии и микроскопии. Сходится к исходному изображению при известной функции размытия.
¶Вариационные методы
Решают задачу минимизации функционала, включающего член соответствия данным и член регуляризации (гладкость). Метод Рудина — Осера — Фатеми (ROF) использует тотальную вариацию, что позволяет сохранять резкие границы при подавлении шума.
¶Инпейнтинг
Заполнение повреждённых областей на основе информации из окружающих пикселей. Классические методы — распространение структуры и текстуры (например, алгоритм Телема — Амина). Современные методы используют генеративные состязательные сети (GAN) и диффузионные модели, способные «дорисовывать» правдоподобное содержимое.
¶Глубокое обучение
Нейросетевые методы в последние годы показывают наилучшие результаты. Архитектуры включают U-Net, EDSR, SwinIR и трансформерные модели. Обучение ведётся на синтетически повреждённых наборах данных (например, DIV2K, Set5) или на реальных парах «до/после». Диффузионные модели (Stable Diffusion и аналоги) используются для суперразрешения и инпейнтинга.
¶Метрики качества
Оценка качества восстановления производится как объективными, так и субъективными методами:
- PSNR (Peak Signal-to-Noise Ratio) — отношение сигнала к шуму, измеряется в дБ.
- SSIM (Structural Similarity Index) — структурное сходство, ближе к восприятию человеком.
- LPIPS — метрика на основе нейросетей, учитывающая визуальное сходство.
- MSE — среднеквадратичная ошибка.
Высокие значения PSNR не всегда соответствуют визуальному качеству, поэтому в современных исследованиях используются комбинированные метрики.
¶Историческая справка
Работы по восстановлению изображений начались в 1960-х годах в связи с задачами астрономической съёмки и разведывательной космической фотографии. В 1970-е годы были разработаны основы обратной фильтрации и метода Ричардсона — Люси. В 1990-е — 2000-е годы получили развитие вариационные и вейвлет-методы. С 2012 года, после успехов глубокого обучения в компьютерном зрении, нейросетевые методы стали доминирующими в этой области.
¶Проблемы и ограничения
- Неоднозначность — при сильных искажениях исходное изображение восстановить невозможно, возможны многие равноправные варианты.
- Артефакты — методы могут создавать ложные детали (галлюцинации нейросетей), что критично в медицине и криминалистике.
- Требование знания искажения — классические методы требуют точной модели функции размытия, что на практике часто неизвестно.
- Вычислительная сложность — нейросетевые методы требуют значительных ресурсов для обучения и инференса.
¶Источники
- Гонсалес Р., Вудс Р. Цифровая обработка изображений.
- Марчук Ю. А. Методы вычислений на ЭВМ.
- Булгаков А. В., Панкратов А. С. Методы обработки изображений.
- Рудин Л., Осер С., Фатеми О. Nonlinear total variation based noise removal algorithms.
- Buades A., Coll B., Morel J.-M. A non-local algorithm for image denoising.
- Levin A., Weiss Y., Durand F. Understanding and evaluating blind deconvolution algorithms.