2.3 Методы удаления погодных эффектов, использующие обучение и нечеткую логику.
Проблема удаления дождя с видео достаточно активно изучается, в то время как удаление дождя с единичного изображения редко рассматривается в литературе. Отсутствие накопленной из последовательности кадров информации усложняет задачу. Li-Wei Kang, Chia-Wen Lin и Yu-Hsiang Fu в своей работе [4] предложили метод удаления дождя с единичного изображения с помощью представления удаления дождя в качестве задачи декомпозиции изображения, основанной на морфологическом анализе. Вместо прямого применения традиционного метода декомпозиции изображения, предлагаемый метод сначала разбивает изображение на низко- и высокочастотные части, используя билатеральный фильтр. Высокочастотная часть далее разбивается на дождевую и недождевую составляющие применением разреженного кодирования с обучением словаря. В результате дождевая составляющая может быть успешно удалена с изображения с сохранением большинства деталей исходного изображения. Экспериментальные результаты продемонстрировали эффективность предложенного алгоритма. На рисунке 8 представлены блочная диаграмма метода и пример использования словарей. На рисунке 9 показаны поэтапные результаты работы алгоритма.
Рисунок 8 – (a) Блочная диаграмма предложенного метода удаления дождевых полос. (b) Демонстрация предложенного метода, основанного на двух обученных словарях.
Рисунок 9 – Пошаговые результаты процесса удаления дождевых полос: (a) низкочастотная составляющая изображения, полученная применением билатерального фильтра (VIF=0.33); (b) высокочастотная составляющая; (c) дождевая компонента; (d) геометрическая компонента. Комбинацией (d) и низкочастотной составляющей получается: (e) изображение без дождя (VIF = 0.50, µ = 0.6970); (f) изображение без дождя с расширенным словарем DE (VIF = 0.52).
Но методы обработки единичных изображений не удовлетворяют требованиям обработки записей с видеокамеры в реальном времени. Такие методы нетрудно распространить на последовательность изображений, но требуемая вычислительная мощность при этом резко возрастает.
Существующие в этой области работы обычно сфокусированы на улучшении качества видео или изображений с высоким разрешением, разработано мало алгоритмов для улучшения видео с камер наблюдения, которые обычно имеют низкое разрешение, высокий уровень зашумленности и артефакты сжатия. Более того, в условиях снега или дождя качество изображения переднего плана резко ухудшается из-за перекрытия появляющимися снежинками и каплями дождя, а качество дальнего плана ухудшается из-за перекрытия туманообразным эффектом снега или дождя, как показано на рисунке 10. Разработано очень мало алгоритмов улучшения качества видео, способных справиться одновременно с двумя проблемами.
Рисунок 10 - Две различные проблемы, требующие решения при видеонаблюдении в плохих погодных условиях
В работе [5] предлагается следующий метод улучшения качества для видеонаблюдения в условиях сильного снега или дождя. Алгоритм состоит из двух основных этапов: 1. Алгоритм улучшения переднего плана идентифицирует перекрытые снегом или дождем пиксели переднего плана и удаляет их как снежинки или капли дождя; в отличие от обычных методов, алгоритм на этом этапе может детектировать снежинки на объектах дальнего плана и фоне, и выбирать разные методы заполнения удаленных участков. 2. Алгоритм улучшения дальнего плана восстанавливает информацию о контрастности изображения не только для обнаружения большего количества деталей дальнего плана, но и для улучшения общего качества изображения. На этом этапе алгоритм адаптивно улучшает глобальную и локальную контрастности, основываясь на зрительной системе человека и чувствительности к восприятию шума, артефактов сжатия и текстурам содержимого изображения. На рисунке 11 представлена диаграмма метода.
Рисунок 11 – Диаграмма предлагаемого метода удаления снежинок/дождевых капель. Разными цветами обозначены разные основные компоненты алгоритма. Серый цвет: вход-выход; желтый: обучение; синий: детектирование снежинок/капель дождя; зеленый: временное детектирование объектов фона; красный: удаление снежинок/капель дождя и заполнение этих участков.