19. Сегментация изображений. Методы сегментации.
Сегментация изображений – это процесс выделения на изображении нескольких сегментов или областей, которые содержат объекты с определенными свойствами. В пособии рассматриваются следующие наиболее распространенные методы сегментации изображений.
Метод сегментации Region Growing
Метод содержит следующие этапы.
1. Выбор начального пикселя: на первом шаге выбирается один пиксель как начальный пиксель для региона. Этот пиксель будет служить отправной точкой для роста региона.
2. Критерий сходства: выбирается критерий, который определяет, насколько похожи пиксели на уже растущий регион. Например, на основе заданных пороговых значений для яркости пикселя.
3. Процесс (этапы 1-2) продолжается до тех пор, пока регион не перестанет расширяться, то есть, когда все добавляемые пиксели уже включены в регион, или достигнут заданный размер региона. Хотя метод Region Growing может дать хорошие результаты на простых изображениях с однородными регионами, он может столкнуться с проблемами на более сложных изображениях, где есть много перекрывающихся регионов.
Метод сегментации изображений Split-and-Merge
Основная идея метода Split-and-Merge заключается в следующем.
1. Разделение (Split). На первом этапе изображение разделяется на четыре равные части (блоки). Далее в каждом блоке сравниваются значения интенсивности центрального пикселя со средним значением интенсивности всего блока. Если сравниваемые значения интенсивностей сильно отличаются, то блок делится на более мелкие части. Этот процесс повторяется для каждого созданного подсегмента до тех пор, пока не будут получены блоки, в которых все пиксели имеют близкую интенсивность. Отметим, что для определения схожести интенсивностей пикселей, можно, например, вычислить разницу между наибольшим и наименьшим значением интенсивности пикселей в блоке.
2. Объединение (Merge) На втором этапе объединяются соприкасающиеся блоки схожих интенсивностей, и окончательно получается сегментированное изображение. Объединение происходит, если два или более связанных сегментов удовлетворяют определенному критерию, например, если их разница в интенсивности пикселей достаточно мала.
3.1 Пороговая сегментация (Thresholding) Простейший метод для однородных объектов на контрастном фоне. Пиксели классифицируются по значению яркости относительно одного или нескольких порогов. Глобальная – один порог для всего изображения (метод Оцу). Локальная (адаптивная) – порог вычисляется для каждой окрестности пикселя. Многопороговая – несколько порогов, результат – несколько классов. Достоинства: простота, скорость. Недостатки: не работает при неоднородном освещении, шумах, сложной текстуре.
3.3 Метод водораздела (Watershed) Рассматривает изображение как рельеф (яркость – высота). Сегментация проводится по линиям водораздела – границам между бассейнами. Часто применяется к градиентному изображению. Проблема: пересегментация. Решается маркерной водораздельной сегментацией (задание начальных маркеров объектов и фона).
3.4 Методы на основе кластеризации K-средних (K-means) – пиксели группируются в K кластеров по признаку (цвет, координаты). Итеративно уточняются центры кластеров. Средний сдвиг (Mean shift) – неметрический кластерный алгоритм, не требующий задания числа кластеров. Хорош для сегментации текстур. EM-алгоритм – вероятностная кластеризация (смесь гауссиан).
3.5 Сегментация по границам (Edge detection) Сначала находят границы (перепады яркости) с помощью операторов: Собель, Превитт, Робертс, Канни (оптимальный по критерию обнаружения и локализации границ). Затем границы замыкают в контуры (морфологические операции, преобразование Хафа) и получают сегменты.
3.6 Спектральная сегментация (Normalized cuts) Строится граф, где вершины – пиксели (или области), ребра взвешены по сходству. Сегментация – разрезание графа на подграфы с минимальной взвешенной суммой обрезанных ребер. Учитывает глобальную структуру изображения.
3.7 Глубокое обучение (Deep Learning) Полностью сверточные сети (FCN), U-Net – пиксельная классификация с учетом контекста. Mask R-CNN – обнаружение объектов + создание маски сегментации. Segment Anything Model (SAM) – интерактивная сегментация с нулевым обучением. Трансформеры (Swin, DETR) – для сегментации объектов. Преимущества: высокая точность на сложных сценах, устойчивость к шумам и изменениям освещения. Недостатки: требуют больших размеченных наборов данных и вычислительных ресурсов.