6.1. Сегментация изображений

6.1.1. Основные принципы сегментации изображений

Функции изображения В(х, у, t), характеризующие распределение яркости в поле зрения. На выходе телекамеры образуется видеосигнал, соответствующий распределению яркости в поле зрения D в дискретные моменты времени, синхронизируемые, например, с интервалом стандартной развертки. На базе значений видеосигнала формируется последовательность отсчетов, которые соответствуют значениям яркости, получаемой усреднением (сверткой) видео сигнала по некоторой окрестности (апертуре) точки (х, у). Максимально возможное число отсчетов при заданной апертуре образует растр поля зрения.

Использование цифровых методов обработки изображений предполагает в качестве необходимого этапа пространственную и яркостную дискретизацию непрерывного изображения В (х, у), т. е. замену координат его элементов дискретными значениями и квантование яркости этих элементов на определенное число уровней., В память вычислителя системы технического зрения СТЗ информация об изображении обычно вводится в виде матрицы значений, заданной на целочисленной прямоугольной решетке, покрывающей область поля зрения D.

Входной информацией будем считать матрицу В размером n  m, где n и m — числа строк и столбцов дискретного поля зрения D. Область D можно рассматривать как растр, матрицу В – как функцию на растре: значение В (i, j) равно яркости в точке (i, j)  D, i = 1, ..., n, j = 1, ..., m. Функция В (i, j) называется цифровым изображением (или просто изображением) на растре D.

Изображение В(i, j) реальной сцены есть совокупность изображений отдельных объектов и фона:

B(i, j) = H₁(i, j)+ … + H_s(i, j)+ H_ф(i, j), (6.1)

где s – число объектов сцены; Н_k(i, j) – изображение k-го объекта или видимой его части (k = 1, ..., s); Н_ф (i, j) – изображение фона. При этом

(6.2)

где D_k  D – область k-го объекта; D_ф  D – область фона;

. (6.3)

Задачи обработки изображений можно разделить на две категории.

1. Формирование из изображения В (i, j) изображений Н₁(i, j),… Н_s (i, j) и H_ф(i, j), для которых выполнено условие (6.2). Эта задача равносильна нахождению областей объектов D₁,..., D_s и области фона D_ф.

Переход от изображения совокупности объектов и фона к изображениям отдельных объектов включает и определение числа объектов s. Осуществление этих задач является конечной целью сегментации изображений.

2. Обработка отдельных изображений – это главным образом задачи распознавания и нормализации.

Остановимся на задачах категории 1. Рассмотрим проблему выделения объектов из фона, которая является частным случаем общей задачи сегментации для представления входного изображения в виде (1) достаточно построить отображение

: D  {0, 1,…, s}, (6.4)

обладающее следующими свойствами:

. (6.5)

Отображение (6.4) можно назвать правилом разметки точек растра D: каждая точка (i, j)  D получает смысловую метку с номером (i, j). При этом точки с одной меткой представляют собой область отдельного объекта или область фона.

Построение отображения  можно провести только на основе эвристических соображений. Понятия «объект» и «фон» в терминах свойств матрицы В размером n  m формализовать невозможно. Доля эвристики падает, если имеется априорная информация о распределении яркостей в области объекта и в области фона – в этом случае понятия «объект» и «фон» поддаются частичной формализации.

Из априорной информации об объектах в подавляющем большинстве случаев имеется информация об их связности: объект в робототехнике, как правило, не может состоять из нескольких разрозненных частей. Понятие связность поддается почти полной формализации.

О п р е д е л е н и е. Две точки растра В с координатами (i, j) и (p, s) назовем соседними в смысле 4-связности, если |i – р| + |j – s| = 1, и соседними в смысле 8-связности, если max{|i – р| + |j – s|} = 1.

О п р е д е л е н и е. Множество точек Е  D называется 4-связным (соответственно 8-связным), если для любых двух точек А, B  E найдется множество точек А = A₁, A₂,…, A_i-1, А_t = В, обладающее следующими свойствами: А_j  E (j = 1,…, t); точки А_i и А_i+1 – соседние в смысле 4-связности (соответственно 8-связности).

Любое 4-связное множество является в то же время 8-связным (рис. 6.1). Обратное утверждение неверно.

Часто, можно заранее предположить что области объектов – 4-связные множества. Иногда следует пользоваться иной информацией – о 8-связности.

Информация о связности объектов позволяет в ряде случаев разбить задачу сегментации на две части – грубую сегментацию и раскраску бинарного изображения.

Грубой сегментацией назовем построение характеристической функции объединения областей только объектов, т. е. функции

Рис. 6.1. Связные множества точек растра:

а – 4-связное; б – 8-связное, не являющееся 4-связным (элементам растра D соответствуют клетки, множество Е  D выделено точками)

Построение такой функции еще можно назвать выделением фона.

После грубой сегментации достаточно осуществить разметку для бинарного изображения (i, j) состоящего из совокупности изображений нескольких объектов. Такая разметка называется раскраской. В отличие от грубой сегментации раскраска осуществляется без доли эвристики это связано с точной формализацией понятия «объект» для бинарного изображения: областью объекта является множество точек растра, состоящее из точек (i, j), для которых (i, j) = 1, оно связано и не содержится внутри никакого большего связного множества, состоящего из точек (i, j), для которых (i, j) = 1. Такая формализация имеет место только при условии непересечения областей объектов – в противном случае строгая формализация невозможна.

Остановимся еще на одном подходе, позволяющем получить разложение (6.1). Он связан с другой интерпретацией объекта – с помощью его границы. Пусть Е  D – некоторая область. Точку (i, j)  D назовем граничной, если не все ее соседи относительно 4-связности лежат в области Е. Множество граничных точек обозначим и назовем границей области Е. Если область Е является 4-связной и известна ее граница , то можно считать известной и саму область, правда, только после применения одного из алгоритмов восстановления множества по его границе. Поэтому для выделения и различения объектов достаточно построить отображение

₁: D  {0, 1,…, s},

. (6.6)

Задача построения отображения ₁ также может быть решена в два этапа. На первом этапе естественно выделить множество всех границ объектов, т. е. построить характеристическую функцию типа (i, j) относительно .

После этого необходимо идентифицировать границу каждого объекта в отдельности. Идентификация не сводится к раскраске, поскольку граница может не быть связным множеством (рис. 6.2).

Рис. 6.2. Область с несвязной границей, состоящей из

двух контуров: – граничные точки

Входные изображения могут быть подвержены различного рода помехам, которые можно разделить на случайные и локальные. Случайные помехи называют также шумами. Они возникают на изображениях в результате нестабильности и сбоев в работе различных блоков СТЗ на отдельных этапах формирования и преобразования изображений. Шумы искажают реальное изображение в отдельных, в основном разрозненных, точках области D. Локальные помехи связаны с тем, что в поле зрения видеодатчика имеются некоторые небольшие области, которые не интерпретируются ни как объекты, ни как фон. Это, в первую очередь, загрязнения, блики, сколки, пятна.

Наличие помех заставляет в ряде случаев начать с их подавления – сглаживания шумов и устранения локальных помех. Задача подавления помех входит, с одной стороны, в задачу улучшения изображений, а с другой – ее можно рассматривать как часть задачи сегментации. В задачах, связанных с СТЗ роботов, актуален именно второй аспект.

Конечной целью сегментации изображений является разбиёние поля зрения D. на области объектов D₁,..., D_s и область фона D_ф.

Сегментация путем построения отображения  со свойством (6.5) называется методом разметки точек. Если же целью является построение отображения, то говорят о сегментации путем выделения границ.

Сложность построения отображений , ₁ обусловлена тем, что понятия «объект», «фон», «граница объекта» весьма условны. Они не имеют точной формализации в терминах цифрового изображения В (i, j). Информацией для такого построения служат следующие соображения, сами по себе нуждающиеся в формализации:

– объекты «выделяются» из фона;

– области объектов – связные области;

– модуль градиента яркости в точках границы объектов существенно превышает его значение в других точках изображения;

– если области объектов не пересекаются, то область каждого объекта не содержится ни в какой большей связной области, состоящей из точек объектов.

Методы и алгоритмы сегментации можно рассматривать как формализацию понятия выделяемости объекта из фона или понятий, связанных с градиентом яркости. Надежность алгоритмов сегментации зависит от того, насколько точно и полно при этом учтена дополнительная информация, которая в основном состоит из следующих сведений:

– число объектов s;

– некоторые характеристики распределения яркости в областях объектов или фона, например экстремальные значения яркости, количество перепадов яркости;

– оценки яркостного перепада при переходе из области фона в область объектов;

– форма объектов;

– информация о том, какую часть поля зрения занимает объединение областей объектов.

Как и для любой задачи обработки изображений, для задачи сегментации следует искать алгоритмический подход, максимально приближенный к визуальному способу решения.

Человек уверенно выделяет в поле зрения содержательно интерпретируемые области, но процесс этого выделения происходит обычно в несколько этапов: сначала выделяются простые, наиболее конкретные области; в оставшейся части поля зрения происходит более тщательный анализ; некоторые области на предварительных этапах однозначно не интерпретируются вообще; часто происходит разбиение поля зрения на несколько областей по тому или иному грубому критерию с последующей сегментацией каждой области в отдельности.

Такие этапы визуальной сегментации могут, а в ряде случаев и должны присутствовать и при алгоритмическом подходе. В связи с этим введем понятие частичной, грубой и многозначной сегментации.

Частичная сегментация заключается в построении отображения

_ч:  {0, 1,…, l},

где  D – некоторое множество точек. При этом построение производится таким образом, чтобы были выполнены следующие условия:

– если (i, j), (m, n)  и являются точками области D_k одного объекта (k = 1, ..., s), то _ч (i, j) = _ч(m, n);

– если точки (i, j), (m, n)  , но принадлежат областям D_p и D_k, различных объектов (р  k), то _ч (i, j)  _ч(m, n);

– если (i, j)  – точка из области фона D_ф, то _ч (i, j) = 0.

Очевидно, при = D частичная сегментация является окончательной. Переход от частичной сегментации к окончательной тем проще, чем меньше количество точек дополнения D \ .

Смысл частичной сегментации заключается в том, что многим (но не всем) точкам поля зрения легко сопоставить смысловую метку. Разметка оставшихся точек происходит с учетом информации об уже размеченных точках, что существенно упрощает задачу.

Грубая сегментация. При грубой сегментации осуществляется построение отображения

_г: D  {0, 1,…, t},

обладающее двумя свойствами:

– если _г (i, j)  _г(m, n), то точки (i, j), (m, n)  D не могут содержаться в области одного объекта или в области фона;

– если _г (i, j) = 0, то (i, j)  D_ф.

При грубой сегментации одинаково размеченные точки могут соответствовать областям различных объектов. Поэтому построение отображения _г значительно проще правила разметки со свойствами (6.5). Удобство использования грубой сегментации в качестве предварительного этапа полной (окончательной) сегментации поясним для случая t = 1, когда грубая сегментация равносильна переходу к бинарному изображению: точкам фона соответствует 0, точкам объектов – 1. Тогда для окончательной сегментации достаточно провести раскраску этого бинарного изображения. После раскраски, т. е. построения отображения _р: D_об  {0, 1,…, s} (D_об – объединение областей объектов), переход к окончательной разметке со свойствами (6.5) в случае непересечения объектов осуществляется по правилу

.

Грубую сегментацию в указанном случае (t = 1) можно назвать также отделением фона или выделением области объектов. Случай t = 1 при грубой сегментации является наиболее распространенным.

Многозначная сегментация. Во многих случаях на предварительных этапах сегментации отдельным точкам поля зрения не возможно сопоставить однозначную смысловую метку. Однако априорная информация или информация об уже размеченных точках позволяет заключить, что метка рассматриваемой точки растра может быть одной из некоторого набора меток. Рассмотрим, например, ситуацию, отображенную на рис. 6.3. Пусть все точки области А имеют метку 0, а все точки области В – метку 1. Тогда область А принадлежит фону, область В является частью некоторого объекта. Если известно, что области объектов не пересекаются, то точка С может быть либо точкой фона, либо точкой объекта с меткой 1. Поэтому метка точки С может принимать два значения: 0 или 1.

Рис. 6.3. Пример многозначной разметки:

А, В – области; С – точка

Многозначной разметкой назовем многозначное отображение _м: D  Т_s, где Т_s – множество подмножеств множества {1,..., s}. Тем самым, каждой точке (i, j)  D сопоставляется некоторое множество меток {k₁,…, k_}, где k_i  {1, ..., s}, i= 1, ..., , а  зависит от точки (i, j). Число ( – 1) назовем показателем неоднозначности разметки в точке (i, j) и будем обозначать его (i, j). Если (i, j)= 0, то метка в точке (i, j) определена однозначно. Многозначная разметка совпадает с окончательной, если (i, j) = 0 для всех (i, j)  D.

Переход от многозначной разметки к окончательной (однозначной) осуществляется на основе анализа множеств _м (i, j) для тех точек (i, j) D, где (i, j) = 0.

Перейдем теперь к конкретным методам сегментации. Они делятся на методы разметки точек и выделения границ. Метод выделения границ (контуров) имеет самостоятельное значение, не всегда связанное с задачей сегментации, поэтому он будет рассмотрен отдельно. Метод разметки точек делится, в свою очередь, на метод порогового ограничения по яркости и метод наращивания областей.