6.1.2. Пороговое ограничение

Пороговое ограничение по яркости – один из распространенных методов сегментации в робототехнике. Это обусловлено тем, что изображения объектов манипулирования часто имеют достаточно однородную яркость и резко выделяются из фона.

Наиболее просто пороговая обработка осуществляется в случае, когда заранее известно, что изображение состоит из одного объекта (s = 1) и фона, причем яркость точек объекта находится в пределах [T­₁, T₂], а яркость точек фона либо меньше Т₁ либо больше Т₂. В этом случае каждой точке (i, j)  D сопоставляется метка 1, если В (i, j)  [T­₁, T₂], и метка 0 в противном случае. Произведенная таким образом грубая сегментация является окончательной вследствие условия s = 1.

В случае s  2 указанная информация позволяет также произвести грубую сегментацию, однако переход к окончательной сегментации требует «отделения» областей объектов друг от друга, т. е. необходимо еще реализовать алгоритм раскраски бинарных изображений. Таким образом, в этом случае окончательная сегментация требует комбинации глобального метода (порогового отсечения) и локального метода (раскраски по критерию связности).

Иногда известно, что яркости объектов различны и, более того, известны пороги: яркость j-го объекта находится в пределах [T^j₁, T^j₂]. В этом случае можно сформировать следующее правило разметки точек:

,

Однако такая разметка будет правильной только при выполнении двух условий:

[T^j­₁, T^j₂] ∩ [Tⁱ­₁, Tⁱ₂] = 0 (i  j)

в точке (m, n)  D_ф выполнено .

Другими словами, интервалы яркости объектов не должны пересекаться, яркость фона должна меняться вне интервалов яркости объектов.

Однако указанные условия в большинстве случаев не выполняются, и получить окончательную сегментацию с помощью информации о порогах T^j­₁, T^j₂ не удается. Тем не менее можно получить частичную или многозначную сегментацию. Остановимся на этом подробнее.

Допустим, что кроме интервалов Q_j = [T^j­₁, T^j₂] известно множество Q_ф значений яркости в точках фона. Если относительно фона ничего априорно неизвестно, можно считать, что Q_ф состоит из всевозможных уровней квантования яркости. Аналогично в отсутствие информации о яркости j-го объекта можно положить T^j­₁ = , T^j₂ = , где  и  – соответственно нижний и верхний уровни квантования.

Множества Q_j , j = 1,..., s и Q_ф могут быть такими, что по некоторым значениям яркости можно однозначно установить принадлежность соответствующей точки той или иной области. С каждой точкой (m, n)  D свяжем число , вычисляемое как число множеств из набора Q_ф, Q₁,..., Q_s, которым принадлежит значение яркости В(m, n). Число (m, n) = _m,n – 1 является показателем неоднородности в точке (m, n). Точки с показателем, равным 0, размечаются однозначно. Действительно, если (m, n) = 0, то необходимо положить (m, n) = k, где k однозначно определяется из условия В(m, n) Q_k ‚

Очевидно, что таким образом мы получим частичную сегментацию, которая тем ближе к окончательной, чем больше точек (m, n), удовлетворяющих условию (m, n) = 0.

Приведем пример. Пусть на рис. 6.4 крестик означает яркость 10, квадрат – яркость 15, треугольник – 25, кружок – 40. Допустим, априорно известны условия:

• изображение содержит два объекта с яркостью в пределах [12, 30] и [5, 20] соответственно;

• яркость фона не меньше 20. Согласно указанным правилам частичной сегментации крестикам можно ставить метку 2, кружкам – метку 0 (они однозначно соответствуют фону). Квадратам и треугольникам смысловую метку по информациям о яркости сопоставить невозможно. Для их раз метки необходимо использовать информацию о связности объектов и фона. Очевидно, что квадраты (см. рис. 6.4) соответствуют первому объекту, треугольники в предпоследней строке – фону. Остальные треугольники могут соответствовать как фону, так и первому объекту. По-видимому, вероятность их соответствия первому объекту выше.

Рис. 6.4. Пример частичной сегментации по информации о порогах яркости

Для формализации соображений, позволяющих перейти от частичной к окончательной сегментации, удобно провести многозначную сегментацию (разметку). Для каждой точки (m, n)  D найдем те множества из набора Q_ф, Q₁,..., Q_s, которым принадлежит значение яркости B(m, n). Пусть k₁,..., k_t – индексы этих множеств. Тогда сопоставим точке (m, n) многозначную метку, т. е. набор (k₁,..., k_t). Например, в ситуации, отображенной на рис. 6.4, квадратам сопоставляются метки 1 и 2, треугольникам – метки 1 и 0, кружкам и крестикам – однозначные метки 0 и 2 соответственно.

Переход к однозначной разметке точек осуществляется на основе локальных методов, которые мы разберем ниже.

Частичная или многозначная разметка может одновременно являться грубой разметкой точек, в том числе – отделением фона. Последнее будет выполнено в том случае, когда Q_ф ∩ Q_j = 0 , т. е. когда яркость фона отделена от яркости объектов.

В ряде задач робототехники пороги яркости объектов и фона неизвестны, поэтому метод порогового ограничения следует дополнить способом определения порогов. Определение порогов обычно связано с анализом гистограмм. Гистограмма – это отображение из множества {,…, } значений яркости в множество натуральных чисел, каждому b  {,…, } сопоставляется число точек (m, n)  D, для которых В(m, n) = b.

Глобальный максимум гистограммы соответствует наиболее часто встречающемуся значению яркости . В большинстве задач доминирует фон, так что значение отвечает фону (в приведенных выше обозначениях  Q_ф). Следует ожидать, что и близкие к значения яркости также соответствуют фону. Для определения порога, отделяющего яркость объектов от яркости фона, достаточно располагать дополнительной информацией. Приведем наиболее распространенные примеры такой информации.

Допустим, что известно некоторое соотношение (типа неравества), связывающее яркость любой точки фона и объектов, например:

B(m, n) – B(u, ) > T (6.7)

для любых точек (m, n)  D_ф, (u, ) D₁ U… U D_s.

В этом случае можно заключить, что для любой точки (u, ) любого объекта выполнено условие

B(u, ) < – T. (6.8)

Найдем теперь глобальный максимум части гистограммы – в области [, – T]. Пусть он достигается в точке .

Следует ожидать, что  Q U… U Q_s., т. е. – яркость, наиболее часто встречающаяся в точках объектов. Из соотношения (6.7) можно заключить, что для любой точки (m, n) области фона выполнено условие

B(m, n) > + T. (6.9)

Соотношения (6.8) и (6.9) дают пороги яркости для точек объектов и фона, которые позволяют построить частичную или многозначную разметку.

Пусть, например, гистограмма имеет вид, представленный на рис. 6.5.

Рис. 6.5. Пример гистограммы распределения яркостей

Предположим, что неравенство (6.7) имеет место при Т = 10. Глобальный максимум гистограммы достигается в точке = 30. В области [0, – 10] (т. е. в области [0, 20]) глобальный максимум достигается в точке = 15. Поэтому можно сделать вывод, что яркость точек объектов меньше 20, яркость точек фона больше 25. Возникает вопрос о точках промежуточной яркости, т. е. в интервале [20, 25]. Если такие точки имеются, а исходная информация верна, то это возможно только за счет помех. Тогда нужно выбрать порог яркости, разделяющий объекты и фон, равным, например, среднему между значениями + T и – T (для гистограммы на рис. 6.5 он будет равен 22 или 23).

В рассмотренном примере + T > – T. Ситуация может быть и иной, когда это неравенство не выполнено. В этом случае можно осуществить грубую многозначную разметку: точкам с яркостью ниже + T сопоставляется метка 1, точкам е яркостью выше – T – метка 0, остальным точкам – две метки: 0 и 1. Перейти от такой разметки к окончательной можно, используя локальные методы сегментации, а при отсутствии информации, необходимой для их реализации,– используя эвристическое правило выбора порога путем усреднения величин + T и – T.

Аналогичные рассуждения имеют место и в случае, когда вместо неравенства (6.7) мы располагаем неравенством

B(m, n) >  B(u, ), (6.10)

где  > 1 известный коэффициент. Кроме того, вместо (6.9) и (6.10), выполнение которых означает, что яркость фона выше яркости объектов, можно рассмотреть аналогичные неравенства:

B(u, ) – B(m, n) > T

B(u, ) >  B(m, n), (6.11)

с известным порогом Т > 0 и коэффициентом  > 1. Информация (6.11) может иметь место в случае, когда фон «темнее» объектов.

Рассмотрим теперь информацию о соотношении площадей области фона и области объектов, часто встречающуюся в задачах, связанных с СТЗ роботов.

Пусть известно, что

S(D₁ U… U D_s)   S(D_ф), (6.12)

где  < 1 известный коэффициент; S (Е) – число точек области Е.

Введем зависимость

,

где N(b) – гистограмма распределения яркости. Пусть S(D) – общее число точек растра. Априорная информация (6.12) позволяет заключить, что число точек D_ф S (Dф)  S(D) / (1 + ). Поэтому можно сделать вывод, что яркость фона заключена в пределах [ – *, + * ], где * – решение уравнения Р () = S(D) / (1 + ). Заметим, что Р () – возрастающая функция. Точное решение уравнения обычно не представляется возможным, поэтому в качестве * следует выбрать такое значение, чтобы Р (*)  S(D) / (1 + ); Р (*– h) < S(D) / (1 + ), где h – шаг изменения .

Указанные два типа априорной информации позволяют решить задачу сегментации при s = 1 и осуществить грубую сегментацию при s > 2. В любом случае такого рода информация позволяет осуществить частичную или многозначную разметку, которая обычно служит важной исходной информацией для локальных методов типа наращивания областей.

При отсутствии априорной информации указанных двух типов существует подход к определению порогов, связанный с нахождением не только глобального максимума гистограммы, но и других ее экстремумов. Допустим, что изображение состоит из фона и одного объекта. При постоянной яркости фона и объекта гисторамма имеет простейший вид (рис. 6.6. а). Такой вид гистограммы в реальной ситуации далек от действительности, более реальна гистограмма, представленная на рис. 6.6. б. В этом случае гистограмма носит бимодальный характер, так как имеются два ярко выраженных максимума – глобальный, соответствующий фону, и локальный, соответствующий объекту.

Рис. 6.6. Гистотраммы: а – при однородных объектах и фоне;

б – идеализированная; в – реальная

Для гистограммы, показанной на рис. 6.6. б естественно установить разделяющий объекты и фон порог яркости по ее минимуму. Однако такой подход затруднен в связи с тем, что рис. 6.6. б, так же как и рис. 6.6. а, не отвечает реальному распределению яркостей. Реальная гистограмма имеет ступенчатый характер (рис. 6.6. в), и в связи с большим количеством ложных экстремумов поиск их производить сложно (исключение составляет глобальный максимум). Поэтому локальный максимум гистограммы, соответствующий наиболее часто встречающейся яркости точек объектов, следует находить по правилу

,

где ,  – пределы квантования; U – некоторая окрестность точки глобального максимума. Для выбора окрестности U необходима дополнительная априорная информация. Например, при известном соотношении площадей объектов и фона указанный выше способ.

После нахождения экстремумов и необходимо найти располагаемую между ними точку минимума гистограммы. Эту гистограмму на отрезке [ , ] можно аппроксимировать аналитической функцией, например параболой N(b) = a₁b² + а₂b + а₃. Коэффициенты a₁, а_2, а₃ находятся методом наименьших квадратов. Аппроксимация сглаживает гистограмму на отрезке [ , ], в пределах которого она приобретает качественно тот же вид, что и на рис. 6.6. б.

Все сказанное переносится на случай нескольких объектов (s > 2), если их яркости мало отличаются друг от друга по сравнению с минимальным перепадом яркости объект – фон. Правда, в этом случае пороговая обработка дает грубую, а не окончательную сегментацию.

В случае существенного разброса яркости объектов методы обработки гистограммы малоприменимы, в некоторых случаях применимы рекуррентные подходы. В этом случае, вероятно, более эффективными являются методы разметки точек.