2444
.pdf
ГЛАВА 3 ОБРАБОТКА ИЗОБРАЖЕНИЙ
Многие алгоритмы машинного видения рассчитаны на применение к изображению какой-либо одной поверхности. Если изображение поверхности не заполняет всего поля зрения, то внимание необходимо сосредоточить на той области, которая соответствует этой поверхности. В данной главе мы изучим методы сегментации изображений на области, которые должны представлять собой изображения различных поверхностей. Для этого мы прежде всего обратимся к гистограммам полутоновых уровней и попытаемся использовать проявляющуюся на изображениях пространственную взаимосвязь объектов. Задача выделения различных областей изображения упрощается, если имеется возможность получить интересующие нас изображения в разных областях спектра. Иными словами, информация о цвете помогает делу.
Мы отличаем методы, основанные на подразделении имеющихся областей, от методов, комбинирующих эти области. Во многих случаях только после выделения существенной информации об изображенных объектах можно достаточно надежно произвести сегментацию. К сожалению, большинство методов извлечения подобной информации, как правило, требует, чтобы изображение уже было сегментировано. Мы кратко затронем эту проблему.
3.1. Методы порогового разделения Чтобы получить бинарное изображение из полутонового, необходимо установить
пороговое значение (рис. 3.1). Элементы изображения, в которых уровень яркости выше порогового, в соответствующих позициях бинарного изображения дают единицы, а элементы, в которых уровень ниже,— нули (или наоборот). Как выбрать это пороговое значение? По-видимому, нам нужно придумать метод автоматического выбора порога, учитывающий как изменения освещенности, так и особенности изображенной поверхности. Один из путей состоит в анализе распределения полутоновых уровней независимо от их положения на изображении.
В случае непрерывного изображения мы можем определить плотность распределения
яркости р(х). При малых δх величина
127
Рис. 3.1. Бинарное изображение, легко формируемое путем разделения по порогу значений яркости фона и объекта.
Приведенный рисунок может убедить нас в том, что даже простые силуэты способны нести в себе большой объем информации о трехмерных объектах. Удачный выбор художником точки наблюдения и наше знание об изображенном предмете благоприят-
ствуют такому впечатлению. Силуэты незнакомых объектов, представленные со случайно выбранных точек наблюдения, как правило, интерпретировать довольно трудно. (Воспроизведено из работы [36].)
р(x)δх —доля той части изображения, в которой яркость больше или равна х, но меньше х + δх. Интегрирование дает интегральную функцию распределения яркости Р(х). Для заданного значения х величина Р (х) — доля той части изображения, в которой яркость меньше или равна х:
x
P(x) 
p(t)dt
0
В дискретном случае мы можем построить (дифференциальную) гистограмму распределения полутонов, которая дает число элементов изображения, имеющих заданный уровень яркости. Интегральная гистограмма распределения полутонов получается из нее последовательным суммированием.
3.2. Построение гистограммы Представьте себе идеальный случай, когда объект и фон обладают равномерной
яркостью. В этом случае порог выбрать очень легко, если только значения яркости объекта и фона различны. Можно взять любую величину, заключенную между этими значениями, например их среднее арифметическое.
В действительности элементы изображения (пикселы), соответствующие объекту, не будут иметь точно один и тот же уровень яркости (рис. 3.2). Это обусловлено рядом факторов, в частности наличием шума. Определение уровня яркости включает измерение относительно небольшого числа электронов, освобождаемых падающими фотонами, что приводит к некоторым флуктуациям в измеряемых токах. Большой шум вносит усилитель тока. Этот шум проявляется в размывании функции распределения вероятности; точнее: плотность распределения вероятности, которую бы мы получили при отсутствии шума, свертывается с плотностью распределения аддитивного шума. Кроме того, датчики в различных точках обычно реагируют по-разному, а объекты не обладают в точности постоянной отражательной способностью или равномерным освещением. В силу этих и других причин мы должны ожидать наличия разброса в уровнях яркости как для объекта, так и для фона.
Если нам повезет, то этот разброс окажется настолько малым, что все равно будет существовать пороговое значение, разделяющее две группы уровней. Его можно найти, если построить гистограмму уровней.
129
Рис. 3.2. Гистограмма полутонов, иногда оказывающаяся полезной для определения порога, который позволяет разбить изображение на области. Здесь n(E) —число элементов изображения, имеющих уровень яркости Е.
На гистограмме можно увидеть два всплеска, грубо соответствующих объекту и фону, и впадину между ними (рис. 3.2). В идеале между всплесками будет полный провал, но если даже две группы уровней несколько перекрываются, за пороговое значение можно
принять минимальный уровень, соответствующий минимуму гистограммы. Это позволит произвести бинаризацию изображения лишь с незначительным числом ошибок.
Если «сигнал» (разность между уровнями яркости объекта и фона) ненамного превосходит «шум» (разброс в распределении уровней яркости), то подобным образом успеха, конечно, добиться нельзя. В этом случае может помочь усреднение значений соседних элементов. Это снизит шум пропорционально квадратному корню из числа усредненных элементов. На уровень сигнала такая процедура не повлияет, но
130
пространственное разрешение ухудшится.
До сих пор мы предполагали, что каждое значение гистограммы отвечает одному
уровню яркости. |
Можно построить более грубую гистограмму, объединяя соседние |
уровни. При |
построении гистограммы всегда возникает трудная дилемма: какова |
должна быть ширина интервалов? Каждому интервалу соответствует число элементов изображения, уровень яркости которых лежит между его нижней и верхней границами. Если интервалы слишком широки, разрешающая способность в определении уровней низкая (в предельном случае имеется один интервал и нулевая разрешающая способность). Если же интервалы слишком узки, то в каждый из них попадет очень мало значений и гистограмма окажется сильно изрезанной (в пределе почти все интервалы, кроме некоторых, не содержат ни одного измерения). В этом последнем случае трудно локализовать положение минимума. Естественно, что подобный эффект выражен слабее, когда объект занимает значительную площадь. Гистограмму часто приходится сглаживать, объединяя соседние интервалы, но это ухудшает разрешающую способность.
Имеет место и другая трудность, связанная с элементами изображения, расположенными на границе объекта (рис. 3.3). Такие элементы будут иметь промежуточные значения уровней, что приведет к смазыванию и слиянию краев двух всплесков. Степень проявления эффекта зависит от доли элементов изображения, попадающих на границы. В свою очередь эта доля обратно пропорциональна квадратному корню из отношения площади объекта к площади одного элемента изображения. Таким образом, проблема не столь остра при высокой разрешающей способности изображения объекта. И наоборот, она усугубляется при применении метода усреднения, предложенного выше для увеличения отношения сигнал — шум.
Другая проблема возникает, когда площадь части изображения, занимаемой объектом, много больше или много меньше площади фона. При этом меньший всплеск на гистограмме может оказаться131подавленным краем основного всплеска.
Рис. 3.3. Элементы изображения, пересекающие границу между двумя областями.
Они будут иметь промежуточные уровни яркости относительно уровней яркости этих областей.
Минимального значения, соответствующего порогу, может не оказаться. Необходимо также помнить, что гистограмма будет «зашумленной» из-за того, что число имеющихся
отсчетов конечно. Поэтому, если даже распределение яркости, лежащее в основе изображения, представляет собой гладкую функцию с ярко выраженными максимумами, нельзя ожидать того же самого по отношению к гистограмме уровней.
Если известна доля площади, занимаемой объектом, то возможна простая модификация нашего метода. Прежде всего построим интегральную гистограмму суммированием значений дифференциальной гистограммы. Как упоминалось выше, интегральная гистограмма для каждого значения яркости дает число элементов изображения с тем же или меньшим значением яркости. Положим пороговое значение таким, чтобы число элементов изображения, имеющих пороговую или меньшую яркость, составляло заданную долю от всего числа элементов. Заметьте, что теперь уже мы не можем воспользоваться вычисленным значением площади бинарного изображения, поскольку мы ее задали при определении порога!
Некоторые из наиболее четких бинарных изображений получают вообще не из обычных оптических снимков. Так, мы можем измерить расстояние от некоторой заданной плоскости до точек на поверхности объекта. Бинарное изображение получается пороговым разделением этой «карты дальностей». Таким путем можно определить силуэт объекта, лежащего на столе или ленте конвейера.
Сам принцип измерения расстояния может быть оптическим (рис. 3.4). На рисунке два источника с цилиндрическими линзами i испускают полоски света, которые пересекаются по прямой, лежащей на поверхности конвейерной ленты. Камера над лентой сориентирована так, что эта прямая воспринимается рядом последовательно расположенных фотодатчиков (фотолинейкой). Если объект отсутствует, то все фотодатчики освещаются одинаково ярко. Если часть объекта загораживает падающий свет, то соответствующая область фотолинейки оказывается затененной. Движение конвейера приводит к тому, что объект проходит под фотолинейкой, порождая второе измерение изображения. Ширина полоски света и характеристики оптических приборов подобраны так, что неизбежные малые вертикальные смещения ленты конвейера не приводят к существенной потере света, воспринимаемого датчиками. Ввиду этого устройство способно определять, находится ли высота объекта в пределах данного интервала.
Чтобы уменьшить число «призраков», возникающих благодаря затенению ленты конвейера частью объекта, еще не достигшей прямой, на которую сфокусирована фотолинейка, добавлены еще два источника света (однако проблему представляют
глубокие отверстия, которые не будут обнаруживаться устройством).
133
Рис. 3.4. Возможность получения бинарного изображения путем порогового разделения карты дальностей, которая в свою очередь строится с помощью своего рода структурной подсветки.
На этом рисунке, например, поверхность освещается полоской света. Фотолинейка расположена вертикально над прямой, по которой полоса пересекает поверхность ленты
конвейера. Когда на ней находится объект, то он загораживает свет и тот не достигает поверхности. Фотолинейка воспримет свет только в том случае, когда он достигнет поверхности. Чтобы получить полное изображение, необходимо пропустить весь объект через светочувствительную область воспринимающего устройства.
3.3. Пространственная взаимосвязь На типичных изображениях уровни яркости соседних элементов не являются
независимыми. Например, можно заранее предсказать, что изображение многогранного объекта содержит области с практически постоянной яркостью. Аналогично яркость изображений объектов с гладкой поверхностью изменяется постепенно. Мы воспользуемся такой пространственной взаимосвязью несколькими способами.
При сегментации изображения обязательно найдется несколько неправильно классифицированных элементов (в основном благодаря шуму). Если отношение сигнал — шум мало, почти все эти ошибки будут изолированы, за исключением элементов, расположенных вблизи границы объекта. Такой эффект называется крапчатым шумом (рис. 3.5). После разделения по порогу подобные ошибки нетрудно устранить, если учесть, что соседние элементы будут иметь противоположное значение.
Однако можно попытаться на первом же этапе избежать возникновения такого сорта ошибок путем исследования уровней яркости соседних элементов до порогового разделения. Если уровень яркости какого-то элемента изображения выше максимального уровня его соседей, то, вероятно, он был подвержен воздействию шума. Это — «выброс». Его необходимо заменить максимальным уровнем яркости
135
Рис. 3.5. Крапчатый шум, возникающий в результате наложения ошибок. Последние связаны с неточностями измерений яркости и постоянством порога,
используемого при получении бинарного изображения. Шум особенно значителен вблизи границ областей соседних элементов. Аналогичную «фильтрующую» операцию можно применить, если уровень яркости элемента ниже минимального уровня его соседей. Заметьте, что после такой операции полутона элементов изображения, находящихся на границе между объектом и фоном, останутся без изменения.
Снижения шума можно достигнуть и с помощью других фильтрующих операций. Мы уже упоминали операцию усреднения по значениям соседних элементов. Она приводит к сглаживанию особенностей и потому уменьшает пространственное разрешение. В результате усложняются проблемы, встречающиеся на границах. Другая возможность заключается в замене каждого значения уровня не средним, а медианным значением соседних элементов. (Числа элементов множества, лежащих ниже и выше медианы, равны.)
Как и в первой схеме, такая операция не изменяет значений элементов на границе. Однако вычислить медиану сложнее, чем максимальное или среднее значение.
136
Каждый из описанных методов позволяет уменьшить количество элементов изображения, которые в дальнейшем будут неправильно классифицированы в процессе бинаризации. Однако они не гарантируют получения абсолютно надежных результатов. Случайный шум может привести к появлению неожиданного уровня яркости не только в отдельном, но и в нескольких соседних элементах. При этом малая вероятность возникновения значительной ошибки в одном элементе умножается на малые вероятности значительных ошибок в соседних. Поэтому вероятность того, что среднее значение или медиана содержат ошибку, сравнимую с ошибкой отдельного элемента, относительно мала.
Здесь мы пользуемся пространственной взаимосвязью между элементами. В тех простых случаях, к которым мы обращались до сих пор, предполагалось, что яркость объекта приблизительно одинакова, в результате чего соседние элементы имеют близкие по значению уровни. В таких условиях вводятся ограничения, вытекающие из предположения о том, что именно представлено на изображении. В дальнейшем мы вновь вернемся к этому подходу.
3.4. Сегментация изображений Изображение желательно разбить на области, каждая из которых соответствовала бы
поверхности отдельного объекта наблюдаемой сцены. Последующую обработку можно осуществить независимо над каждой областью изображения. До сих пор мы рассматривали весьма простой случай, когда объекты и фон обладают равномерной яркостью. Теперь мы распространим эти методы на случаи, в которых каждый объект имеет яркость, отличную от яркостей других объектов.
Если нам известен средний уровень яркости каждого объекта, то нетрудно выбрать пороговые значения, заключенные между этими уровнями, что позволит нам классифицировать любой элемент изображения. Однако сразу же возникают новые
проблемы. Предположим, что область А примыкает к области С. Как было показано
137
выше, уровни яркости на их общей границе будут лежать между уровнями, относящимися к этим областям. Если в другом месте изображения расположена область В, уровень
яркости которой лежит между уровнями яркости областей А и С, то часть точек границы будет классифицирована неправильно, как относящаяся к В. Этого можно избежать, если прибегнуть не к полутоновым, а к иным характеристикам изображения. Например, интересующие нас точки скорее всего образуют не широкую область в виде пятна, а изрезанную полосу с зазубренными краями. Если мы предположим, что все области обладают некоторой минимальной шириной, то нетрудно заменить ошибочно присвоенные метки. Можно также использовать тот факт, что эти неверно классифицированные точки примыкают к обеим областям и А, и С.
Иногда требуемые пороговые уровни определяют путем анализа гистограммы. Однако часто гистограмма оказывается слишком изрезанной, поскольку лишь незначительное число точек непосредственно образуют каждый отдельный всплеск и, кроме того, эти всплески перекрываются значительно сильнее, чем в случае одного объекта и
однородного фона. |
|
|
|
|
|
|
|
|
|
|
|
|
Упоминавшиеся |
ранее |
проблемы |
шума |
здесь |
еще |
более |
серьезны. |
|||||
Если |
имеется |
несколько |
|
областей, |
то |
минимальная |
разница |
между |
||||
их |
уровнями не |
может |
быть очень |
большой. |
Она должна |
быть малой |
||||||
по |
отношению |
к |
общему |
диапазону изменения |
уровней. |
Если |
N — |
|||||
общий диапазон, |
a |
R |
— |
число |
областей, |
то |
минимальная |
разность |
||||
уровней должна быть меньшей или равной N /(R — 1). В итоге вероятность неправильной классификации заметно возрастает. Данную проблему можно несколько смягчить, если учесть пространственную взаимосвязь объектов.
3.5. Использование цвета |
138 |
|
Другой способ улучшить классификацию состоит в использовании информации о цвете. Если даже в результате измерений с помощью единственного оптического устройства окажется, что поверхности имеют одинаковую яркость, они все же могут отличаться по цвету. Один из путей использования этого обстоятельства состоит в квантовании (по уровням яркости) нескольких изображений, полученных с помощью датчиков с различными функциями спектральной чувствительности. Этого можно достичь размещением перед объективом цветных светофильтров. Такие фильтры избирательно поглощают определенные части спектра и тем самым изменяют собственную чувствительность датчика к свету различных длин волн. Обычно формируются три подобных изображения (через красный, зеленый и синий фильтры). Здесь детальное поведение кривых спектральной чувствительности этих фильтров значения не имеет.
Уровни яркости трех зарегистрированных изображений удобно объединить в один вектор, приписываемый соответствующему пикселу. Каждая компонента вектора представляет собой уровень яркости (изображения в этом пикселе, полученный с помощью одного из фильтров. Отдельной области отвечает одна или множество точек в соответствующем векторном пространстве.
Разбить цветовое пространство на части, отвечающие различным областям, не просто. При обсуждении темы, относящейся к классификации образов, мы отметим некоторые методы, позволяющие осуществить это. Один из них состоит в измерении расстояния от представительного или среднего вектора, отнесенного к каждой области. Неизвестный вектор можно затем приписать тому классу, который соответствует ближайшему вектору
— представителю. Это равнозначно разбиению пространства плоскостями, которые
перпендикулярны отрезкам между векторами — представителями и делят эти отрезки
пополам.
139
3.6. Наращивание и разбиение областей Допустим, что тем или иным методом мы произвели детальную, но грубую
сегментацию изображения. Например, просто объединили в группы соседние элементы с одинаковыми уровнями яркости. Дальнейшее улучшение сегментации достигается слиянием соседних областей с близкими уровнями. «Близость» может означать, что уровни отличаются меньше некоторой пороговой величины. При проверке на близость могут также учитываться геометрические факторы, например отношение длины общей границы к суммарной длине границ двух областей.
Более сложная проверка основана на оценке среднего уровня яркости и его вариаций внутри каждой области. С помощью стандартных методов, заимствованных из статистики, нетрудно определить, какова вероятность того, что разные области случайно имеют близкие уровни яркости. Если вероятность мала, то мы объединяем такие области. Слияние — это монотонная операция, которая обязательно завершится. Конечно, при этом возможен и такой исход, что все изображение будет отождествлено с одной областью!
Иногда подобный процесс слияния приводит к объединению областей с близкими уровнями, которые объединять не следовало бы. Ошибки такого рода можно выявить по геометрическим соображениям. Например, если на границе имеются два ярко выраженных выреза, идущих приблизительно с противоположных сторон, то весьма вероятно, что разграничительную линию необходимо провести между их концами (рис.
3.6).
140
Рис. 3.6. Границы областей, которые иногда можно определить из контекста.
Оценка среднего и разброса значений полутонов для выделенных областей может подтвердить правильность этого предположения. Подобные методы применяются в основном для разбиения, а не наращивания областей. В частности, их можно использовать для выделения границ между областями с различными уровнями яркости. Более детально проблема обнаружения границ будет рассмотрена позже.
Одна из проблем, связанных с рассмотренными методами сегментации, состоит в том, что те предположения, на которых они основываются, в реальных случаях часто не соблюдаются. Хотя отражательная способность многих поверхностей и в самом деле одинакова, их изображения совершенно не обязаны сохранять это свойство. Как мы увидим позднее, на яркость изображения влияют многие факторы. Поэтому элементы изображения, отвечающие точкам поверхности различных объектов, могут иметь одинаковые уровни яркости. Только в особых случаях может оказаться целесообразным представление об изображении как о совокупности однородных по яркости областей.
Часто гораздо плодотворнее отложить сегментацию до тех пор, пока не станет известна дополнительная информация, например приблизи тельная форма поверхности объекта. Одна из трудностей, возникшая при построении оценочных схем для сегментации изображения, заключается в141отсутствии четкой постановки самой задачи. Что такое «правильная» сегментация? Ответ на этот вопрос зависит от того, каким образом вы предполагаете использовать результат.
ГЛАВА 4
РЕШЕНИЕ ЗАДАЧИ ВЫДЕЛЕНИЯ КОНТУРОВ В СТЗ ОРТОПЕДИЧЕСКОГО АРТИКУЛЯТОРА
4.1. Статистичекий метод обнаружения реперных точек
Операция обнаружения таких объектов в обобщенной форме может быть определена в виде сравнения с некоторым числом — порогом другого числа, полученного в результате преобразования математического описания анализируемого образца изображения, заданного, например, функцией яркости.
|
|
(4.1) |
L[S(r,t)] |
П[S(r,t)], |
где L — оператор преобразования исходного изображения; П — оператор формирования порогового значения (адаптивный при использовании анализируемого изображения либо просто постоянное число).
При выполнении условия (1) принимается решение о наличии искомого объекта, в противном случае — об отсутствии его. Качество обнаружения характеризуется двумя показателями:
1)вероятностью правильного обнаружения, которая равна вероятности выполнения условия (1) при наличии на анализируемом изображении искомого объекта;
2)вероятностью ложной тревоги, равной вероятности выполнения условия (4.1) при отсутствии на анализируемом изображении искомого объекта.
Применение данного метода для поиска реперных точек на изображении затруднено из-за сложности формирования плотности вероятности и как следствие оператора L.
4.2. Согласованная фильтрация и сопоставление с эталоном
143
В этом методе для обнаружения объектов используется корреляционная обработка [согласно 37]. При этом обеспечивается максимизация отношения сигнал/шум, хотя форма, исходного сигнала на выходе такого фильтра не сохраняется. Частотная характеристика такого фильтра является комплексно сопряженной по отношению к спектру фильтруемого сигнала.
H |
(w , w) |
m (w , w)*e jwr r0 jwt0 |
, |
(4.2) |
c |
г |
r |
|
|
где г0, t0 предполагаемые пространственно-временные координаты сигнала.
Если шум имеет неравномерную по частоте спектральную плотность мощности Rnn (wr, w), то передаточная функция фильтра примет вид (4.3):
H c (wг , w) |
m (wr , w) |
* e jwr r0 jwt0 , |
(4.3) |
|
Rnn (wr , w) |
||||
|
|
|
Применение данного метода для поиска затруднено большой сложностью построения согласованного фильтра.
Идея метода сопоставление с эталоном проста. Сравнивать анализируемое изображение с искомым изображением или изображением, полученным с использованием математической модели. Представляется что, применение данного метода даст хороший результат (в смысле обнаружения реперных точек) в условиях малого количества помех. Поскольку в нашем случае уровень помех достаточно велик, применение метода сопоставления с эталоном вряд ли представляется возможным.
144
4.3. Обнаружение с использованием признаков изображения
Признаком изображения называется [согласно 38] его простейшая отличительная характеристика или свойство. Некоторые признаки являются естественными в том смысле, что они устанавливаются визуальным анализом изображения, тогда как другие, так называемые искусственные признаки, получаются в результате его специальной обработки или измерений. К естественным признакам относятся светлота (яркость) и текстура различных областей изображения, форма контуров объектов. Гистограммы распределения яркости и спектры пространственных частот дают примеры искусственных признаков.
Резкие изменения (разрывы) яркости, координат цвета или параметров, характеризующих текстуру, являются важными простейшими признаками, поскольку они часто определяют очертания изображенных объектов. Локальные разрывы значений яркости называются яркостными перепадами, или яркостными контурами (luminance edge). Поскольку искомые реперные точки являются одними из самых ярких частей изображения, то на их границе существует перепад яркости изображения. Следовательно, выделение контурных признаков изображения можно считать одним из способов поиска реперных точек на изображении.
145
Рис. 4.1. двумерный перепад яркости
На рис 4.1. показаны участки изображения с быстрым изменением яркости от низкого уровня к высокому в двумерном случае. В одномерном случае перепад характеризуется высотой, углом наклона и координатой центра склона. Перепад существует, если его угол наклона и высота больше некоторого заданного порога. Для двумерного случая важна также ориентация перепада по отношению к оси X. Идеальный детектор перепада при обработке области изображения, представленной на рис. 4.1. должен указывать на наличие перепада в единственной точке, расположенной в центре склона.
Общий подход к обнаружению перепадов на изображении, представляет собой