7.2. Математическая морфология и обработка изображений

Одной из фундаментальных проблем анализа изображений является создание адекватного математического описания изображений, передающего их содержание, смысл. Иными словами, это описание должно отражать лишь существенные (с точки зрения решаемой задачи) особенности изображения, и не зависеть от несущественных деталей. В морфологическом анализе такими несущественными характеристиками являются условия регистрации изображений объекта или сцены и параметры регистрирующей аппаратуры. Методы морфологического анализа являются, таким образом, шагом на пути решения проблемы описания семантики изображений.

Хорошо известно, что изображения одной и той же сцены, отвечающие различным условиям освещения и(или) измененным оптическим свойствам объектов могут отличаться радикально. Это обстоятельство порождает значительные трудности в прикладных задачах анализа и интерпретации изображений реальных сцен, в которых решение не должно зависеть от условий регистрации изображений. Речь идет, например, о задачах выделения неизвестного объекта на фоне известной местности, известного объекта на произвольном фоне при неконтролируемых условиях освещения, о задаче совмещения изображений одной и той же сцены, полученной в различных спектральных диапазонах и т.д.

Для решения перечисленных задач были разработаны методы морфологического анализа изображений, оказавшиеся достаточно эффективными.

Применение аппарата математической мор­фологии в анализе изо­бражений является одним из сравнительно новых направлений. Начало математической морфологии, использующей представления теории множеств и интегральной геометрии, было положено работами французских исследователей Ж. Матерона и Дж. Серра, занимавшихся проблемами минерало­гии и петрографии. Цель их исследований состояла в количест­венном описании физических и механических свойств материа­лов посредством анализа их геометрической структуры. Затем математическая морфология достигла состояния серьезного ин­струмента обработки изображений с основным применением в материаловедении, исследовании цитологических препаратов, анализе медицинских изображений.

В этой главе фрагментарно обсуждаются основные операции математической морфологии и их свойства, т. к. объема одной главы совершенно недостаточно для сколь-нибудь последовательного изложения теоретических ос­нов, и приводятся результаты применения этих операций для обработки и анализа изображений (в основ­ном двухградационных).

Следует заметить, что публикации, посвященные как теоре­тическим вопросам математической морфологии, так и ее при­ложениям в области обработки изображений, в русскоязычной литературе практически отсутствуют.

Напомним некоторые основные понятия из теории множеств, которые потребуются в дальнейшем. Пусть Eⁿ – n-мерное простран­ство. Ниже примем, что Eⁿ = Rⁿ или Eⁿ = Zⁿ, где Rⁿ – n-мерное евклидово пространство, a Zⁿ – n-мерное дискретное пространст­во (n-мерная решетка). В применении к изображениям, как пра­вило, рассматриваются двумерные пространства. Если X = {x} и Y = {y} – множества в Еⁿ, то объединением множеств X и Y на­зывается множество Z = {z: zX или zY} = XY, (т.е. множест­во, состоящее из таких элементов z, которые принадлежат X или Y), а пересечением множеств X и Y называется множество Z = XY = {z: zX , zY}. Множество Z = X^c ={z: zX} называется дополнением множества X. Разностью множеств X и Y называется множество Z = {z: zX, zY} = X\Y. Множество Z называется пустым, если оно не содержит ни одного элемента. Обозначается такое множество как Z = . Справедливы следующие соотношения:

(XY)^c = X^cY^c;

(XY)^c = X^cY^c; (7.1)

X\Y= XY^c

Определим на Еⁿ индикаторную функцию множества X следую­щим образом:

.

Определим также меру множества X:

– для непрерывного пространства Rⁿ и

– для дискретного пространства Zⁿ.

Для изображений эти определения означают, что мерой множе­ства X является его площадь в непрерывном случае и количест­во узлов решетки, входящих в множество, – в дискретном.

Операции математической морфологии

Двухградационное изображение можно рассматривать как ин­дикаторную функцию набора множеств в Е² (как, например, ин­дикаторную функцию множества X₁X₂X₃ на рис. 7.23). Для данного множества X можно зафиксировать некоторый элемент (не обязательно принадлежа­щий этому множеству), который назовем центром (или началом) множества X .

^{Рис. 7.23. Двухградационное изображение}

Обо­значим через Х_a множество X, центр которого помещен в точку а. Одним из основных понятий математической мор­фологии является понятие структурного элемента. Струк­турный элемент В – это множество, состоящее из двух непере­секающихся подмножеств В¹ и B², для которых определено об­щее начало.

НМ-преобразование

Базовым преобразованием, позволяющим строить набор различных операций математической морфологии, является преобразование Hit or Miss. Авторам не удалось найти адек­ватного перевода этому названию, поэтому далее будет использо­ваться название НМ-преобразование. Для данного множества X = {xEⁿ} и данного структурного элемента В результат НМ-преобразования определяется как

Y = XB = {x:  X,  X^c} (7.2)

(Здесь через X^c обозначено дополнение множества X ).

Нетрудно видеть (рис. 7.24), что в результате НМ-преобразования на исходном изображении выделяются элемен­ты, окрестность которых совпадает со структурным элементом (заметим, что форма окрестности определяется формой струк­турного элемента). Условие (7.2) выполняется для элементов, лежащих на нижней границе X (например, 1...4 позиции струк­турного элемента). В позиции 5  X, но  X^c, в позиции 6, наоборот,  X, но  X^c, а в позиции 7 не выполняются оба условия.

Применяя HМ-преобразование с различными структурными элементами, можно выделять специфические геометрические особенности изображений.

Рис. 7.24. НМ-преобразование

Морфологические операции в дискретном пространстве

Обычно п-мерные дискретные данные упорядочиваются в соответствии с п целочисленными параметрами, образуя неко­торую пространственную структуру. Если эти параметры изме­няются регулярным образом (например, номера столбцов и строк в дискретном изображении), структура может быть пред­ставлена в виде решетки. Построим двумерную решетку следую­щим образом: определим в R² два линейно независимых вектора u₁ и u₂. Решеткой назовем множество вершин всех возможных векторов вида u=k₁u₁+k₂u₂, где k₁,k₂ – целые числа. Примеры наиболее распространенных решеток приведены на рис. 7. 25.

Рис. 7.25. Примеры решеток: 1– квадратная,

2 – прямоугольная, 3 – гексагональная

Переход от непрерывного к дискретному пространству созда­ет ряд проблем не только формального, но и практического ха­рактера. Принципиальная анизотропия дискретного пространства делает невозможным, например, поворот на произвольный угол. Возникает проблема и с нахождением расстояния, которое в непрерывном пространстве вводится достаточно естественным образом. Для некоторых типов решеток неоднозначным образом определяется понятие соседства. Последнее обстоятельство ил­люстрирует рис. 7.26. Назовем множество связным, если из од­ной его точки к любой другой можно проложить путь, проходя­щий только по точкам, принадлежащим этому множеству, при этом каждая следующая точка пути должна соседствовать с те­кущей.

Рис. 7.26. Соседство и связность: а – прямоугольная решетка;

б – гексагональная решетка

На рис. 7.26, а слева приведено три возможных задания со­седства для прямоугольной решетки: соседство через стороны решетки, через узлы решетки и через стороны и узлы. Если мы примем первое определение соседства, то обнаружим, что белое поле в правой части рисунка состоит из двух частей, не связан­ных между собой. Следовательно, их должна разделять связная область черного цвета. Между тем такой области нет, поскольку точки черного контура тоже не связаны между собой. Если вос­пользуемся вторым определением соседства, получим не менее парадоксальную ситуацию: теперь точки и вне и внутри связного контура принадлежат односвязной области. Та же ситуация воз­никает и при третьем определении соседства.

Один из способов устранения этого противоречия состоит в том, чтобы определять по-разному соседство для белых и черных областей, скажем, для белых через стороны, а для черных – че­рез узлы. Но тогда одни и те же операции, выполненные на изо­бражениях, инвертированных друг относительно друга по ярко­сти, могут приводить к различным результатам. Другой способ состоит в выборе типа решетки, не создающего вовсе этой про­блемы. К такому типу относится гексагональная решетка (рис. 7.26, 6). Поэтому ниже будем пользоваться этой решеткой.

Влияние анизотропии дискретного пространства демонстри­рует рис.7.27. Здесь показано поведение функции f(r), вы­численной для объекта, представляющего дискретную аппрокси­мацию равностороннего треугольника на гексагональной решет­ке. В качестве структурного элемента используется дискретный аналог круга радиусом r – гексагон rH, где r – длина стороны гексагона (см. рис. 7.27, а слева). В первом случае (рис. 7.27, а) стороны треугольника параллельны базисным век­торам решетки u₁, u₂ и вектору (u₁+u₂), задающему третье главное направление решетки. Во втором случае (рис. 7.27, б) треугольник повернут на угол 90°.

Рис. 7.27. Влияние ориентации на функцию формы объекта.

Белым обозначены точки, исчезающие на первом шаге ( r = 1 ); светло-серым – на втором ( r = 2); темно-серым – на третьем ( r = 3 ): черным – на четвертом (r = 4)

Эти особенности необходимо учитывать при реализации вве­денных выше морфологических операций в дискретном про­странстве. Существует ряд операций, которые можно определить и в непрерывном пространстве, однако их применение имеет практический смысл только на решетках. Одна из таких опера­ций нам уже известна. Это НМ-преобразование. НМ-преобразование, использующее различные структурные элемен­ты, позволяет выделять особые точки на изображении. Напри­мер, точки разветвления линий на гексагональной решетке могут появляться только в конфигурациях, приведенных на рис. 7.28, причем конфигурации 1–2, 3–8 и 9–14 идентичны с точностью до поворота вокруг центральной точки. Поэтому НМ-преобразование с использованием структурных элементов, построенных на базе конфигураций 1, 3 и 9, позволяет выявить любые точки разветвления.

Рис. 7.28. Конфигурации, соответствующие точкам разветвления

на гексагональной решетке

Вычисление количества связных компонент

Полостями множества X называются связные компоненты множества X^c. На гексагональной решетке количество связных компонент п_c и количество полостей n_h множества X связаны соотношением

, (7.3)

где символом n(*) обозначено количество конфигураций *, встречающихся в множестве X. Если компоненты X не содержат поло­стей, то п_c просто равно их коли­честву, поскольку в этом случае X^c состоит из одной связной компо­ненты и, следовательно, п_h = 1. Но, как мы видели раньше, НМ-преобразование выделяет в исходном множестве точки, окрестность которых совпадает со структурным элементом.

Рис. 7.29. Структурные элементы, используемые для подсчета

связных компонент (точкой обозначено начало)

Используя в НМ-преобразовании структурные элементы, приведенные на рис. 7.29, получим

. (7.4)

Утончение и утолщение

Операция утончения (thinning) определяется как

Y = X  T = X \ (X  T), (7.5)

а операция утолщения (thickenning) – как

Y = X T = X  (X  T), (7.6)

где T=(T₁,T₂) – структурный элемент, состоящий из двух непе­ресекающихся подмножеств T₁ и Т₂.

Отметим, что если начало структурного элемента принадле­жит T₁ , то X  T  X, если же начало принадлежит Т₂, то X  T  X^c. Поэтому в первом случае Y = X T = X при любом Т₂, а во втором – Х О Т = Х при любом T₁. Чтобы избежать получе­ния этих тривиальных результатов, всегда будем полагать, что при выполнении операции утончения (соответственно, утолще­ния) начало структурного элемента не принадлежит Т₂ (соответ­ственно, T₁). Кроме того, можно показать, что (X T)^c = Х^c О Т* где T* = (T₂,T₁). Примеры операций утончения и утолщения при­ведены на рис. 7.30.

Введем последовательность структурных элементов {Тⁱ} и обозначим

Х О {Тⁱ} = (…((Х О Т¹) О Т²)…) О Тⁱ… (7.7)

последовательные утончения и

X {Tⁱ} = (…((X T¹) T²)…) Tⁱ… (7.7')

последовательные утолщения множества X с помощью последовательности структурных элементов {Tⁱ}.

Рис.7.30. Утончение и утолщение:

а – серыми кружками помечено исходное множество; б – черными кружками помечен результат НМ-преобразования посредством структурного элемента T,

а крестиками – результат НМ-преобразования посредством структурного элемента Т* (начало структурно­го элемента – кружок с точкой в центре); в– утончение; г – утолщение

Изучим результат последовательных утончений множества X посредством последовательности структурных элементов {Lⁱ}, , где Lⁱ отличаются друг от друга поворотом вокруг центральной точки (рис. 7.31). На крайнем правом рисунке по­казан установившийся результат последовательных утончений, который при последующих утончениях не изменяется.

Рис. 7.31. Последовательные утончения

Приведенный пример демонстрирует применение операции утончения для построения скелетона (или скелета) множества X. Понятие скелетона (или скелета) достаточно интуитив­но. На этом уровне его иногда пытаются описать с помощью ка­чественной модели «степного пожара». Представим себе степной массив, покрытый сухой травой. Допустим, что одновременно вдоль всей границы массива вспыхивает огонь, распространяю­щийся во всех направлениях с одинаковой скоростью. В первый момент фронт распространения огня совпадает с границей. По мере его распространения различные участки фронта встречают­ся друг с другом и в местах встречи фронтов огонь будет гаснуть. Вот эти места самогашения огня и образуют "скелетон" массива (рис. 7.32).

Для непрерывного двумерного пространства сформулированы следующие свойства точек скелетона множе­ства X :

• если точка x – является точкой скелетона, и B_x – наиболь­ший круг с центром в точке х, содержащийся в X, то невоз­можно найти содержащийся в X больший круг (не обязательно с центром в точке x), содержащий B_x;

• круг B_x касается границы множества X в двух или более точках.

Одно из определений скелетона: скелетон S(X) множества X есть множество центров максимальных кругов, со­держащихся в X. Под максимальным кругом подразумевается круг, касающийся границ множества X в двух или более точках. Рис. 7.33 иллюстрирует это определение.

Рис. 7.32. Формирование линии гашения огня	Рис. 7.33. К определению скелетона. Максимальные круги

Из этого определения (и из рис. 7.33) следует одно замеча­тельное свойство скелетона: если каждой точке скелетона сопос­тавить значение радиуса максимального круга, центром которого она является, то по скелетону можно восстановить множество X , его породившее:

,

где (x) – радиус максимального круга для точки х скелетона, В – круг единичного радиуса. Отметим без доказательства еще од­но важное свойство скелетона: если множество X связно, то его скелетон S(X) тоже является связным множеством.

К сожалению, скелетон множества, заданного на дискретной решетке, только приближенно напоминает скелетон непрерыв­ного множества. Более того, для одного и того же множества ре­зультат построения скелетона посредством последовательных утончений может быть различным в зависимости от порядка структурных элементов в последовательности (топологические свойства скелетона, такие как количество связных компонент, точек разветвления, ветвей, концевых точек и тому подобное при этом сохраняются). Это снова связано с анизотропией дис­кретного пространства. Тем не менее применение дискретного скелетона иногда оказывается чрезвычайно полезным. Так, скелетонизацию часто используют при обработке чертежей или рас­познавании символов для сведения линий к единичной ширине. Построение скелетона фоновой компоненты изображения, со­держащего некоторое множество объектов, позволяет сегменти­ровать его на участки, каждый из которых можно интерпретиро­вать как зону влияния (жизненное пространство) объекта. Ста­тистический анализ размеров, ориентации и количества соседей таких зон применяется при анализе прочностных характеристик материалов, при исследовании поведения популяций микроорга­низмов и развития лесных массивов.

17. Грузман И.С., Киричук В.С., Косых В.П., Перетягин Г.И., Спектор А.А. Цифровая обработка изображений в информационных системах: Учебное пособие.- Новосибисрк: Изд-во НГТУ, 2002.

18. Матерон Ж. Случайные множества и интегральная геометрия. М.: Мир, 1978.

19. Serra J. Image Analysis and mathematical Morphology. – London-New York: Academic Press, 1982.

20. Heijmans H. Mathematical Morphology: Basic Principles. //Proceedings of Summer School on Morphological Image and Signal Processing. – Zakopane, Poland, 1995 (ftp: //ftp.cwi.nl/pub/morphology/report/Heijmans_Zakopane_intro.ps.Z).

21. Soille P. Morphological Image Analysis. – Berlin, Heidelberg, New York: Springer-Verlag, 1999.

22. Пытьев Ю.П. Задачи морфологического анализа изображений. В сб. Математические методы исследования природных ресурсов Земли из космоса. Под ред. В.Г.Золотухина. - М.:Наука 1984

23. Pyt'ev Yu.P. Morphological Image Analysis. - Pattern Recognition and Image Analysis. V.3, No.1, 1993, pp.19-28.

По данной теме предлагается выполнение курсового проекта. Выбранную тематику необходимо согласовать с преподавателем и получить у него задание на проектирование.

Предлагается пройти тест для самоконтроля (Тест 7) на усвоение материала.

8. Цвет и задачи, решаемые с цветным изображением

8.1. Основы цветного зрения

Зрение человека, цветовое восприятие и его особенности

Физические принципы формирования оттенков

8.2. Цветовые модели

Модель RGB

Модели CMY и CMYK

Модели HSV, HLS и HSB

Модель L*a*b*

8.3. Основы цветной печати (цветоделение)

Контраст, детальность, разрешение принтера и частота пространственной дискретизации

Вывод на экран и печать цветных изображений

Глубина цвета

Устройства цветной печати

Разделение цвета

8.4. Краткое содержание темы (слайды)

8.5. Ссылки и литература для дальнейшего изучения

8.6. Курсовое проектирование

8.7. Задание