- •Раздел II. Распознавание образов Введение
- •Глава 1. Общие основы теории распознавания образов
- •1.1. Основные понятия теории распознавания образов
- •1.2. Основные задачи, возникающие при разработке систем распознавания образов
- •1.3. Основные принципы построения систем распознавания
- •1. Принцип перечисления членов класса
- •2. Принцип общности свойств
- •3. Принцип кластеризации
- •1. Эвристические методы
- •2. Математические методы
- •3. Лингвистические (синтаксические) методы
- •Глава 2. Решающие функции
- •2.1. Общие понятия
- •2.2. Линейные решающие функции
- •Глава 3. Классификаторы образов с самообучением
- •3.1. Классификация образов с помощью функций расстояния
- •3.2. Классификация образов по критерию минимума расстояния
- •1. Случай единственности эталона
- •2. Множественность эталонов
- •3.3. Обобщение принципов классификации по минимуму расстояния
- •Глава 4. Распознавание образов с помощью кластеров
- •4.1. Основные понятия кластерного анализа
- •4.2. Расстояние между образами и мера близости
- •4.3. Расстояние между кластерами
- •4.4. Функционалы качества разбиения
- •4.5. Иерархические процедуры
- •4.6. Эвристические методы и алгоритмы
- •4.7. Алгоритм k – внутригрупповых средних
- •Глава 5. Обучаемые классификаторы образов. Детерминистский подход
- •5.1. Классификация образов с помощью персептронного подхода
- •5.2. Принцип подкрепления - наказания
- •5.3. Сходимость принципа подкрепления - наказания
- •5.4. Обобщение алгоритма персептрона для классификации нескольких классов
- •Глава 6. Распознавание образов на основании метода потенциальных функций
- •6.1. Получение решающих функций
- •6 .2. Выбор потенциальных функций
- •6.3. Сходимость алгоритмов обучения
- •6.4. Обобщение алгоритма метода потенциальных функций на несколько классов
- •Глава 7. Структурное распознавание образов Введение
- •7.1. Синтаксический подход к распознаванию образов
- •7.2. Система синтаксического распознавания образов
- •7.3. Методы предварительной обработки
- •1. Кодирование и аппроксимация
- •2. Фильтрация, восстановление и улучшение
- •3. Сглаживание
- •4. Сегментация
- •7.4. Языки описания образов
- •1. Выбор непроизводных элементов
- •2 Выделение непроизводных элементов на границах
- •Задание для самостоятельной работы
- •7.5. Языки и порождающие грамматики
- •7.6. Обработка изображений
- •1. Классы изображений
- •2. Ввод изображений
- •3. Преобразование изображений
- •Литература
Глава 1. Общие основы теории распознавания образов
1.1. Основные понятия теории распознавания образов
Определение 1. Под классом образов понимается некоторая категория, определяющаяся рядом свойств, общих для всех ее элементов.
Определение 2. Образ – это описание любого элемента как представителя соответствующего класса образов.
В случае, когда множество образов разделяется на непересекающиеся классы, желательно использовать для отнесения этих образов к соответствующим классам какое-либо автоматическое устройство. Считывание и обработка погашенных банковских чеков являются примером задачи распознавания образов. Подобные задачи могут выполняться и людьми; машина, однако, справляется с ними намного быстрее. С другой стороны, некоторые задачи распознавания таковы, что человек едва ли в состоянии решать их. Примером задач такого рода служит выделение из множества морских сигналов и шумов тона подводной лодки посредством анализа подводных звуковых сигналов.
Очевидное, но совсем уж "бесхитростное" решение задачи распознавания заключается в применении к отдельным предъявленным образам ряда простых тестов для выделения признаков каждого класса. Совокупность этих тестов должна различать все допустимые образы из разных классов.
Например [1] , рассмотрим пять английских букв: «COINS». Эти буквы можно классифицировать, применив тесты на наличие таких признаков, как замкнута кривая, изгиб, двойной изгиб, вертикальный отрезок, короткий отрезок. Если следовать такому интуитивному подходу, то построение автоматической системы распознавания образов может показаться довольно простой задачей. Не существует, однако, общей теории, позволяющей определить, какие из всего множества мыслимых тестов следует применить к предъявленным образам. Очень ограниченное количество или небрежный выбор тестов не дадут возможности получить характеристики предъявленных для распознавания образов, достаточные для отнесения их к соответствующим классам. Слишком много тестов, с другой стороны, необоснованно усложняют вычисления, осуществляемые в процессе дальнейшего анализа. Отсутствует какое-либо общее правило для получения неких ориентиров, способствующих определению набора таких тестов. Подобный подход чрезмерно зависит от опыта и технической интуиции разработчика и поэтому часто не дает удовлетворительного решения задач распознавания образов, встречающихся в практической деятельности.
1.2. Основные задачи, возникающие при разработке систем распознавания образов
Задачи, возникающие при построении автоматической системы распознавания образов, можно обычно отнести к нескольким основным областям.
Первая из них связана с представлением исходных данных, полученных как результаты измерений для подлежащего распознаванию объекта. Это проблема чувствительности. Каждая измеренная величина является некоторой характеристикой образа или объекта. Допустим, например, что образами являются буквенно-цифровые символы. В таком случае в датчике может быть успешно использована измерительная сетка. Если сетка состоит из п элементов, то результаты измерений можно представить в виде вектора измерений или вектора образа
,
(1.1)
где
каждый элемент
принимает, например, значение 1, если
через i-ю
ячейку
сетки проходит изображение символа, и
0 в противном случае. В последующем
изложении будем называть векторы образов
просто образами в тех
случаях, когда это не приводит к изменению
смысла.
Векторы
образов содержат всю поддающуюся
измерению
информацию об образах. Процесс измерения,
которому подвергаются объекты
определенного
класса образов, можно рассматривать
как
процесс кодирования, заключающийся в
присвоении каждой характеристике
образа символа из множества элементов
алфавита
.
Когда
измерения
приводят к информации, представленной
действительными числами,
оказывается полезным рассматривать
векторы образов в качестве
точек n-
мерного пространства измерений.
Соответствующий простой
пример приведен на рисунке 1.1. для случая
двух классов, обозначенных
и
.
В
этом примере предполагается, что классы
и
представляют
соответственно
группы футболистов-профессионалов и
жокеев. Каждый "образ"
характеризуется результатом двух
измерений: ростом и весом. Векторы
образов имеют, следовательно, вид
,
где параметр
-
рост, а параметр х2
- вес.
Каждый вектор образа можно считать
точкой двумерного пространства.
Как следует из рисунка 1.1, эти два класса
образуют непересекающиеся
множества, что объясняется характером
измерявшихся параметров.
Рис.1.1. Два класса, образующие непересекающиеся множества
В практических ситуациях, однако, далеко не всегда удается выбрать измеряемые параметры так, чтобы получить строго непересекающиеся множества. В частности, если в качестве критериев разбиения выбран рост и вес, может наблюдаться существенное пересечение классов, представляющих профессиональных футболистов и баскетболистов.
Вторая задача распознавания образов связана с выделением характерных признаков или свойств из полученных исходных данных и снижением размерности векторов образов. Эту задачу часто определяют как задачу предварительной обработки и выбора признаков.
Признаки классов образов представляют собой характерные свойства, общие для всех образов данного класса. Признаки, характеризующие различия между отдельными классами, можно интерпретировать как межклассовые признаки. Внутриклассовые признаки, общие для всех рассматриваемых классов, не несут полезной информации с точки зрения распознавания и могут не приниматься во внимание. Выбор признаков считается одной из важных задач, связанных с построением распознающих систем. Если результаты измерений позволяют получить полный набор различительных признаков для всех классов, собственно распознавание и классификация образов не вызовут особых затруднений. Автоматическое распознавание тогда сведется к процессу простого сопоставления или процедурам типа просмотра таблиц. В большинстве практических задач распознавания, однако, определение полного набора различительных признаков оказывается делом исключительно трудным, если вообще не невозможным. К счастью, из исходных данных обычно удается извлечь некоторые из различительных признаков и использовать их для упрощения процесса автоматического распознавания образов. В частности, размерность векторов измерений можно снизить с помощью преобразований, обеспечивающих минимизацию потери информации.
Третья задача, связанная с построением систем распознавания образов, состоит в отыскании оптимальных решающих процедур, необходимых при идентификации и классификации. После того, как данные, собранные о подлежащих распознаванию образах, представлены точками и векторами измерений в пространстве образов, предоставим машине выяснить, какому классу образов эти данные соответствуют.
Пусть
машина предназначена для различения М
классов,
обозначенных
.
В
таком случае, пространство образов
можно считать состоящим
из М
областей,
каждая из которых содержит точки,
соответствующие
образам одного класса. При этом задача
распознавания может
рассматриваться как построение границ
областей решений, разделяющих
М классов, исходя из зарегистрированных
векторов измерений. Пусть
эти границы определены, например,
решающими функциями
.
Эти
функции, называемые также дискриминантными
функциями,
представляют собой скалярные и однозначные
функции образа х.
Если
для всех
,
то
образ х
принадлежит классу
.
Другими
словами, если i-я
решающая
функция
имеет наибольшее
значение, то
.
Решающие функции можно получать целым рядом способов. В тех случаях, когда о распознаваемых образах имеются полные априорные сведения, решающие функции могут быть определены точно на основе этой информации. Если относительно образов имеются лишь качественные сведения, могут быть выдвинуты разумные допущения в виде решающих функций. В последнем случае границы областей решений могут существенно отклоняться от истинных, и поэтому необходимо создавать систему, способную приходить к удовлетворительному результату посредством ряда корректировок. Но, как правило, мы обладаем лишь немногочисленными (если они вообще имеются!) априорными сведениями о распознаваемых образах. В этих условиях при построении распознающей системы лучше всего использовать обучающую процедуру. На первом этапе выбираются произвольные решающие функции и затем в процессе выполнения итеративных шагов обучения эти решающие функции доводятся до оптимального либо приемлемого вида. Классификацию объектов с помощью решающих функций можно осуществлять самыми различными способами. Существуют детерминистские и статистические алгоритмы нахождения решающих функций.
Решение задачи предварительной обработки и выделения признаков, задачи получения оптимального решения и классификации обычно связано с необходимостью оценки и оптимизации ряда параметров. Это приводит к задаче оценки параметров. Кроме того, понятно, что и процесс выделения признаков, и процесс принятия решений могут быть существенно усовершенствованы за счет использования информации, заключенной в контексте объектов. Информация, содержащаяся в контексте, может быть измерена с помощью условных вероятностей, лингвистических статистик и близких вариантов. В некоторых приложениях просто необходимо использовать контекстуальную информацию для точного распознавания. В частности, полная автоматизация распознавания речи возможна только при наличии контекстуальной и лингвистической информации, дополняющей информацию, содержащуюся в записи звуковых сигналов речи. По аналогичным причинам крайне желательно привлечение контекстуальной информации при распознавании скорописи и классификации отпечатков пальцев. Пытаясь построить распознающую систему, устойчивую по отношению к помехам, способную справиться с существенными отклонениями распознаваемых объектов и обладающую способностью к самонастройке, мы встречаемся с задачей адаптации [1].
Объекты (образы), подлежащие распознаванию и классификации с помощью автоматической системы распознавания образов, должны обладать набором измеримых характеристик. Когда для целой группы образов результаты соответствующих измерений оказываются аналогичными, считается, что эти объекты принадлежат одному классу. Цель работы системы распознавания образов заключаются в том, что на основе собранной информации определить класс объектов с характеристиками, аналогичными измеренным у распознаваемых объектов. Правильность распознавания зависит от объема различающей информации, содержащейся в измеряемых характеристиках, и эффективности использования этой информации. Если бы мы были в состоянии измерить все возможные характеристики и обладали неограниченным временем для обработки собранной информации, то можно было бы достичь вполне адекватного уровня распознавания, используя самые примитивные методы. В обычной практике, однако, ограничения по времени, пространству и затратам требуют развития реалистичных подходов.
