Лекция1
.pdf
Теория и алгоритмы распознавания образов
Распознавание образов, представленных вектором параметров (многомерный статистический анализ)
x1x2.
x ..xn
В общем случае
образ – это точка в n-мерном линейном пространстве признаков (ПП)
x x 1x2
Самый простой вариант – двумерное пространство параметров: для любых данных его можно наглядно отобразить визуально
Цветом показано
|
относительное |
|
|
количество точек с |
|
Классам соответствуют определенные области в |
каждой парой |
|
значений координат |
||
ПП (в общем случае – произвольной формы) |
||
|
Теория и алгоритмы распознавания образов
Качество результата распознавания будет зависеть от того, насколько точно мы определим границы между классами
Область отказов от распознавания
Пример 1: границы заданы линейными функциями. Желтым обозначены области, точки из которых будут классифицированы неверно
Пример 2: границы заданы эллипсоидами. Желтым обозначены области, точки из которых будут классифицированы неверно
Факторы, от которых зависит точность разделения классов
•Возможность описания классов компактными областями в ПП
•Форма границы
•Положение границы
Область отказов от распознавания
Теория и алгоритмы распознавания образов
Непараметрические методы: границы между классами определяются по крайним точкам обучающих выборок, внутреннее поведение образов не учитывается
Основной подход - линейный дискриминантный анализ (LDA)
Наиболее распространенные алгоритмы построения оптимальных границ классов:
•Метод корректирующих приращений
•Метод потенциальных функций
•Метод опорных векторов (support vector machine – SVM)
|
Основным условием использования LDA является |
|
|
линейная разделимость классов |
|
|
Feature Space – |
|
|
метод задания границ |
|
|
классов |
|
|
непосредственно в |
|
|
пространстве |
|
|
признаков |
|
|
Цветными точками |
|
Метод гиперпараллелепипедов дает лучшие |
показаны обучающие |
|
выборки |
||
результаты в тех случаях, когда каждая пара |
||
|
||
классов разделяется хотя бы по одному признаку |
|
Теория и алгоритмы распознавания образов
Непараметрические методы: линейный дискриминантный анализ (LDA)
Наиболее популярная модификация – метод опорных векторов (Support Vector Machine - SVM)
Какая из линейных разделяющих функций является оптимальной?
При высокой размерности ПП линейная разделимость обычно выполняется. В крайнем случае удаляются «выбросы»
Переход к нелинейным границам: использование ядер
Оптимальное положение разделяющей функции (максимальное расстояние между крайними точками)
Теория и алгоритмы распознавания образов
Разделяющие и решающие функции
Функции, описывающие границы между классами, называют разделяющими функциями или
дихотомиями
Уравнение разделяющей функции для классов Ak и Al в общем случае имеет вид: dkl(x)=0
d12(x)>0 d 12(x)<0
d13(x)>0 |
d23(x)>0 |
|
|
d 13(x)<0 |
d 23(x)<0 |
|
|
Область решений k для каждого из трех |
|
классов (k=1,2,3) может быть описана парой неравенств
Принятие решения о принадлежности
образа классу в непараметрических
методах заключается в проверке принадлежности точки одной из областей, описанных с помощью дихотомий
Решающей функцией rk(x) для k-го класса называется функция, принимающая в области k максимальное (иногда минимальное) значение:
rk (x) max rl (x) x Ak
l
Решающую функцию через разделяющие функции можно выразить так:
dkl(x)=|rk(x)-rl(x)|=0
Принятие решения о принадлежности
образа классу при использовании решающих функций заключается в поиске максимального (минимального) значения rk(x) по всем k.
Теория и алгоритмы распознавания образов
Параметрические методы: границы между классами определяются неявно, через параметры решающих функций
Использование параметрических методов требует учета поведения образов внутри
классов, то есть расчета статистических характеристик
В большинстве параметрических алгоритмов предполагается, что признаки распределены по нормальному закону
Функция плотности нормального (гауссового) распределения с параметрами m=0 и =1
Формула плотности нормального распределения в одномерном случае
|
|
1 |
|
|
|
(x m) 2 |
||
p(x) |
|
|
e |
2 |
2 |
|||
|
|
|
||||||
|
|
|
|
|
|
|
||
|
2 |
|
|
|
||||
Формула плотности нормального распределения в многомерном случае
p(x) |
1 |
e 1/ 2(x m) |
T |
C |
1 |
(x m) |
|
|
|
||||
|
2 n / 2 | C |1/ 2 |
|
|
|
|
|
m – вектор средних значений по координатам xj
C – ковариационная матрица:
C={ jk}, где
|
1 |
N |
N |
|
σ jk |
[(xij - mj )(xik - mk )] |
|||
|
||||
|
N i 1 |
j 1 |
||
Теория и алгоритмы распознавания образов
Метрические классификаторы: используется только вектор средних m, решение о
принадлежности образа x k-му классу принимается по минимуму расстояния (метрики) ||x-mk||
Наиболее распространенные виды метрик
|
|
|
|
|
|
|
n |
|
Евклидово расстояние |
|
x m |
|
|
|
|
(x j |
m j ) |
|
|
|
||||||
|
|
|
|
|
|
|
j 1 |
|
Классы представляют собой гиперсферы одинакового радиуса;
разделяющая функция – гиперплоскость, перпендикулярная линии, соединяющей центры и проходящая через ее середину
При расчетах часто используется квадрат евклидова расстояния
n
Расстояние Хэмминга (манхэттенское расстояние) 
x m
x j m j
j 1
Дает результат, близкий к евклидову расстоянию, но быстрее считается; сейчас используется редко
Расстояние Чебышева x m max x j m j Иногда более эффективно, чем евклидово, |
|
j |
но тоже сейчас используется редко |
|
|
Угловое (косинусное) расстояние || x m || arccos
Классы представляют собой гиперконусы с одинаковыми углами при вершине; разделяющая гиперплоскость проходит через начало координат и середину линии, соединяющей центры
n |
|
xi mi |
|
i 1 |
|
n |
n |
xi2 |
mi2 |
i 1 |
i 1 |
Теория и алгоритмы распознавания образов
Применение метрических классификаторов при тематическом
дешифрировании данных ДЗ
Особенности различных метрик при классификации изображений по |
|||
|
спектральным эталонам |
Угловое расстояние |
|
Евклидово расстояние |
|
||
|
|
||
Выделяет классы, |
Расстояние Чебышева |
Выделяет классы с характерной |
|
|
формой спектральной кривой |
||
пространственно однородные по |
Выделяет классы, имеющие |
||
|
|||
спектральной яркости во всех |
выраженные локальные |
Обладает слабой |
|
каналах |
особенности в отдельных |
чувствительностью к изменению |
|
Метод реализован во всех пакетах |
каналах |
условий освещенности |
|
|
|
||
обработки данных ДЗ |
В универсальных пакетах |
Метод реализован во всех последних |
|
Более пригоден для |
обработки данных ДЗ метод не |
версиях пакетов обработки данных ДЗ |
|
|
|||
раелизован |
|
||
мультиспектральных изображений |
Эффективен для гиперспектральных |
||
|
|||
изображений
Вектор яркостей в ПП, соответствующий спектральному образу пикселя, принято
называть его спектральной сигнатурой
Спектральной сигнатурой класса обычно называют множество спектральных образов, репрезентативно описывающих область данного класса в ПП
Когда классу сопоставляется средняя по выборке сигнатура m, то, фактически, классификация выполняется по принципу сравнения с эталоном
В этом случае можно использовать и заранее заготовленные эталоны (библиотечные спектры), но использование библиотечных спектров требует приведения всех данных к одинаковым единицам измерения
Теория и алгоритмы распознавания образов
Применение метрических классификаторов при тематическом
дешифрировании данных ДЗ
Два спектральных образа песка имеют в каналах 6 и 7 разную яркость, но примерно одинаковое соотношение между яркостными координатами
Средняя яркость растительности и почвы в каналах 4 и 5 примерно одинакова, но соотношение между яркостными координатами заметно отличается
Сравнение по угловому расстоянию позволяет различать спектральные образы по форме, сравнение по евклидовой метрике – по средней (интегральной) яркости
Теория и алгоритмы распознавания образов
Параметрические статистические классификаторы «Проклятие размерности»
Реальные классы дешифрируемых объектов чаще всего имеют различный уровень однородности по каналам, что выражается в различной форме и ориентации эллипсоидов рассеяния
Общим и основным достоинством непараметрических и метрических классификаторов являются относительно
небольшие размеры выборок для
описания положения классов в ПП
Основной проблемой использования статистических классификаторов является катастрофически быстрый рост размера статистической выборки для расчета ковариационной матрицы с увеличением размерности ПП
Пример: чтобы восстановить вероятностное распределение одномерной бинарной случайной величины с точностью 0.01, требуется 2 100 измерений.
Для 10-мерной бинарной случайной величины потребуется уже 210 100=105 измерений. Эта проблема
встречается во многих математических приложениях и получила название «проклятия размерности»
Применение статистических классификаторов неразрывно связано с проблемой снижения размерности данных