Лекция3 (1) [другая]
.pdf
Теория и алгоритмы распознавания образов
Статистическая классификация
Байесовское решающее правило. Теоретическое обоснование метода
|
|
|
Применение статистических методов |
|
|
|
|
|
требует наличия репрезентативной |
|
|
|
|
|
выборки по каждому классу |
|
|
|
|
|
|
|
|
|
Простейший случай: один признак x, два класса с |
||||
|
функциями плотности распределения f1(x), f2(x) |
||||
|
|
|
- область значений признака x |
||
|
|
|
Вероятность появления любого значения x |
||
|
|
|
отлична от нуля на всей области как для |
||
|
|
|
первого, так и для второго класса |
||
|
|
|
x0 – точка, разделяющая на области |
||
|
|
|
принятия решения в пользу классов 1 и 2 |
||
- ошибка первого рода для класса 1 (ошибка |
|
|
|
|
|
|
|
Задача: каким условиям должна |
|
|
|
второго рода для класса 2) |
|
|
|
||
- ошибка второго рода для класса 1 (ошибка |
|
|
удовлетворять точка x0, чтобы при |
|
|
|
|
многократном принятии решения |
|
|
|
первого рода для класса 2) |
|
|
|
||
|
|
алгоритмом распознавания средняя |
|
|
|
Полная вероятность ошибки p( + ) определяется |
|
|
|
||
|
|
ошибка была минимальной? |
|
|
|
всей закрашенной областью |
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
Теория и алгоритмы распознавания образов
Статистическая классификация
Байесовское решающее правило. Теоретическое обоснование метода
4 ситуации при принятии решения:
1. Верное решение - класс 1, и мы попали в 1
2. Верное решение - класс 1, а мы попали в 2
3. Верное решение – класс 2, а мы попали в 1
4. Верное решение – класс 2, и мы попали в 2
Условная плата за каждое решение:
С11 
С12 
С21 
С22
ошибки
Средняя условная плата при многократном принятии решения называется
средним риском
Средний риск R для четырех рассмотренных ситуаций рассчитывается по формуле:
Rri pi
i14
ri – условная плата в i-м случае, pi – полная вероятность такого случая
Теория и алгоритмы распознавания образов
Статистическая классификация
Байесовское решающее правило. Теоретическое обоснование метода
В общем случае вероятность появления классов 1
и 2 может быть различной (например, при различном
соотношении площадей под разными типами земельных угодий на снимке)
P1, P2 – априорные вероятности появления классов 1 и 2 соответственно
Тогда для каждой ситуации значение pi рассчитывается по формуле:
pi P(i) f(i) (x)dx
( i )
i=(1,1), (1,2), (2,1), (2,2),
(i)=1,2
Математическое выражение для полного среднего риска:
|
x0 |
|
x0 |
|
||||||
R c11P1 f1 (x)dx c12 P1 |
f1 (x)dx c21P2 |
f2 (x)dx c22 P2 |
f2 (x)dx |
|||||||
|
|
x0 |
|
x0 |
||||||
|
|
|
|
|
|
|
|
|
|
|
Теперь осталось определить, при каком условии в точке x0 значение R будет минимально
Теория и алгоритмы распознавания образов
Статистическая классификация
Байесовское решающее правило. Теоретическое обоснование метода
Условие минимума R в точке x0:
dR |
|
0 |
|
|
|
||
dx |
|||
|
x x0 |
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x0 |
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
Вспомним, что |
|
|
|
f (x)dx 1. Тогда если f (x)dx , |
то |
f (x)dx 1 |
|
||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x0 |
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
d 1 |
|
|
|
|
|
|
d (1 1 ) |
|
|
|
|
d 2 |
|
|
|
|
|
|
|
|
d (1 2 ) |
|
|
|
|
|||||||||||
|
dR |
|
|
|
c11P1 |
|
|
|
c12 P1 |
|
|
|
c21P2 |
|
c22 P2 |
|
|
|||||||||||||||||||||||||
|
dx |
|
x x0 |
|
dx |
|
x x0 |
|
dx |
|
|
x x0 |
dx |
|
|
x x0 |
|
dx |
|
|
|
x x0 |
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
c11P1 f1 (x) c12 P1 f1 (x) c21P2 f2 (x) c22 P2 f2 (x) 0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Пусть с11=с22=0, а с12=с21=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
Получаем следующее условие для точки x0: |
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||
|
|
|
|
|
|
P1 f1 (x) |
|
|
1 |
|
В логарифмической форме: |
ln |
|
|
P1 f1 |
(x) |
0 |
|
|
|
|
|
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
P2 f2 |
(x) |
|
|
|
|
|
||||||||||||||||||
|
|
|
|
|
|
P f |
2 |
(x) |
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
Область : |
P f |
1 |
(x) P f |
2 |
(x) |
|
|
Область : |
P f |
2 |
(x) P f (x) |
|
||||||||||||||||||||||||||||||
|
|
|
|
|
1 |
|
1 |
|
|
|
|
|
2 |
|
|
|
|
|
2 |
2 |
|
|
|
|
|
1 |
1 |
|
|
|
|
|||||||||||
Теория и алгоритмы распознавания образов
Статистическая классификация
Байесовское решающее правило. Теоретическое обоснование метода
Выражение |
P1 f1 (x) |
1 называется отношением правдоподобия, |
P2 f2 (x) |
||
а функции P1 f1 (x) и |
P2 f 2 (x) называются функциями правдоподобия |
|
Функции правдоподобия являются решающими функциями, а отношение правдоподобия определяет разделяющую функцию для пары классов
Все полученные результаты справедливы и для многомерного случая
Случай K классов
Решающая функция для класса Ak k=1,…,K может быть выражена формулой Байеса:
p(Ak /x) |
Pk p(x/Ak ) |
N |
|
|
Pi p(x/Ai ) |
|
i 1 |
p(Ak/x) определяет долю точек с конкретным вектором значений x в k-м классе и называется апостериорной вероятностью появления класса Ak
Решение принимается в пользу того класса, для которого функция правдоподобия максимальна, отсюда название алгоритма – максимум правдоподобия (maximum likelihood – ML)
Теория и алгоритмы распознавания образов
Статистическая классификация в тематическом дешифрировании данных ДЗ
Байесовское решающее правило в случае нормального распределения
значений признака
Плотность нормального распределения в многомерном случае
p(x) |
1 |
e1/ 2(x m) |
T |
C |
1 |
(x m) |
|
|
|
||||
|
2 n / 2 | C |1/ 2 |
|
|
|
|
|
m – вектор средних значений по координатам xj, C – ковариационная матрица
Величина 12 (x m)T C 1 (x m) называется расстоянием Махаланобиса
Расстояние Махаланобиса – безразмерная величина и измеряется относительно среднеквадратического отклонения : для сечения p(x) на уровне 1 =1
|
Расстояние Махаланобиса используется |
|
|
как метрический классификатор в случае |
|
Пример классификации по расстоянию |
разных ковариационных матриц C и |
|
Махаланобиса: точка x отнесена к классу 1, хотя |
существенно различающихся центров m |
|
по евклидову расстоянию относится к классу 2 |
||
|
Теория и алгоритмы распознавания образов
Статистическая классификация в тематическом дешифрировании данных ДЗ
Байесовское решающее правило в случае нормального распределения
значений признака
Решающая функция для k-го класса обычно записывается в логарифмической форме:
ln(rk (x)) 1/2(x - mk )T C-k1 (x - mk ) lnPk (1/2)ln | Ck |
Поскольку это значение отрицательно, на практике используют расстояние между
образом и классом:
Dk (x) ln(1/rk (x)) 1/2(x - m k )T C-k1 (x - m k ) - lnPk (1/2)ln | Ck |
В отличие от расстояния Махаланобиса байесовское правило (максимум правдоподобия) позволяет различать классы с близко расположенными центрами, если их ковариационные матрицы существенно отличаются
В общем случае границы между классами – гиперповерхности второго порядка
При равных ковариационных матрицах они вырождаются в гиперплоскости
Теория и алгоритмы распознавания образов
Статистическая классификация
Байесовское решающее правило. Достоинства и недостатки метода.
В общем случае правило Байеса позволяет разделять классы с произвольными функциями распределения признака
Областей решения для каждого класса может быть несколько
Недостатки:
•большой объем обучающих данных
•крайние точки относятся к классу с самой
большой дисперсией
Изображение с аппаратуры |
Классификация на 12 классов |
Классификация на 12 |
|
по расстоянию Махаланобиса |
классов по максимуму |
||
OLI (Landsat-8) |
|||
|
правдоподобия |
||
|
Класс городской застройки |
||
Естественные цвета |
(байесовское |
||
(розовый цвет) поглотил все |
|||
|
решающее правило) |
||
|
остальные классы |
||
|
|
Иллюстрация преимущества байесовского правила перед расстоянием Махаланобиса при контролируемой классификации изображения OLI на 12 классов
Теория и алгоритмы распознавания образов
Статистическая классификация в тематическом дешифрировании данных ДЗ
Байесовское решающее правило в случае нормального распределения
значений признака Особенности практического использования
|
|
|
|
|
|
|
|
|
|
|
Все Pk |
при классификации изображений по |
|
|
|
|
Нарушение гипотезы о нормальном распределении |
|
|
|
|
|
|
при смещении обучающей выборки может приводить |
|
||||
|
байесовскому правилу обычно принимаются |
|
|
|
|
|
|||
|
|
|
|
к дополнительным ошибкам |
|
||||
|
|
одинаковыми |
|
|
|
|
|
||
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Это позволяет лучше выделять |
|
|
|
|
|
|
|
|
|
однородные классы, |
|
|
|
|
|
|
|
|
|
занимающие небольшую |
|
|
|
|
|
|
|
|
|
площадь на снимке |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Теория и алгоритмы распознавания образов
Обучение статистических классификаторов при автоматизированном дешифрировании данных ДЗ
От качества обучающих данных в значительной степени зависит итоговая точность распознавания
Основные требования
1.Тестовый участок должен быть типичен для выделяемого класса
2.Выборка образов должна быть распределена по нормальному закону
3.Выборка должна быть репрезентативной ( не меньше 100 образов)
4.Эталоны классов должны разделяться в ПП с максимально высокой точностью, так как итоговая точность классификации всего массива данных обычно оказывается ниже
Классификация с обучением обычно выполняется при наличии данных наземных обследований
В хорошо спланированном эксперименте контрольные точки распределяются на большой площади (с шагом в несколько пикселей в зависимости от пространственного разрешения изображений и типа классифицируемых объектов)
Общее количество точек – от 100 до 200
При наличии технических возможностей на тестовых объектах должно быть выполнено полевое спектрометрирование
При отсутствии такой возможности должна быть обеспечена идентичность тематической интерпретации контрольных точек