Лекция4
.pdf
Теория и алгоритмы распознавания образов
Выбор признаков. Корреляционный анализ данных
Обоснование методологии
Любые два набора синхронно выполненных измерений можно рассматривать как две реализации X и Y нормально распределенных случайных величин и
Задача корреляционного анализа: определить, существует ли между этими величинами взаимозависимость, то есть приводит ли изменение одной величины к изменению другой
Наиболее часто рассматривается линейная статистическая взаимосвязь, которая математически описывается коэффициентом корреляции Пирсона:
|
|
1 |
N |
|
|
|
|
(xi |
x)( yi |
y) |
|
xy |
|
|
|||
N i 1 |
|
|
|||
|
|
|
|
||
x y
N - общее число измерений
Величина, стоящая в числителе, называется ковариацией или корреляционным моментом
Нормирование на среднеквадратические отклонения x, y необходимо для того, чтобы коэффициент корреляции был безразмерной величиной, поскольку X и Y могут быть измерены в разных единицах
Коэффициент корреляции изменяется в диапазоне [-1,1]. Если xy=0, то говорят,
что и статистически независимы
Теория и алгоритмы распознавания образов
Выбор признаков. Корреляционный анализ данных
Проявление корреляции пар каналов при анализе мультиспектральных и гиперспектральных изображений
Изображение с аппаратуры |
|
|
OLI (Landsat-8) |
Сильная корреляция |
|
Естественные цвета |
||
|
Канал 1 |
Канал 2 |
Проекция ПП |
Слабая корреляция
Изображения в сильно коррелированных каналах практически не различимы
Использование двух таких каналов одновременно не дает никакой дополнительной информации
Канал 5 |
Канал 7 |
Проекция ПП |
Теория и алгоритмы распознавания образов
Выбор признаков. Корреляционный анализ данных
Проявление корреляции пар каналов при анализе мультиспектральных и гиперспектральных изображений
Что же такое «сильная корреляция» в количественном выражении?
В ортогональном базисе линейного векторного пространства ( =90 ) все точки распределяются равномерно
Если все точки группируются в каком-то направлении, естественно предположить,
что базис не ортогонален
( 90 )
Поскольку коэффициент корреляции принимает значения -1 1 и при =0
случайные величины статистически независимы, коэффициент корреляции можно рассматривать как косинус угла между единичными векторами базиса линейного пространства:
cos 90 =0 (статистическая независимость), cos 0 =1 (X и Y абсолютно одинаковы), cos 180 =-1 (строго отрицательная корреляция – «позитив-негатив»)
О сильной корреляции в статистических исследованиях обычно говорят в тех случаях, когда <45 ,
то есть = cos >0.7
При = cos <0.7 ( >45 ) обычно говорят о «тенденции к зависимости», то есть взаимосвязь считается слабой
Все каналы видимого диапазона сильно коррелированы, иначе мы не могли бы
получать в нем информативные черно-белые снимки
Теория и алгоритмы распознавания образов
Выбор признаков. Корреляционный анализ данных
Проявление корреляции пар каналов при анализе мультиспектральных и гиперспектральных изображений
При тематической классификации гиперспектральных изображений отбор каналов является одной из наиболее актуальных задач
Фрагмент изображения с аппаратуры Hyperion (EO-1)
RGB-композиция трех соседних каналов
Внизу – проекции этих пар каналов в ПП
Коэффициенты парной корреляции:
12=0,9977, 13=0,9966, 23=0,998
RGB-композиция в естественных цветах (красный, зеленый, голубой каналы)
Внизу – проекции этих пар каналов в ПП
Коэффициенты парной корреляции:
12=0,935, 13=0,8586, 23=0,977
Для гиперспектральных изображений значение <0.99 свидетельствует о наличии в паре каналов
значительного количества информации
Теория и алгоритмы распознавания образов
Выбор признаков. Корреляционный анализ данных
Корреляционная матрица
Матрица размерности n n, составленная из коэффициентов парной корреляции между n признаками, называется корреляционной матрицей: R={ jk}, j,k=1,…,n
|
1 |
0.95 |
0.83 |
0.1 |
|
|
0.95 |
1 |
0.6 |
0.45 |
|
|
|
||||
|
0.83 |
0.6 |
1 |
0.3 |
|
|
|
|
|
|
|
|
0.1 |
0.45 |
0.3 |
1 |
|
|
|
||||
Пример корреляционной матрицы для четырех признаков (n=4)
Свойства корреляционной матрицы
jj=1, jk= kj
Расчет корреляционной матрицы
Матрица исходных данных
Признаки |
x01 |
x02 |
. . . |
x0n |
|
Образы |
|||||
|
|
|
|
|
|
1 |
0 |
0 |
. . . |
0 |
|
x 11 |
x 12 |
x 1n |
|||
|
|
||||
2 |
0 |
0 |
. . . |
0 |
|
x 21 |
x 22 |
x 2n |
|||
|
|
||||
. |
. |
. |
. . . |
. |
|
. |
. |
. |
. . . |
. |
|
. |
. |
. |
. . . |
. |
|
|
|
|
|
|
|
N |
0 |
0 |
. . . |
0 |
|
x N1 |
x N2 |
x Nn |
|||
|
|
1.Составляется таблица – матрица исходных данных X0 из N образов. Каждая строка матрицы
– значения признаков для i-го образа (i=1,…,N).
В результате мы имеем для каждого столбца-признака набор из n синхронных измерений
Теория и алгоритмы распознавания образов
Выбор признаков. Корреляционный анализ данных
Расчет корреляционной матрицы
Нормализованная матрица данных
Признаки |
x1 |
x2 |
. . . |
xn |
Образы |
||||
1 |
x11 |
x12 |
. . . |
x1n |
|
|
|||
2 |
x21 |
x22 |
. . . |
x2n |
|
|
|||
. |
. |
. |
. . . |
. |
. |
. |
. |
. . . |
. |
. |
. |
. |
. . . |
. |
|
|
|
|
|
N |
xN1 |
xN2 |
. . . |
xNn |
|
|
Свойства нормализованной матрицы данных
mj=0, j=1 j=1,…,n
Коэффициент корреляции jk для любой пары столбцов xj,xk нормализованной матрицы рассчитывается как нормированное к N скалярное произведение:
ρ jk N1 (x j , xk )
1.Нормализация исходной матрицы X0 :
каждый элемент нормализованной матрицы X рассчитывается по формуле:
x0 m
xij ij j
j
mj – среднее значение по столбцу x0j:
|
1 |
N |
|
m j |
xij |
||
|
|||
|
N i 1 |
||
j – среднеквадратическое отклонение по столбцу x0j:
|
1 |
N |
|
j |
(xij m j )2 |
||
N |
|||
|
i 1 |
Теория и алгоритмы распознавания образов
Сокращение размерности ПП. Факторный анализ
Если образы сосредоточены вдоль какого-то направления в ПП, имеет смысл заменить исходные признаки их линейной комбинацией:
f=c1x+c2y
Векторы нового сокращенного базиса должны располагаться так, чтобы минимизировать потерю информации
Новые признаки f называют факторами, а методологию их определения – факторным анализом
Анализ главных компонент
Важно: математическая постановка задачи рассматривается на нормализованных признаках
Каждый исходный нормализованный признак xj может быть записан в новой системе координат размерности m<n в виде:
m |
|
|
|
x j ij fi |
j |
||
i 1 |
|
|
|
|
|
|
|
|
|
|
Характерный фактор |
Факторные нагрузки |
|
|
|
|
|
(вектор потерь) |
|
|
|
|
|
|
|
||
|
|
|
|
Теоретически доказано, что минимизация потерь ( min( j, j) ) обеспечивается, когда факторные нагрузки максимальны
Кроме минимизации потерь, требуется |
|
0, j k |
||
|
(f j |
|
|
|
еще статистическая независимость новых |
,f k ) |
1 |
, j k |
|
признаков: |
|
|
|
|
|
|
|
||
|
N |
|
||
Теория и алгоритмы распознавания образов
Сокращение размерности ПП. Анализ главных компонент (PCA)
Решение задачи главных компонент сводится к определению собственных векторов и
собственных чисел матрицы корреляции между исходными признаками, то есть к решению уравнения R=I
Направления собственных векторов соответствуют направлениям наибольшего
разброса диаграммы рассеяния образов в ПП, а собственные числа j – дисперсиям по этим направлениям
Если j располагаются в порядке убывания их значений, то первые m собственных векторов будут единичными векторами нового базиса (главными компонентами)
Простой способ расчета первой главной компоненты
Возьмем любой вектор длины 1 и представим его в виде разложения по базису:
n
x a j x j
j 1
Перемножим это разложение с уравнением R=I k раз:
n
Rk x kj a j x j k1a1x1 k2 a2 x2 ... kn an xn j 1
Вынесем за скобку в правой части 1k и посмотрим, что получится, если упорядочены по убыванию:
R k x k |
(a x |
|
|
k2 |
a |
|
x |
|
... |
kn |
a |
|
x |
|
) |
|
1 |
|
2 |
2 |
|
n |
n |
||||||||||
1 |
1 |
|
k1 |
|
|
|
k1 |
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
После каждого умножения этот вектор делят на его |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Эти величины стремятся к 0 при k |
|||||||
текущую длину, чтобы он оставался единичным |
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Теория и алгоритмы распознавания образов
Сокращение размерности ПП. Анализ главных компонент (PCA)
Анализ главных компонент в пакетах обработки данных ДЗ
Особенности:
•Приоритет отдается условию ортогональности
•Вместо корреляционной может использоваться ковариационная матрица
(соответствующее уравнение: C=V V-1, где V – матрица координат собственных векторов )
Порядок расчетов:
1.Преобразование корреляционной (ковариационной) матрицы к диагональному виду
2.Упорядочение по убыванию значений
3.Выбор первых m информативных компонент
Анализ главных компонент для мультиспектральных снимков не очень эффективен, поскольку при выборе спектральных диапазонов на этапе проектирования аппаратуры одним из требований является минимальная корреляция
PCA – преобразование снимка с Lansat-8: в 7-й компоненте уже нет никакой информации
Теория и алгоритмы распознавания образов
Сокращение размерности ПП. Анализ главных компонент (PCA)
Анализ главных компонент в пакетах обработки данных ДЗ
Результат PCA преобразования зависит от характера диаграммы рассеяния образов в ПП, следовательно, от содержания сцены
Исходное изображение |
PCA: R=3, G=2, B=1 |
PCA: R=6, G=5, B=4 |
Слева – PCA фрагмента 1, справа – PCA фрагмента 2
R=3, G=2, B=1 |
R=6, G=5, B=4 |
R=3, G=2, B=1 |
R=6, G=5, B=4 |