5. Преобразование признакового пространства на основе линейного дискриминанта Фишера
Можно улучшить качество классификации в методе линейного дискриминанта Фишера, если для распознавания применять не один, а большее число признаков, найденных, как ортогональные весовые векторы в пространствах меньшей размерности с помощью критерия Фишера.
Можно вывести формулу для рекуррентного вычисления
дополнительных ортогональных весовых векторов. |
|
|||||||
Для |
исходного n-мерного |
признакового пространства |
формулу |
|||||
W S 1(M M |
2 |
), можно переписать в виде |
|
|
||||
W |
1 |
|
|
|
|
|
|
|
|
|
|
W S 1(m1 |
m2 |
n |
) . |
(1) |
|
|
|
|
n n |
n |
|
|
|
|
Спроектируем все данные на плоскость перпендикулярную Wn . Тогда на этой плоскости, которая является (n-1)-мерным признаковым пространством, можно найти наилучший весовой вектор, используя критерий Фишера.
x2
ω2
ω1 |
|
|
X1(1) |
|
m |
|
|
2 |
|
y(1) |
m1 m2 |
|
|
|
W |
1 m1 |
|
x1
Рис. 11..15. Определение проекций объектов двух классов на прямую, продолжающую вектор W
Очевидно, что на этой плоскости мы имеем:
W |
S 1 |
(m1 |
m2 |
n 1 |
) , |
(2) |
n 1 |
n 1 |
n 1 |
|
|
|
где
m1n 1 m1n m1n Wn m1n WnT m1n Wn ,
m2n 1 m2n m2n Wn m2n WnT m2n Wn ,
m1 |
m2 |
n 1 |
m1 |
m2 |
n |
W T (m1 |
m2 )W . |
(3) |
n 1 |
|
n |
|
n n |
n n |
|
Получаем новые векторы:
При вычислении Sn11 обращаемая матрица может оказаться вырожденной. В этом случае вместо вычисления явной обратной матрицы можно вычислять псевдообратную матрицу (по методу наименьших квадратов).
Sn 1 S1n 1 S2n 1 , |
(4) |
S1n 1 (Xn 1 m1n 1 )(Xn 1 m1n 1 )T ,
x 1
где
Xn 1 m1n 1 (Xn WnT Xn Wn ) (m1n WnT m1n Wn )
(Xn m1n ) WnT (Xn m1n )Wn ,
S1n 1 [(Xn m1n ) Wn T (Xn m1n )Wn ][(Xn m1n ) Wn T (Xn m1n )Wn ]T
x 1
[(Xn m1n )(Xn m1n )T Wn T (Xn m1n )Wn (Xn m1n )T
x 1
(Xn m1n )Wn T (Xn m1n )Wn T B],
где
B WnT (Xn m1n )Wn [WnT (Xn m1n )Wn ]T .
Упрощение этого выражения приводит его к виду:
S1n 1 S1n WnT S1n Wn (Wn WnT ) .
Тогда выражение (4) принимает вид
S |
n 1 |
S1 |
S2 |
n 1 |
S1 S2 |
n |
W T (S1 S2 |
n |
)W (W W T ) |
|
|
n 1 |
|
n |
n n |
n n n |
(5) |
||||
S |
W T S W (W W T ). |
|
|
|
|
|||||
|
|
|
|
|
||||||
|
n |
n |
n n |
n n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Окончательно из (2) с учетом (3) получаем
W |
S 1 |
[(m1 |
m2 |
n |
) W T (m1 |
m2 )W ] |
(6) |
n 1 |
n 1 |
n |
|
n n |
n n |
|
или подставляя (7) в выражение (8) получаем
|
W |
[S |
W T S W (W W T )] 1[(m1 |
m2 |
n |
) W T (m1 |
m2 )W ] . |
(7) |
||
|
n 1 |
n |
n n n n n |
n |
|
n n |
n n |
|
||
|
|
|
|
|
|
|
|
|
|
|
Врезультате найдено рекуррентное выражение для последовательного вычисления добавочных признаков.
В(n-2)-мерном признаковом пространстве получаем, соответственно
Wn 2 [Sn 1 Wn 1T Sn 1Wn 1 (Wn 1Wn 1T )] 1[(m1n 1 m2n 1 ) Wn 1T (m1n 1 m2n 1 )Wn 1 ]
и так далее.
Пример 1. Выберем два множества 3-мерных данных f1 и f2, которые приведены ниже. Столбцы этих матриц – признаки, а строки – отдельные объекты. Известно, что данные множества линейно разделимы в 3-мерном пространстве.
|
|
f1 |
|
|
f2 |
|
|
|
|
|
|
0.7 |
0.3 |
1.2 |
0.4 |
0.2 |
0.8 |
0.5 |
0.7 |
1.0 |
0.2 |
0.2 |
0.7 |
0.4 |
1.0 |
0.4 |
0.9 |
0.3 |
0.5 |
0.7 |
0.7 |
1.0 |
0.8 |
0.3 |
0.6 |
0.6 |
0.6 |
1.5 |
0.5 |
0.6 |
0.4 |
0.6 |
0.6 |
1.2 |
0.6 |
0.5 |
0.7 |
0.6 |
0.5 |
1.0 |
0.4 |
0.4 |
1.2 |
0.4 |
0.9 |
0.6 |
0.6 |
0.3 |
1.0 |
0.5 |
0.6 |
1.1 |
0.3 |
0.2 |
0.6 |
0.8 |
0.3 |
1.2 |
0.5 |
0.5 |
0.8 |
|
|
|
|
|
|
Применим к ним метод главных компонент (1), линейный дискриминант Фишера (2) и линейный дискриминант Фишера с одним добавочным признаком (3), полученным по формуле 7.
Результат вычисления первых двух главных компонент показан на рис. 2. Из него видно, что метод главных компонент не обеспечивает линейную разделимость классов.
Вторая главная компонен
Метод главных компонент для классов f1 и f2
0.4
0.3 |
|
|
|
|
|
|
f1 |
0.2 |
|
|
|
|
|
|
f2 |
|
|
|
|
|
|
|
|
0.1 |
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
-0.1 |
|
|
|
|
|
|
|
-0.2 |
|
|
|
|
|
|
|
-0.3 |
|
|
|
|
|
|
|
-0.4 |
|
|
|
|
|
|
|
-0.5 |
|
|
|
|
|
|
|
-0.8 |
-0.6 |
-0.4 |
-0.2 |
0 |
0.2 |
0.4 |
0.6 |
Первая главная компонента
Рис. 2 Анализ множеств f1 и f2 по методу главных компонент
Реализация метода линейного дискриминанта Фишера с одним добавочным признаком на данных множествах показана на рис. 3.
W2
X2, Y2
Классы f1 и f2 в пространстве с одним добавочным признаком
0.6
f1
0.5 |
f2 |
|
0.4
0.3
0.2
0.1
0
-0.1
-0.2
-0.3
-0.4 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0.5 |
0.6 |
0.7 |
0.8 |
0.9 |
1 |
1.1 |
1.2 |
1.3 |
1.4 |
||
|
|
|
|
|
|
X1, Y1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
W1 |
Рис. 3. Анализ множеств f1 и f2 методом линейного дискриминанта Фишера с одним добавочным признаком.
Из рис. 3 видно, что использование только одного весового вектора
W1, найденного по критерию Фишера, линейной разделимости достичь не удается. Добавочный же признак (весовой вектор W2) обеспечивает полную линейную разделимость классов f1 и f2.
Пример 2. На рис. 4 изображена область пересечений двух классов ирисов Фишера: виргинского (слева) и разноцветного (справа) в пространстве, образованном двумя весовыми векторами W1 и W2
|
0 |
|
|
|
|
|
|
-0.02 |
|
|
|
|
|
|
-0.04 |
|
|
|
|
|
W2 |
-0.06 |
|
|
|
|
|
-0.08 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
-0.1 |
|
|
|
|
|
|
-0.12 |
|
|
|
|
|
|
-0.14 |
|
|
|
|
|
|
-2.5 |
-2 |
-1.5 |
-1 |
-0.5 |
0 |
|
|
|
|
W1 |
|
|
Рис. 4. Анализ ирисов Фишера, полученном методом линейного дискриминанта Фишера с одним добавочным признаком.
Из рис. 4 видно, что только в двумерном пространстве можно достичь нулевой ошибки классификации виргинских ирисов при минимальной ошибке классификации разноцветных ирисов.
Проведенные эксперименты с другими данными показали, что
добавочный признак улучшает разделимость классов.
Это может оказаться важным для некоторых задач, особенно требующих полной разделимости классов.