Нелинейные |
решающие функции |
Введем понятие обобщенной линейной |
решающей функции d(x) |
Пусть размерность пространства равна n, тогда можно построить:
d(x) 1 1 (x) 2 2 (x) ... k
k может быть любым: k n, k n, k n , но обычно берут
- это полный набор ортогональных функций (это есть сложно) часто сводят к параметрической задаче(это лучше): i (x) xi2
k (x)
k n
,то есть
d(x)
x*
1x12 . 2 x22 ... n xn2
|
|
1 |
(x) |
|
|
x 2 |
|
||
|
|
|
|
|
|
12 |
|
|
|
|
2 (x) |
|
|
x2 |
|
|
|||
|
. |
|
|
|
|
|
|
|
|
|
|
= |
. |
|
|
, n=k |
|||
|
. |
|
|
|
|
|
|
||
|
|
|
|
|
. |
|
|
|
|
|
. |
|
|
|
|
. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k (x) |
|
xn2 |
|
|
||||
n 1 |
- это нелинейная функция |
- обобщенная линейная функция.
d(x) T x* n 1
Возьмем d(x) x T Ax |
|
T x |
|
- это обобщенная квадратичная форма; |
|
||
|
n 1 |
|
|||||
|
|
|
A – Некоторая симметрическая матрица. |
|
|||
d(x) можно разложить по компонентам: |
|
n |
n |
n |
|
||
|
d(x) aij xi x j |
i xi |
n 1 |
||||
|
|
|
|
||||
|
|
|
|
i 1 |
j 1 |
i 1 |
|
Можно взяь xi* xi x j как новую переменную . |
|
|
|
||||
В пространстве с координатами x* |
решающая функция будет линейной функцией. |
||||||
|
|
i |
|
|
|
|
|
На рис. показаны классы, которые в исходном пространстве не делятся линейными решающими функциями, но можно сделать линейное разделение обобщенными линейными функциями, в пространстве с координатами , определяемыми коэффициентами квадратичной формы.
Вывод:
• Таким образом, если в исходном n- мерном пространстве построить линейные решающие функции нельзя, то при переходе в пространство размерности k>n вероятность построения линейных решающих функций увеличивается.
Статистические методы классификации
Исходные позиции: наши данные могут быть описаны с помощью вероятностных методов
Существует 2 подхода: |
. |
|
1.априорно знаем статистические распределения данных
2.априорно не знаем статистические распределения, а известны таблицы данных и выборки из этих статистических распределений.
Постановка задачи классификации как статистической задачи при известных вероятностных распределениях.
Пусть имеется генеральная совокупность П1 , П2 , соответствующая 1-ому и 2-ому классу.
x (x ,..., x |
n |
)T |
Вероятностные распределения заданы априорно. |
|
||
1 |
|
|
|
|
|
|
Пусть |
П1 П2 0 (может быть и такое) |
X1 , X 2 |
так |
|||
Наша задача – разбиение исходного пространства X на области |
||||||
X X1 X 2 |
мы требуем, чтобы X1 X 2 0 |
x X |
||||
|
|
|
|
x2 |
|
|
X 2
X 1 x1
Цель: разбить X на области так, чтобы: |
x X1 |
x П1 |
|
|
x X 2 |
x П2 |
|
Нам надо задать следующее: |
|
|
|
Условные по классам функции распределения |
f1 (x) f (x / П1 ), |
f2 (x) f (x / П2 ) |
|
q1, q2 -априорная вероятность появления объекта из соответствующего класса q1 q2 |
1 |
Критерии качества, связанные с ошибками и стоимостями ошибок |
|
Генеральная совокупность
решения |
П1 |
П2 |
|
|
|
|
0 |
C(1/2) |
|
П1 |
0 |
|
П2 |
|
|
С(2/1) |
|
Стоимости принятия решений:
x П1 |
отнесем к П2 , тогда стоимость С(2/1) |
x П2 |
отнесем к П1 ; C(1/2) |
C(1/1)=C(2/2)=0 - правильное решение;
На рис показаны условные плотности распределения по классам и граница решения . f (x / П1 ) 
f (x / П2 )
X
Вероятность принятия неправильного решения определяются таким образом
P(2 /1) |
|
|
|
f (x |
/ П1 )dx |
||
|
X 2 |
|
|
P(1/ 2) |
|
||
f (x |
/ П2 )dx |
||
|
X1 |
|
|
Таким образом заданы: П1 |
генеральные совокупности; |
|
|
П2 |
|
Условные плотности и априорные вероятности |
|
x П1 |
x П2 |
q |
q2 |
1 |
f2 (x) f (x / П2 ) |
f1 (x) f (x / П1 ) |
|
Стоимости ошибок:
С(1/2) и С(2/1)
Задача состоит в разбиении пространства X на классы множества X1 и X2, соответствующие заданным классам. Рассмотрим эту задачу как оптимизационную с точки зрения минимизации среднего риска принятия неправильного решения.
Введем функционал качества как оценку |
среднего риска: Q C(2 /1) q1 P(2 /1) C(1/ 2) q2 P(1/ 2) |
|
это общие средние потери при принятии |
решения. |
min Q |
Требуется найти такое разбиение пространства , которое дает |
||
Эту величину нужно определить для решения нашей задачи. |
X1 , X 2 |
|
|
||
Q C(2 /1)q1 |
f1 (x)dx C(1/ 2)q2 |
f2 (x)dx |
|
. |
X2 |
f1 (x) |
X1 |
Обозначим (*)= C(1/ 2)q2 f2 (x) C(2 /1)q1 |
|
||
Данное выражение необходимо минимизировать при помощи выбора области X 1
Область X1 определяют таким образом, чтобы выражение (*) было 0
X1 : C(1/ 2)q2 f 2 (x) C(2 /1)q1 f1 (x) 0
f1 (x) (x)
f 2 (xдалее) мы получаем следующее выражение для минимального риска:
X 1 : |
f1 (x) |
|
C(1/ 2)q2 |
|
|
x П1 |
, то есть получаем, что x относится к Генеральной |
|
||||||||||
f 2 (x) |
C(2 /1)q1 |
П1 |
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
совокупности |
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
Область |
X 2 имеет следующий вид: X 2 : |
f1 (x) |
|
C(1/ 2)q2 |
|
x П2 |
|
|||||||||||
f 2 (x) |
C(2 /1)q1 |
|
||||||||||||||||
Это правило для полного байесовского риска |
|
|
|
|
|
|
||||||||||||
|
f1 (x) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
(x) |
эта функция называется отношением правдоподобия. |
|
|
|||||||||||||
|
f2 (x) |
|
|
|||||||||||||||
Введем порог: |
K |
C(1/ 2)q2 |
тогда решающее правило принимает вид: |
(x) K |
x П1 |
|||||||||||||
C(2 /1)q1 |
|
x П2 |
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(x) K |
||||
Часто априорные вероятности неизвестны и их нужно как-то оценить. Стоимость ошибки – величина субъективная
Когда ошибки не заданы, мы можем построить более простое решающее правило на основе теоремы Байеса
f (x, Пi ) - совместная функция распределения
По теореме Байеса, можно разложить совместную плотность распределения:
f (x, Пi ) f (x / Пi )qi f (Пi / x) f (x) |
|
|
||
Из данного разложения мы можем получить: |
f (Пi / x) |
qi f (x / Пi ) |
|
|
|
||||
это апостериорная вероятность того, что x |
относится к Пi |
f (x) |
||
qi - априорная вероятность |
||||
Чтобы использовать данное правило необходимо вычислить безусловную плотность вероятности f (x) она имеет вид f (x) f (x / П1 )q1 f (x / П2 )q2 ( это результат интегрирования)
Отсюда следует, что правило принятия решения сводится к нахождению:
max qi f (x / Пi )
То есть номер класса равен: i arg min qi f (x / Пi ) x Пi
Для
X1X 2
(случай двух классов), правило решения принимает вид:
:q1 f (x / П1 ) q2 f (x / П2 )
:q1 f (x / П1 ) q2 f (x / П2 )
f (x / П1 ) |
|
q2 |
x П1 |
|
f (x / П2 ) |
q1 |
|||
|
|
Таким образом, мы получили отношение правдоподобия:
(x) q2 x П1 q1
разница с предыдущим случаем в том, что из этого решения исчезла стоимость ошибок. Здесь ошибки находятся в следующем соотношении: С(2/1) = C(1/2) - они равны.
Следовательно, нами получен метод принятия решений, основанный на вычислении
апостериорных вероятностей
f (Пi / x) Mqi f (x / Пi )qi f (x / П i )
i 1
M
f(x) qi f (x / Пi )
i 1