Пункт7. Дискриминантный анализ. Классификация при наличии обучающих выборок §7.1 Функция потерь и вероятность неправильной классификации

Дискриминантный анализ - является разделом многомерного статистического анализа включающего в себя вероятностно-статистические методы классификации многомерных наблюдений, когда исследователь обладает так называемыми обучающими выборками.

Задача различия (дискриминации) формируется так:

Пусть результатом наблюдения над объектом О_{S ,}s=1,n является реализация p-мерного случайного вектора.

Х_S=(Х_S⁽¹⁾,…., Х_S^(P)) s=1,n

Требуется выработать правило, согласно которому по наблюдению Х_S объект

О _S относят к одному из возможных классов. Под i-м классом при вероятностно-статистическом подходе мы будем понимать генеральную совокупность, задаваемую унимодальной функцией плотности f_i(U) i= _1, k

(Или унимодальным полигоном вероятностей в дискретном случае).

Общая идея, положенная в основу вер-стат. Методов классификации, состоит в том, что мы относим наблюдение Х₁ к тому классу, для которого это наблюдение выглядит наиболее правдоподобно.

Вообще мы должны располагать полным списком гипотетических классов, т.е. значением функций f_i(U). Если это имеет место, то происходит так называемая классификация при полностью описанных классах.

Однако, на практике априорная информация может быть представлена в виде выборок из распределений с плотностью f_i(U) . Априорные вероятности p_i о принадлежности к совокупности с заданной плотностью f_i(U) тоже могут быть заданы, либо нет.

Б удем учитывать стоимость потерь (размер убытка) от неправильной дискриминации. Обозначим с(j / i) стоимость потерь от отнесения объекта i-го класса к объекту j-ого класса. Очевидно, что с(i / i)=0, i=1,к

Статистическая интерпретация:

Если в результате классификации n векторов Х₁,…, Х_n (т объектов О₁,…, О_n) мы n раз m_n (j / i) относим объект (наблюдения) из i-ого класса в j-ый класс. Тогда удельные средние потери при этом составят

О бозначим n_i (n) число наблюдений (объектов) i-ого класса

                                                                                                                                                                     (7.1)

При достаточно общих условиях:

p(j/i) вероятность отнесения объекта из класса i в класс j.

Тогда выражение (7.1) можно записать:

                                                                                 (7.2)

-средние потери от неправильной классификации объектов i-ого класса.

Тогда из (7.2) получается формула

Во многих случаях полагают, что

c(j /i) =const=c0, тогда считается мы терпим одинаковой ущерб при дискриминировании любого объекта в другой класс.

Тогда из (7.2) вытекает:

для любого i.

- вероятность неправильной классификации.

§ 7.2. Построение оптимальных процедур классификации

Классифицируемые р-мерные наблюдения Х1,…..,Хn будем интерпретировать как выборку из объединенной ГС, описываемой смесью k классов (унимодальная генеральная совокупность плотностей или дискретных распределений)

k- задано,

p_j априорная вероятность появления в выборке элементов j-ой генеральной совокупности

Введем понятия процедуры классификации (решающую правила дискриминантной функции (Х).

Функция p-переменных (Х) может принимать только натуральные значения 1,2,…,k. Те значения Хs, s=1,n для которой (Х1)=j мы будем относить к j-классу Sj. Таким образом, функция (Х) задает разбиение р-мерного признакового пространства П^(p) на k непересекаемых областей.

где

таким образом, если X_s принадлежит V_j то относим его к j-ому классу.

            Процедура классификации  (дискриминантная функция (Х) или разбиение V) называется байесовской (оптимальной), если она сопровождается минимальными потерями (7.2). Среди  всех процедур  классификации  можно    записать    (7.2)  как

С =С(). Мы выбираем  таким, чтобы С() были минимальными:

Это означает, что наблюдения Хs, s = 1,n будет отнесено к классу j, тогда и только тогда когда средняя потеря от него отнесения именно к этому классу Sj.

Окажется минимальными по сравнению с аналогичными потерями, связанными с отнесением этого наблюдения в другой класс.

Действительно, из (7.2) можем получить что оптимальная процедура δ^опт или оптимальное разбиение определяется следующим образом:

                                                                                                                                                                     (7.4)

если с(j/i)=c₀=const, i≠j, то из (7.4):

                                                                      (7.5)

из этого следует                                  (7.6)

Соотношение (7.4), (7.5), (7.6), дают лишь теоретическое оптимальное правило. Для его реализации необходимо знать априорные вероятности p₁,…,p_k и плотности (полигоны) f₁(u),…,f_k(u). На практике эти величины заменяются соответствующими оценками, построенными по имеющейся у исследователя обучающим выборкам.

Пусть имеются обучающие выборки, т.е. наблюдения про которые известно, что

разбиваем X₁,….,X_n соответственно О₁,…,О_n на k классов

n_об=n₁+…+n_k тогда

Иногда вероятности рj определяются априорно самой содержательной сутью задачей. Задача оценки плотностей f₁(Х),…,f_k(Х) задача разделяется на два случая:

1. Параметрический дискриминантный анализ f_j(X)=f(X,θ_j), j=1,k

θ_j – параметр (возможно многомерный)

θ_j оценивается по соответствующей выборке

2)Непараметрический дискриминантный анализ. Не предусматривает задание общего вида функций.(Использует оценки гистограммного типа)