Материалы / Тема_3_Реш_функции_норм_Случ_2_3

1

Тема 3 (продолжение). Разделяющие функции для случая

нормальной плотности

Как мы видели, классификация с минимальным уровнем ошибки может осуществляться посредством разделяющих функций вида

Рассмотрим этот результат в частных случаях.

3. 2. СЛУЧАЙ 2: Σi Σ .

B другом простом случае ковариационные матрицы для всех классов

одинаковы. Геометрически это соответствует ситуации, при которой выборки попадают внутрь гиперэллипсоидальных областей (кластеров) одинаковых размеров и формы, с вектором средних значений в центре каждой области.

Не зависящими от і слагаемыми Σi и в соотношении для di (x)

можно пренебречь. В результате получаем разделяющие функции вида

di (x) 12 (x - mi )T Σ 1(x - mi ) ln P(Ci ) .

Если априорные вероятности P(Ci ) для всех c классов равны, то слагаемым ln P(Ci ) можно пренебречь.

2

Оптимальное решающее правило в этом случае снова оказывается очень простым: для классификации вектора признаков следует определить

квадратичное махаланобисово расстояние (x - mi )T Σ 1(x - mi ) от х до каждого из c векторов средних значений и отнести х к классу,

соответствующему ближайшему среднему значению (эталону).

Как и прежде, в случае неравных априорных вероятностей, при принятии решения большее предпочтение отдается классу, априорно более

этом случае становятся гиперплоскостями (рис. 3). Для смежных Ri и Rj ,

граница между ними описывается уравнением

wT (x - x0 ) 0

3

W

Рис. 3. Граница областей решений при использовании классификатора по

минимуму махаланобисова расстояния.

Так как направление вектора w 1(mi - m j ) в общем случае не совпадает с направлением mi - m j то гиперплоскость, разделяющая Ri и Rj ,

вообще говоря, не ортогональна отрезку, соединяющему средние значения.

Вслучае равных априорных вероятностей она пересекает этот отрезок

вточке x0 , находящейся посередине между средними значениями.

При неравных априорных вероятностях граничная гиперплоскость

смещается, удаляясь от более вероятного среднего значения.

3.3. Случай 3: произвольные Σi .

Вобщем случае многомерного нормального распределения ковариационные матрицы для каждого класса различны. В выражении для

4

так что получаемые разделяющие функции оказываются квадратичными:

wi Σi 1mi ,

wi0 12 mTi i 1mi 12 ln i ln P(Ci ) .

Границы областей решений представляют собой гиперквадрики и могут принимать любую из общих форм – гиперплоскостей, гиперсфер,

гиперэллипсоидов, гиперпараболоидов.

То, каким образом могут возникнуть эти различные виды гиперквадрик, изображено для двумерного случая на рис. 4. Так как переменные x1, x2 независимы для фиксированного класса, их

ковариационные матрицы диагональны.

Поверхности решений различаются исключительно из-за различия между дисперсиями. Сами дисперсии обозначены пронумерованными контурами постоянной плотности вероятности.

На рис. 4 (а) дисперсии для p(x | C2 ) меньше, чем для p(x | C1 ) . Поэтому более вероятно, что выборки, принадлежащие классу 2, окажутся вблизи среднего значения для этого класса, а из-за центральной симметрии граница решения образует окружность, внутри которой лежит m2 .

При растяжении оси x2, как показано на рис. 4 (б), граница решения вытягивается в эллипс. Рис. 4 (в) иллюстрирует случай, когда обе плотности имеют одинаковые дисперсии в направлении x1, но в направлении x2

дисперсия для p(x | C1 ) больше, чем для p(x | C2 ) .

5

д

Рис. 4. Виды границ областей решений в общем случае двумерного нормального

распределения: а – круг, б – эллипс, в – парабола, г – гипербола, д – прямые

Таким образом, выборки с большим x2, вероятнее, принадлежат классу 1, а

граница решения представляет собой параболу. С ростом x1 дисперсия для p(x | C2 ) меняется как на рис. 4 (г) и граница превращается в гиперболу.

Наконец, особый случай симметрии, когда гиперболическая граница

6

вырождается в пару прямых, приведен на рис. 4 (д). На рис. 5 приведены

примеры построения решающих функций для трѐхклассовой задачи.

Рис. 5. Классификатор Байеса для случая нормально распределенных признаков (из книги Коломиец Э.И. Байесовская классификация).