Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
ТПР. Всё в 1 файле / Прикладные Инст сист.pdf
Скачиваний:
299
Добавлен:
15.09.2014
Размер:
1.43 Mб
Скачать

8.1.3. Модель нескольких нормальных распределений с общей ковариационной матрицей

Предположения. Распределения вектора Х в i–м классе являются многомерными нормальными N ( μi ,Σ) с общей ковариационной матрицей Σ (i=1,…, т).

Правило классификации формулируется следующим образом [15]:

для каждого i = 1, …, m объект с описанием x относится в класс

Ωj , если значение

функции классификации u (x) больше некоторого порогового значения

 

uij (x) = (x – ( μi + μ j )/ 2)T Σ–1 ( μ j μi ) > ln( pi / p j ),

(8.5)

i = 1, …, m, ij .

 

Построенные классификационные правила (8.1), (8.2) и (5.5) являются байесовскими правилами, так как обеспечивают минимальную вероятность ошибки. В случае двух равновероятных классов вероятность ошибки равна r = Φ(– /2).

8.2. Классификация при наличии обучающих выборок

Априорная информация об исследуемых классах представляется в виде распределений. Если распределения Х внутри классов определяются лишь частично или неизвестны, тогда необходимо использовать два вида информации: предположения о свойствах распределений и обучающую выборку.

Обучающая выборка представляет собой последовательность независимых пар наблюдений вида Аn = {(Xj, yj), j = 1, …, n}. Здесь yj показывает номер класса, которому принадлежит наблюдение Xj; P{ yj = i } = pi, i =1, …, m; pi – неизвестная вероятность того, что

 

m

 

Х будет извлечено из i – го класса; число классов m известно;

pi = 1. Для yj = i

все Xj

 

i=1

 

распределены с неизвестной функцией распределения Fi.

Число yj = i в

выборке

обозначается ni и называется объемом выборки из i – го класса.

 

 

Предположение. Функция распределения Fi принадлежит некоторому известному семейству распределений, зависящему от неизвестного векторного параметра θi, i =1, …, m.

В этом случае наиболее часто используются так называемые подстановочные алгоритмы построения правила классификации. В таких алгоритмах в отношении

правдоподобия

 

fi (х, θ) / f j (х, θ), i, j = 1, 2,…, m, j i,

(8.6)

неизвестные параметры θ модели заменяются их оценками, построенными по обучающей выборке, а затем определяются параметры разделяющих функций. Рассмотрим пример такого алгоритма, использующего информацию в виде предположений и выборку.

8.2.1. Подстановочный алгоритм в модели Фишера

Предположения:

теоретические распределения – многомерные нормальные Fi =

= N( μi , Σ),

| Σ | > 0,

i =1, 2;

параметры распределения:

μi (вектор математического

ожидания),

Σ (ковариационная

матрица) –

неизвестны.

Имеется

классифицированная

 

 

 

 

 

m

 

 

обучающая

выборка

А

суммарного объема

n = ni ,

состоящая

из m независимых

 

 

m

 

 

i=1

 

 

 

 

 

 

 

 

 

подвыборок Ai : А =

UAi .

 

 

 

 

 

 

i=1

 

 

 

 

44

 

Параметры μi и Σ могут быть оценены по выборочным данным. Заданы две выборки

x

= ( x(i)

,..., x(i) ), i =1, 2. Оценками

 

q (q = 1, …, p) компонент вектора математических

X

i

1

 

 

 

ni

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ожиданий μq являются

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

q(i)

= 1/ ni i x(jqi) , q = 1, …, p.

(8.7)

 

X

 

 

 

 

 

 

 

j=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Оценки (Si )rs элементов ковариационной матрицы Σ вычисляются как

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(Si )rs =1/ (n i– 1) i (x(jri)

 

r(i) )(x(jsi)

 

 

s(i) ) ; r, s = 1, …, p.

(8.8)

 

X

X

 

 

 

 

 

 

 

j=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Получив оценки (8.7) и (8.8), подставим их в РП, построенное на основе отношения

правдоподобия (8.6):

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

f (x,

 

 

(2) , S) / f (x,

 

(1) , S) >

c,

(8.9)

 

X

X

 

 

 

 

2

 

ni

 

 

где S = 1/ (n1+ n2 – 2) (ni 1) (x(ji)

 

(i) )(x(ji)

 

(i) )T ,

 

 

X

X

 

 

 

 

 

 

 

 

 

i=1

j=1

 

 

f (x,

 

 

, S) = (2π)p / 2 | S |1/ 2 exp((X

 

)T S 1(X

 

) / 2)

плотность р

 

X

X

X

мерного нормального распределения.

 

8.2.3. Правила классификации

Правило классификации на основании отношения правдоподобия

Правило классификации на основании отношения правдоподобия формулируется следующим образом [1]:

если вычисленное значение отношения правдоподобия (8.6) больше некоторого заданного порогового значения c, то классифицируемый объект принадлежит второму классу, в противном случае – первому классу

При числе классов m > 2 класс, которому принадлежит объект x, можно определить на основе неравенств fi (х) > fj (х); i, j =1, …, m, i j.

Правило классификации на основании функции классификации

Для случая, когда fi (х) – плотности многомерного нормального распределения, путем преобразования выражения (8.6) получим уравнение разделяющей границы в виде

h (х) = (х, ν(i) ) – γ (i)

,

(8.10)

i

 

 

 

 

 

(i) , i =1, …, m; (Z, W) скалярное

где ν(i) = S1

 

(i) ,

γ(i) = ½ (

 

(i) )T S1

 

X

X

X

произведение векторов Z и W.

Правило классификации на основании функции классификации:

распознаваемый объект х относится к классу i = 1, …, m, для которого

значение линейной дискриминантной

функции hi (х) (8.10) является

максимальным

 

45