Лекция №4 Статистические дискриминантные функции

4.1 Введение

Использование статистических дискиминантных функций для классификации имеет преимущество потому что (1) существует значительный объем знаний в таких областях как статистическая теория связи , теория обнаружения , теория решений и эти знания напрямую могут быть применены к распознаванию образов ; (2) статистическая формулировка очень хорошо подходит для проблемы распознавания образов, так как многие процессы распознавания имеют статистическую модель. В распознавании образов желательно использовать всю априорную информацию и характеристики системы часто вычисляются статистически.

В обучаемых статистических системах предполагаются в качестве основных такие функции плотности вероятностей как гауссово распределение или другие функции . Однако при неизвестных распределениях предполагается непараметрические методы обучения , которые мы обсуждали в частях 2 и3 .

2. Формулировка проблемы с точки зрения теории статистических решений

4.2.1. Функция потерь

Прежде, чем мы определим функцию потерь , полезно сделать следующие предположения.

1. p(_i) известно или может быть оценено .

2. p(x/_i) известно или может быть непосредственно оценено из обучающей последовательности.

3. p(_i/x) обычно неизвестно.

Здесь p(I) – априорная вероятность классаI иp(X/I) – функция правдоподобия классаI или условная плотность вероятностейx.

Более подробно – это функция плотности вероятностей x при заданном состоянии природы _i и p(_i/x) – это вероятность того , что x получено из _i . Обычно это называется постериорной вероятностью.

Функция потерь L_ij может быть определена как потери , стоимость принятия решения , что x_j , когда в действительности x_i. Далее мы можем минимизировать средние потери. Условные средние потери или условный средний риск r_k(x) могут быть определены как

r_k(x)= (4.1),

То-есть средние или ожидаемые потери ошибочной классификации x из класса _k , при отнесении его к некоторым другим классам _i , i=1, 2,….M и

i  k.

Задачей классификатора тогда является найти оптимальное решение которое минимизирует средний риск или стоимость . Решающее правило тогда состоит из следующих шагов :

1. Вычислить ожидаемые потери r_i(x) решения , что x_i  i, i=1,2, . . , M.

2. Решить , что x_k если r_k(x) r_i(x)  i  k.

Соответствующая дискриминантная функция тогда имеет вид

d_k(x) = - r_k(x) (4.2)

Отрицательный знак перед r_k(x) выбирается так чтобыd_k(x) представляла наиболее правдоподобный класс . То-есть чемь меньшеr_k(x) тем более правдоподобно , чтоx_k .

Матрица потерь может быть представлена как

L=,

где L_ij=0, i=1,2,……M , так как неправильная классификация в этом случае отсутствует; в то время как L_ij=1 соответствует неправильной классификации x_k, когда в действительности x_i , i=1,2,….,M, i  k. Это симметрическая функция потерь с

L_ik = 1- (k-i) , (4.4)

Где (k-i) -кронекеровская функция и

(k-i)= (4.5)

Если величина L_ik такова, что

L_ik= (4.6)

Матрица потерь становится отрицательной функциональной матрицей

L_neg = (4.7)

Значение этой отрицательной функциональной матрицы потерь состоит в том , что отрицательные потери (т.е. положительный выйгрыш ) соответствует правильному решению и нет потерь ссответствующих ошибочному решению .

Отметим, что h_i не должны быть равны. Они могут быть различными для того указывать относительную важность принятия решения в пользу одного класса по сравнению с другим . Для двух классовой проблемы L_ik = L₂₁, где i=2, k=1.

Это означает , что x может принадлежать ₂ , но неправильно классифицируется как _1. L_ik = L₁₂ , когда i=1, k=2, означает что x может принадлежать ₁ , но будет классифицироваться как _2. L_ik =0 когда i=k.