Материалы / Тема_2_Классификатор_Байеса_1_сокр

Тема 2. Критерий Байеса, оптимальные решающие функции.

Если известны ФПВ для классов объектов и их признаков, то на основе статистических функций и теории принятия решений могут быть разработаны

оптимальные решающие функции. Часто допускают предположение о том, что распределение признаков для каждого класса соответствует гауссовой (нормальной)

функции плотности вероятности (ФПВ), и оценивают требуемые значения среднего и дисперсии по обучающей выборке.

Функции правдоподобия и статистические решения

Пусть:

P Ci – это априорная (или безусловная) вероятность появления класса Ci , i 1, 2, , M , которая известна.

P Ci x - апостериорная вероятность того, что наблюдаемый образец x относится

к Ci .

Потери (стоимость принятия решения) - образец x относится к C j хотя он в

действительности принадлежит Ci

Li j Lii j i (при Lii 0 ).

Ожидаемые потери (средний условный риск) при отнесении x к C j , будет равен

Классификатор может вычислить R j x , j 1, 2, , M , для каждого образца x и

затем отнести x к классу, для которого условные потери окажутся наименьшими.

Такой классификатор минимизирует общие ожидаемые потери по всем возможным решениям и называется байесовским классификатором. Со статистической точки зрения байесовский классификатор представляет собой оптимальный классификатор.

В соответствии с формулой Байеса

P Ci x P Ci p x Ci , p x

где

- p x Ci условная (для класса Ci ) ФПВ от x ;

- p x безусловная ФПВ (не зависимо от принадлежности к классу).

Тогда ожидаемые потери:

i 1

Решающее правило Байеса. Случай двух классов.

В случае двух классов при M 2 , получаем следующие выражения:

r1 x L11 p x C1 P C1 L21 p x C2 P C2 .

r2 x L12 p x C1 P C1 L22 p x C2 P C2 .

Левую часть неравенства представляет собой отношение двух функций правдоподобия -

называют отношением правдоподобия:

Решающее правило Байеса. Случай M классов.

Данное правило может быть обобщено для случая M классов:

j1, 2, , M , j i .

Вбольшинстве задач Li j 1 i j , где

где объект x относится к классу Ci , если для него di x d j x j i .

Использование оценки p x Ci требует наличия обучающей выборки для каждого класса

Ci .

Наиболее распространенным подходом является принятие предположения о гауссовом

распределении и использование обучающей выборки для оценки его среднего и

дисперсии.

Классификатор Байеса для классов с нормальными распределениями

Одномерная нормальная или гауссова ФПВ для единственной случайной

Оно полностью определяется двумя параметрами: средним значением

В случае, когда M классов образов и векторы образов x размерностью n подчиняются многомерной нормальной ФПВ, имеем

i 1, 2, , M , где каждая ФПВ полностью определяется еѐ вектором средних mi и еѐ ковариационной матрицей Ci размерностью n n при

mi Ei x ,

и

Ci Ei x mi x mi T ,

Здесь Ei - оператор мат. ожидания для всех образцов, относящихся к классу Ci .

для нормальной ФПВ удобно использовать в виде

di x ln p x Ci P Ci ln p x Ci ln P Ci ,

Тогда

i 1, 2, , M.

Второй член не зависит от i , следовательно, мы можем упростить di x до

Решающие функции – гиперквадраты (между каждой парой из классов образов).

Эти решающие функции будут оптимальными в среднем: они минимизируют ожидаемые потери с использованием упрощѐнной функции потерь Li j 1 i j .

Если все ковариационные матрицы равны, т. е., если Ci C , i 1, 2, , M , то после того как опустим все члены, зависящие от i , получим

Теперь Байесовский классификатор представлен набором линейных решающих функций.

Перед тем как использовать описанные выше решающие функции, необходимо

-с использованием статистических тестов верифицировать гауссов характер ФПВ;

-для каждого класса получить или оценить вектор средних значений и матрицу ковариации.

Выборочные статистики рассчитываются по обучающей выборке.