Тогда мы имеем

L = (4.8)

Предположим , что 1 – класс своего самолета и2 – класс вражеского самолета, тогда несомненоL12  l12 так какL12 это ложная тревога, аL21 соответствует опасности.

Во многих случаях считается L₁₂ = L₁₂, что соответствует симметрической

функции потерь.

.2.2. Байесовская дискриминантная функция

По правилу Байеса мы можем написать

(4.9)

где , вероятность того , чтоx без указания класса, к которому он принадлежит. p(_i)- априорная вероятность класса _i , и

p(x/_i)- функция правдоподобия класса _i по отношению к x , то-есть плотность вероятности x при заданном состоянии природы _i ( то-есть образа ,принадлежащему к классу _i )

Подставляя (4.9) в (4.1) для r_k(x), мы имеем

r_k(x)= (4.10)

Так как в (4.10) является общим для всехr_j(x), j= 1, ……., M, мы можем убрать его из уравнения среднего риска и искать только следующий минимум

(4.11)

для получения наилучшего решения среди возможных решений.

Альтернативно можно записать выражение для Байесовской дискриминантной функции :

d_k(x) = - r_k(x) (4.12).

Классификатор с такой минимизацией называется Байесовским классификатором, дающим оптимальные характеристики со статистической точки зрения .

4.2.3. Решение по максимуму правдоподобия

Как показано в разделе 4.2.2. , p(x/_i) называется функцией правдоподобия для _i . Выражение для средних или ожидаемых

потерь решения x_{k ,} будет иметь вид

.

Это выражение может быть использовано для минимизации для получения максимального правдоподобия для x_k. . Для двухклассовой задачи средние или ожидаемые потери решения x₁ будут иметь вид _:

Аналогично потери решения x₂ будут

В матричной форме

или

Решение относительно того что x₁ будет принято , если

или

Неравенство может быть записано в другой форме :

x_{1 ,} если выполняется

(4.20)

Используя обозначение l₁₂(x) для p(x/₁)/ p(x/₂) как

отношение правдоподобия и₁₂ для

как пороговую величину , критерий для решения становится

(4.21)

Выражение 4.21. Может быть легко обобщено для многоклассовой проблемы (то-есть , когда M>2) . Обобщенное отношение правдоподобия и обобщенная пороговая величина будут соответственнно

И

Тогда критерий для решения имеет вид : принять

Это называется правилом максимального отношения правдоподобия .

Рассмотрим случай когда L является симметрической функцией потерь .

Тогда проблема сводится к принятию решения :

Правило максимального отношения правдоподобия для симметрической функции будет иметь вид :

Так как

Если p(_i) = p(_k) i, k правило максимального правдоподобия становится :

Принять :

Отметим, что различные функции потерь дают различные правила решения.

Теперь вернемся к более общему случаю когда p(_i)  p(_k) и получим дискриминантную функцию для симметричной функции потерь . Так как мы имеем

Тогда

Другими словами , мы можем принятьx_{k ,} если выполняется

Дискриминантная функция при этом имеет вид

Альтернативная форма дискриминантной функции имеет вид

Расширяя это выражение до более общей формы, средние потери решения , что

x_k будут :

или

Правило максимального правдоподобия тогда определится следующим образом

или

Суммарные члены в левой стороне (4.35) представляют собой средние потери решения x_i , в то время как правая сторона представляет собой потери решения x_j , j = 1,…..,M и j  i.