7.5Статистические методы классификации многомерных наблюдений

Байесовское решающее правило. Функции потерь, характеризующие потери при совершении ошибок первого и второго рода, а так же потери при совершении правильных решений образуют платежную матрицу:

,

где и – потери связанные соответственно с правильными решениями и ошибками первого и второго рода.

Критерий Байеса – это правило, в соответствии с которым стратегия решений выбирается таким образом, чтобы обеспечить минимум среднего риска. Минимум риска, усредненного по множеству решений задач распознавания неизвестных объектов, обеспечивается тогда, когда решение о принадлежности объектов классу Ω₁ или Ω₂ принимается в соответствии со следующим правилом:

Если измеренное значение признака у данного объекта относится или расположено в области R₁, то объект принадлежит классу Ω₁, если в области R₂ – классу Ω₂.

Стратегию, основанную на этом правиле, называют Байесовской стратегией, а минимальный средний риск – Байесовским риском.

Байесовская стратегия описывается следующим образом:

Пусть в результате опыта установлено, что значение признака у распознаваемого объекта ω₁ составляет величину х=х⁰. Тогда условная вероятность принадлежности объекта к классу Ω₁ (условная вероятность первой гипотезы) будет равна:

а условная вероятность принадлежности объекта к классу Ω₂ (условная вероятность второй гипотезы) будет равна:

,

где – это совместная плотность распределения плотностей вероятностей значений признака х по классам.

Величины и – апостериорные вероятности принадлежности распознанного объекта классам Ω₁ или Ω₂ соответственно.

Условные риски, связанные с решениями принадлежности объекта первому или второму классу будут соответственно равны:

и

с₁ и с₂ – элементы платежной матрицы. Система распознавания, основанная на Байесовской стратегии, должна решать задачу с минимальным условным риском, т.е. предпочтение решению, когда ω принадлежит Ω₁ следует отдавать тогда, когда

Подставим в это выражение значение и , определение .

В этом случае неравенство

или

определяют, в каких условиях необходимо принять решение о том, что распознаваемый объект (ω) принадлежит первому классу (Ω₁).

Т.о. Байесовский подход к решению задачи распознавания состоит в вычислении условных апостериорных (полученных) вероятностей и принятия решений на основании сравнения их значений. Такой подход обеспечивает минимум среднего риска и минимум ошибочных решений.

Если число классов больше двух и равно какому-то m , то апостериорная вероятность отнесения объекта класса Ω к этому классу будет равна:

Когда объект характеризуется n признаков, x_i (i=1…n) и признаки распознанного объекта принимают значения x₁=x₁⁰, x₂=x₂⁰, … , x_n=x_n⁰, при этом вероятность того, что при выполнении события a_n=(x₁⁰, x₂⁰,…,x_n⁰) объект относится к i-классу равна:

7.6Минимаксный критерий

При наличии систем распознавания возможны такие ситуации, когда априорные вероятности появляющихся объектов соответствующего класса неизвестны. Минимальность значения среднего риска принятия решений на основе Байесовой стратегии в этом случае невозможно.

В этой ситуации рационально использовать критерий, который минимизирует максимально возможные значения среднего риска. Этот критерий называют минимаксным критерием.

Минимаксная стратегия состоит в том, что решения о принадлежности соответствующего объекта классу принимается на основе Байесовой стратегии, соответствующей такому значению вероятности , при котором средний риск максимален. если значения вероятности неизвестны, то при наличии классов 1 и 2 Байесов риск с учетом того, что

; C₁₁=C₂₂=0; C₁₂=C₁; C₂₁=C₂;

в таком случае минимальный риск будет равен:

.

График функции при =0 и =1, R_min=0, будет выглядеть следующим образом

П усть R_min достигает максимального значения при = .

Этот риск представляет собой максимальное значение минимума Байесова риска ( ).

Применение минимаксного критерия означает, что при отсутствии данных относительно априорных вероят­ностей появляющихся объектов следует ориентироваться на равенство = . Средние потери при равенстве = определяются касательной кривой в точке, соответствующей . При этом , где и – ошибки первого и второго рода, при априорной вероятности = .

Т.к. при средние потери достигают максимума, то касательная (см. рис.) параллельна оси абсцисс, следовательно средние потери неизменны, когда действительное значение отличается от выбранного значения .

Минимаксная стратегия обеспечивает то, что при меньшем и большем средние потери не будут больше максимального значения минимальных средних (Байесовых) потерь.

Для определения алгоритма принятия решения, соответствующего минимаксной стратегии, продифференцируем уравнение по и производную приравняем к нулю. В результате получится:

это соотношение – равенство условных значений средних рисков при ошибках первого и второго рода, – позволяет определить х₀ и построить следующий алгоритм классификации:

Если измеренное значение признака х у объекта  равно х⁰, то объект  принадлежит классу ₁; если х=х⁰ , х⁰≤х₀ и ω принадлежит Ω х=х⁰>х₀.

Минимаксная стратегия, предлагающая значение полагать равным , приводит к следующему пороговому значению коэффициента правдоподобия

.

Определение позволяет записать алгоритм классификации следующим образом:

если С₁=С₂ , то (из ) следует минимаксная стратегия приводит к равенству условных вероятностей ошибок первого и второго рода.

Минимаксная стратегия есть байесовская стратегия для наихудших значений априорных вероятностей, дающая хотя и осторожное, но гарантированное значение среднего риска.