книги / Математические методы принятия решений

Пусть заданы функции потерь, образующие платежную матрицу

ния, a ci2 и С21 — потери, связанные с ошибками первого и второго рода соответственно. Тогда средние потери (средний риск) р при многократном распознавании неизвестных объектов определяются по формуле

Чтобы найти значение х, при котором средний риск минимален, продифференцируем р по х, приравняем производную нулю и по­ лучим

Отношение условных плотностей распределения

р (х | 0>2)

= Ц х )

p ( x |0 ) i)

называется коэффициентом правдоподобия, или отношением прав­ доподобия.

Пусть границей области решений является вертикальная пря­ мая А В (см. рис. 6.1). Ясно, что, смещая границу области реше­ ний А В влево, можно уменьшить вероятность ошибки за счет сужения области 4. Именно таким образом уменьшают ошибку распознавания при разработке оптимальных критериев принятия решений.

В теории принятия решений рассматриваются три различных пространства:

1) пространство наблюдений X , содержащее все возможные наблюдения х = (х \, х г , ..., хп);

2)пространство параметров Çl, содержащее все возможные значения параметров со = (coi,сог, . ..,сор) (возможные значения со часто называют состояниями природы);

3)пространство решений D, которое содержит всевозможные значения решений d.

Правило решения 8 (или процедура решения, или решающая функция) указывает, какое решение d необходимо принять, если по­ лучены наблюдения х = (xi, х г , ..., хп), т. е. d = Ь(х).

Для выбора правила решений вводится функция потерь L(co, d), значение которой равно величине потери, связанной с выбором ре­ шения d, а со рассматривается как истинное значение параметра. Значения функции потерь L(co, 8(ж)) являются случайными величи­ нами и зависят от переменной х. Именно учет потерь отличает тео­ рию принятия решений от теории статистической проверки гипотез.

Решение принимают по усредненным величинам. К ним, в част­ ности, относится функция риска.

Функция риска р§(со) для правила решения 8 определяется сле­ дующим образом:

p6(co) = M{L(co,8(x))},

где М(х) — математическое ожидание случайной величины х, т. е. функция риска pg(co) определяет среднюю потерю по всем воз­ можным наблюдениям.

Согласно теории Байеса, когда любой параметр со является случайной величиной с плотностью вероятности к(со), ожидаемый риск, усредненный по всем значениям со:

\ Р5(со)к(со) d(ù,

а

называется апостериорным риском использования правила реше­ ния 8 при заданной априорной плотности к(со). Апостериорный риск рД8) можно записать в виде

Рп(Ь) = М„ {М* {L(co, 8(х)) | со}} = М* {М* Щсо, 8(х)) | х }}.

Индекс оператора математического ожидания указывает перемен­ ную, по которой производится усреднение. Величина

M<0{L(co, 8(х)) | х}

называется апостериорной потерей при заданных наблюдениях х. Она соответствует среднему значению потерь, связанному с при­ нятием решения 8(х). Усреднение проводится по апостериорной плотности р(со | х ).

Классический подход к выбору правила решения 8 основан на использовании функции риска р$(со). Наилучшим правилом ре­ шения является решение 8, которое минимизирует функцию риска для всех со. Правило решения 8' называется допустимым, если не существует правила 8 такого, что неравенство р$(со) < ps/(co) справедливо для всех значений со.

Байесовский подход к выбору правила решения 8 для извест­ ной априорной плотности к(со) основан на использовании функции апостериорного риска ря(8). Наилучшим правилом решения в таком случае является то правило 8, которое дает наименьший апостери­ орный риск, т. е. рк(8) ^ рл(8') для любого 8'. При довольно общих предположениях можно доказать, что все допустимые решения яв­ ляются байесовскими решениями, т. е. если 8 — допустимое правило решения, то существует некоторая априорная плотность тс(со) такая, что правило 8 является байесовским решением для х(со). Если зада­ но правило решения, то существует байесовское правило, которое эквивалентно ему или является более предпочтительным.

Класс байесовских правил является полным классом. Если 8в — байесовское правило, то не существует правила, которое лучше, чем 8 в , для всех со. В то же время 8 в не всегда может быть до­ пустимым (например, если соответствующее априорное распреде­ ление тс(со) равно нулю для некоторых со).

Для выбора правила решения используется метод минимакса Неймана, согласно которому необходимо выбирать правило, мини­ мизирующее максимальный риск. Метод минимакса Неймана при­ водит к наиболее пессимистическому решению.

Пусть D —пространство решений d; R —пространство дохо­ дов г, которые можно получить в результате решения d и исхода эксперимента о; О, —пространство возможных исходов эксперимен­ та со. Считаем заданной функцию распределения вероятности Р(со) на пространстве исходов ÇÎ. На множестве R задана функция по­ лезности и. Тогда для любой функции распределения вероятно­ сти Pair), для которой функция и интегрируема, средняя полезность

вычисляется по формуле

M {u|Pd} = J u ( r ) d P d(r) = | и(ы, d) dP(co).

R П

Следует выбрать решение d, максимизирующее M{u | Pd). Обыч­ но в задачах решения каждому доходу r e R принято сопоставлять не полезность, а ущерб, имеющий смысл отрицательной полезно­ сти: для всех исходов со е О, и всех решений d e D ущерб (потери) равен по величине функции потерь L(co, d), т. е. L(iо, d) = —и(и>, d). Вещественная функция потерь L((ù,d) задается на произведении П х D пространств. При любом (со, d) е П х D значение L(co, d) представляет собой ущерб от принятия решения d в случае исхода о.

Пусть Р(о>) — заданная функция распределения вероятности па­ раметра to. При всяком решении d e D средний ущерб р(Р, d), назы­ ваемый риском, определяется формулой

L(u>, d) dP(oi).

Выбирается такое решение d, при котором минимизируется функция риска р(Р, d).

Пусть О — параметрическое пространство с параметром, прини­ мающим значения со. Для всякого распределения Р(со) параметра со байесовский риск р*(Р) определяется как точная нижняя грань рис­ ков р(Р(со), d) по всем решениям d e D:

р*(Р) = inf р(Р(со), d).

Каждое решение d*, риск которого равен байесовскому риску, называется байесовским решением при распределении Р(со), т. е. р*(Р) = р(Р(со), d*). В ряде случаев байесовское решение мо­ жет не достигаться.

Во многих задачах удобно использовать неотрицательные функ­ ции потерь. Оказывается, любую функцию потерь можно заменить неотрицательным ее аналогом. Рассмотрим новую функцию потерь L Q ( CO, d), определяемую по начальной функции потерь следующим

образом:

L Q((Ù, d) = оiL(o), d) + Х(о>), to £ f2, d £ D,

где а — числовой коэффициент, Х(б>) — некоторая функция. Исходной функции L(o), d) соответствует риск р(Р(ы), d), а функ­

ции Lo(w, d) — риск po(P(w), d). Тогда для любых значений d \e D

и d2 £ D соотношения ро(Р(а>), d\) < ро(Р(ы), d2) и р(Р(о>), d\) < < р(Р(м), di) равносильны. В частности, решение d* тогда и только тогда является байесовским при распределении Р(оз) для исходной задачи, когда оно является байесовским решением при Р(ы) для новой задачи с функцией потерь L Q((Ù, d). Выбирая функцию Х(<о) и ее знак, можно получить Lo(co, d)~^0 при всех о>eÇl, d e D. Тогда inf L(w, d) = 0.

В любой задаче принятия решения байесовский риск р*(Р(со)) является вогнутой функцией от распределения Р(ы) параметра о>, т. е. для любых распределений Pi (со) и Р2(ы) параметра со и для любого числа а такого, что 0 ^ а ^ 1, выполнено неравенство

P*[otP 1(со) + (1 - <х)Р2(со)] ^ ар*(Р,(со)) + (1 - а)р*(Р2(со)).

В общем случае байесовский риск мало чувствителен к ошибке (приращению) в выборе значения распределения Р(со) параметра со; если функция р*(Р(со)) кусочно линейна, то приращение Др*(Р(со)) равно нулю, когда приращение ДР(со) содержится в интервале ли­ нейности функции р*(Р(со)).

Критерии выбора стратегии решений

Критерий Байеса — правило, в соответствии с которым стра­ тегия решений выбирается таким образом, чтобы обеспечить ми­ нимум среднего риска. Стратегию, основанную на этом правиле, называют байесовской стратегией, а минимальный средний риск —

байесовским риском.

Байесовский подход состоит в вычислении условных апостери­ орных вероятностей и принятии решений на основе их сравнения.

Если число классов равно т , а значение признака, получен­ ное в опыте, рассматриваемого объекта равно хо, то апостериорная

В рамках байесовского подхода каждой из гипотез Щ и Н\ за­ дадим априорные вероятности и 1 —(i соответственно. Теперь необходимо выбрать такое правило принятия решения 5, которое минимизирует функцию

г ^ ь ) = ф ) 10[1 + т ш - \ 1).

Таким образом получена задача математического программирова­ ния: минимизировать линейную целевую функцию 7^(8) на области допустимых значений [а(8), (3(8)]. Можно доказать, что область до­ пустимых значений [а(8), (3(8)] выпукла, и тогда минимум функции г^(8) определяется координатами точки касания прямой г = lo\ia + -Hi(l —р)(3 с нижней границей допустимой области [а(8), (3(8)].

Оптимальное решение получается, если рассмотреть апосте­ риорную потерю при заданных наблюдениях х и соответственно условных вероятностях р(х \ Но) и р(х \ Н\). Ожидаемая потеря при выборе гипотезы Щ вычисляется по формуле

hP(H] \x) = h ( \ - y . ) p ( x \ H l),

ожидаемая потеря при выборе гипотезы Н\ —по формуле

ZoP(#o | х) = 1о\хр(х | Но).

Здесь Р(Яо | х) и P (# i | х) —соответственно апостериорные вероят­ ности того, что верны гипотезы Но и Hi при наблюдаемых значе­ ниях х.

Таким образом, правило решения с минимальным риском сле­ дующее: выбирается гипотеза Но, если выполнено неравенство

Ii(l - Ц)р(я I H i) < ky.p(x I Но),