
книги из ГПНТБ / Горелик, А. Л. Некоторые вопросы построения систем распознавания
.pdfТогда вероятность ошибки первого рода, то есть ве роятность ложной тревоги, равна
|
Q ,= |
J - |
J |
|
|
X J d X , , . . . , |
dXN, |
(2.44) |
||
а вероятность |
ошибки |
второго рода, то |
есть пропуска |
|||||||
цели |
|
|
|
|
|
|
|
|
|
|
|
Qa= |
f |
... fM X ,, .. . , X j d X ^ . S , dXN. |
(2.45) |
||||||
|
|
|
|
«S2, ^ |
|
|
|
|
|
|
Здесь |
Rs |
и R9 — области |
признакового |
пространства, |
||||||
в пределах которых |
принимаются решения о принадлеж |
|||||||||
ности объектов к классам I и II соответственно. |
|
|||||||||
Средняя стоимость принятия решения |
|
|
||||||||
|
|
|
|
ü=CiP(l)Ql+ CiP(U)Q2. |
|
(2.46) |
||||
Так |
как |
интеграл от плотности вероятности |
по об |
|||||||
ластям RQi |
и R |
равен |
единице, то |
|
|
|||||
|
Ql = |
|
1 — ? |
... Jft(X,.......x N)dX„..., |
dXN. |
|
||||
Откуда |
|
|
|
|
^я, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
с = |
CtP (I) + |
f |
... |
f [C2P (II) f2 (X„ ..., XN ) - |
|
||||
|
|
~ C XP(\)U {Xu ...,XN)\dX%...,dXN. |
(2.47) |
|||||||
Задача |
состоит в том, |
чтобы минимизировать |
вели |
чину среднего риска. Для этого необходимо так выбрать RSi и R чтобы интеграл 'принял наибольшее отрица
тельное значение. Это достигается тогда, когда подын
тегральное выражение принимает |
наибольшее отрица |
тельное значение и вне области RSi |
не существует та |
кой области, где подынтегральное выражение отрица тельно, т. е.
С2Р (ІІ)/2(ХЬ ..., XN) - C i P ( l ) h ( X b ...,XN)<0. (2.48)
Решающее правило, обеспечивающее в среднем наимень ший риск, состоит в следующем. Распознаваемый объ ект со, признаки которого, как установлено в результате
проведения экспериментов, |
равны |
у _ уО |
|
_ уО |
у |
-у0 |
|
1—' |
t Л 2—' -^2 >•••> |
* |
39
относятся к классу Qi, если
h W |
|
|
_СІР(ІІ)_ |
(2.49) |
|
h ( K |
.... Х%) |
^ |
С ,Я (І) ’ |
||
|
|||||
|
|
|
в противном случае — к классу Пг-
2.4. МИНИМАКСНЫЙ КРИТЕРИЙ
При построении систем распознавания возможны такие ситуации, когда априорные вероятности появления объектов соответствующих классов неизвестны. Миними зировать средний риск принятия решений на основе бай есовой стратегии в этом случае нельзя. Применительно к этой ситуации рационально использовать такой крите
рий, который обеспечивает минимум максимального среднего риска. Этот крите рий получил название мини максного критерия.
Суть минимакса состоит в том, что решение о принад лежности неизвестного объ екта к соответствующему Классу принимается на осно ве байесовой стратегии, со ответствующей такому зна чению Р(І), при котором средний риск максимален.
Покажем преимущество минимаксной стратегии по сравнению с другими возможными стратегиями, когда
неизвестны значения Я(Й,), i — I, ..., m. При наличии
двух классов величина среднего риска, как известно, равна
С = Р(І)С, |
оо |
Хо |
|
J (X)rfx + [1 — /> (I)] С3 j“f2(X)dX. |
(2.50) |
||
|
Хв |
—оо |
|
Построим график функции С =/[Я (І)]і помня при |
этом, |
||
что при Р (1)=0 и при Р ( І)=1 |
величина среднего риска |
||
равна нулю |
(рис. 2.3). Пусть |
С достигает своего |
наи |
большего значения при Р ( I) = Р '( І ) . Этот риск представ
ляет собой максимальную величину минимального байесового риска. Обозначим его через С™*. Применение
40
критерия минимакса означает, что при отсутствии дан ных об априорных вероятностях появления объектов следует ориентироваться на величину Р ( І ) = Р ' ( І ) .
Положим, что выбрано другое значение Р(І), напри
мер Р ( І )= Р "( І ) . В этом |
случае |
средние |
потери будут |
|
описываться |
уравнением |
прямой |
линии, |
касательной |
к кривой с = |
С[Р(І)] в точке А, соответствующей Р(І) = |
|||
= Р"(І). Уравнение касательной имеет вид |
|
|||
|
C= P (l)C iQ'l+ [l-P (l)]C 2Q'2, |
(2.51) |
где Q,i = Qi[P/'(I)] и Q \=Q .2[P"{Щ представляют собой
ошибки первого и второго рода при априорной вероят ности Р( I) = Р "\ I).
Так как байесова стратегия обеспечивает минималь ный средний риск, кривая С лежит ниже прямой для всех значений Р{\)ФР"{\). Стратегия «касательной»
приводит к следующему. Положим, что априорная веро ятность равна Р "(I). Тогда, если в действительности априорная вероятность на интервале от 0 до Р "'(I) от лична от Р "(I), то средний риск будет меньше, чем при
минимаксной стратегии. Но если Р(І)>Р"'(І), то потери будут резко возрастать, достигая чрезмерных значений. Выбор минимаксной стратегии гарантирует нас от подоб ных потерь. Продифференцировав средний риск по Р(I), получим трансцендентное уравнение
CiQi (Xo) = C 2Q2(Xo) > |
(2.52) |
которое непосредственно решается относительно точки Хо. Алгоритм принятия решения имеет следующий вид:
ахгПі, если Х<.Х%
соеПг, если Х > Х 0. |
(2.53) |
Кроме того, так как по величине Р ( І ) = Р / (І) определя ется и Р'(ІІ) = 1—Р'(І), то это дает возможность опре делить критическое значение коэффициента правдоподо бия
X'0= P '( l ) C l/P/(U)C2 |
(2.54) |
и строить алгоритм классификации так:
cü&Qi, |
если к<Х'о, |
|
ш е 0 2, |
если ХЖ'о- |
(2.55) |
|
|
41 |
В заключение отметим, что минимаксная стратегия есть байесова стратегия для наихудших значений апри орных вероятностей, дающая хотя и осторожную, но га рантированную величину среднего риска.
2.5.КРИТЕРИЙ НЕЙМАНА — ПИРСОНА
Внекоторых системах распознавания могут быть не известны не только априорные вероятности появления объектов соответствующих классов, но и цены ошибок.
Вподобных системах це лесообразно воспользо ваться критерием Нейма на — Пирсона. Суть это го критерия состоит в
следующем. Определяет ся допустимое значение вероятности ошибки пер вого рода Qi (ложная тре вога), а затем находятся такие решения, при кото рых вероятность ошибки
о,2 о,ь '0,8 0,8 |
>,оалт второго рода Qz (пропуск |
Рис 2 4 |
цели) минимальна. |
|
Применительно к воен |
|
ной терминологии — мак |
симизируется вероятность обнаружения цели при задан ной вероятности ложной тревоги. Итак, пусть из какихлибо соображений принято, что Q ^ H .
Требуется определить решение Х0 задачи
X
minQ2=m in Г f2(X)dX
X X J
ФО
при ограничении вида
со
Qі = f f i ( X ) d X ^ A .
X
Очевидно, что решение Х0 удовлетворяет уравнению
00
J h ( X) dX=A,
Хо
так как при выборе
42
любого другого значения Х'о>Ха ошибка Q2 растет. Выбрать же Х'0-<Х0 нельзя по условию задачи.
В заключение рассмотрим геометрическую интерпре тацию названных критериев. Для этого в координатах £>2= 1 —Qnp и <2лт изобразим так называемую рабочую
характеристику (рис. 2.4). При построении рабочей ха
рактеристики заметим, что когда |
Qлт= 0, |
то Qnp = l и |
|
£>2= 0, а при (Злт= 1> QnP= 0 |
и £>2= |
1. |
|
Вспомним, что |
|
|
|
ОО |
|
00 |
|
Qa?= J fr (X) dx, |
а Da= $ f a(X)dX. |
||
Х0 |
|
Хо |
|
Продифференцировав D2 по Qлт, получим |
|
||
|
|
|
(2.5в> |
Но dDildQxj, есть тангенс |
угла |
наклона |
касательной |
к рабочей характеристике при Я = Я0Поэтому для крите рия Байеса на рабочей характеристике найдем такую
точку, касательная в |
которой имеет наклон, равный |
£0 = £‘(і )Сі/£,(П)С2, т . е. |
tg« = Xo. |
Теперь ордината этой точки определяет вероятность правильного решения, а абсцисса — вероятность ложной тревоги. Для минимаксного критерия необходимо учесть, что производная от среднего риска по априорной веро ятности в точке максимума равна нулю.
Напомним, что |
|
|
|
|
С-- СцР (I) ( 1--- ^Лт) + С12Р (I) <2лт+ |
|
|||
+ С22[1 ■- Р (I)}DZ+ С21[1 - Р (I)] (1■-D2) . |
|
|||
Откуда |
|
|
|
|
= С» (1 - <?лт) + |
CltQ„ - |
C22D2- Сп (1 - D2) = 0. |
||
|
|
|
|
(2.57) |
В координатах £>2 |
и |
<3ЛТ это |
уравнение прямой. |
При |
этом, если С ц = С 22, |
т о |
|
|
|
£>2=|<Злт(С’и—С12)/(С21—С22) + 1 |
(2.58) |
|||
с угловым коэффициентом |
|
|
||
ß = |
(Сц—Сі2)/(С 2і—£22)- |
(2.59) |
43
Проведем на графике эту прямую (AB). Координаты
точки пересечения этой прямой с рабочей характеристи кой определяют QnT и Ь2=И— Qщ, для минимаксного
критерия. Тангенс угла наклона касательной в этой точ ке равен ко-
Взаключение следует отметить, что -применение ме тодов теории статистических решений ограничивается не обходимостью знания законов распределений, а также затратами значительных объемов памяти и времени при их машинной реализации.
2.6.ПРИМЕР
Вкачестве иллюстрации рассмотрим пример технической «диаг
ностики» редукторов. Будем полагать, что изменение интенсивности звука работающего редуктора во времени представляет собой слу чайный стационарный эргодический процесс и нормированная кор реляционная функция этого процесса может быть аппроксимирована
уравнением вида р (т) = е — cos ßt.
Рассмотрим три |
типа редукторов А, В и С. Будем различать |
|||
у каждого |
из типов |
редукторов два состояния: первое — редуктор |
||
исправен, |
второе — редуктор неисправен. У редукторов типа |
А |
при |
|
знаком, характеризующим их состояние, является параметр |
а, |
у ре |
дукторов типа В — параметр ß. Состояние редукторов типа С опре деляется значениями двух параметров а и р . Пусть у редукторов всех типов параметры а; ß; а и ß соответственно подчинены нор мальным законам ‘распределения. При этом у редукторов типа А первое состояние характеризуется следующими значениями матема тического ожидания и среднеквадратического отклонения:
|
|
та, = ° .°7 П/с], |
|
<*а, = |
0,01 |
[1/с], |
|
|
||||
второе состояние — |
|
|
|
|
|
|
|
|
|
|
||
|
|
" Ч |
= 0 ,1 2 [1/с], |
|
Ч |
= |
0,015 [1/с]. |
|
|
|||
Аналогично у редукторов типа В |
|
|
|
|
|
|
|
|||||
|
|
|
= 0 ,П |
[1/с], |
з?і |
= 0 ,0 3 |
[1/с], |
|
|
|||
|
|
|
= 0 ,2 5 |
[1/с], |
стРа |
= |
0,04 [1/с]. |
|
|
|||
И |
наконец, |
, у редукторов типа С значения математических ожиданий |
||||||||||
и среднеквадратических |
отклонений |
для первого и второго состояний |
||||||||||
совпадают с названными значениями |
тaj |
, |
, wz^ |
, |
, oai , oaj) |
|||||||
°ßi |
’ ®ß2 соответственно. |
На |
рис. 2.5 |
представлены |
законы распреде |
|||||||
лений f\A) (а), |
(а), |
а на рис. |
2.6f(fl)(ß) |
и f^B>(ß). |
|
Определим на основе стратегии Байеса критическое значение па раметра а для редукторов типа А, полагая, что априорная вероят ность первого состояния Р (І)=0,6, второго Р (П )=0,4 и стоимость ошибки первого -рода (принять исправное состояние редуктора за
44
-неисправное) в пять раз меньше стоимости ошибки второго рода (принять неисправное состояние, редуктора за исправное), т. е. Сг= = 5Cj.
Критическое значение коэффициента правдоподобия равно
Ц А) = р (I) Ci/P (II) Сг = 0 ,6 С І/0,4-5С1= |
0,3. |
|||
Так как f^A) (а)/^л) (а) = |
, то |
|
|
|
- (“- « а , )2/2“аа . р- |
|
)*/2в,2‘ = ^ Л) |
|
|
Откуда |
|
|
«1 |
|
2da |
2 d |
+ <х |
+ |
|
|
4 / |
|
||
а 1 |
|
|
|
|
|
|
|
|
|
+ |
2d |
2 d |
In ІѴ„ |
|
Подставляя значения та и о0, подучаем
0,625- Ю -Ѵ — 0,06IO“ 4« + 6,8- ІО-8 = 0.
Откуда а0 = 0,083 [1/с] и, значит, если <х«^а0, то редуктор типа А исправен, при а За а0 — неисправен.
45
Рассчитаем ошибки первого и второго |
рода: |
|
||||||||||
|
|
|
|
|
|
со |
1 |
f a —0,07 |
|
|||
|
^ |
) = 0,01 VT* |
I |
e |
|
f i ,01 |
da — |
|||||
|
|
|
|
|
0,083 |
|
|
|
|
|
||
|
|
’•3 |
|
_L i. |
dt = 0,0968 =5= 0,1, |
|||||||
|
|
V 2n |
e |
2 |
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0,083 |
|
1 |
/а —0,1,I2Vy |
|
|
|
|
|
|
|
==- |
\ |
e '2 ' ^ |
0,015 ) |
da = |
|||
|
<зіЛ) = - 0,015К2я |
|
-oo |
|
|
|
|
|
||||
|
|
|
—2,5 |
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|||
|
|
У27 |
|
I |
e ~ 2 t%d t ^ |
0,01. |
|
|||||
Аналогичные |
расчеты |
|
для |
редукторов типа В дают следующие |
||||||||
значения: ß„ = 0,17 [I/с], |
|
|
=£0,02, |
Q ^ = s0 ,0 2 . Определим теперь |
||||||||
граничные значения а0 и ß0 |
на |
основе |
критерия Неймана—Пирсона, |
|||||||||
полагая, что ошибка первого рода не должна превышать 5% |
||||||||||||
oo |
|
|
|
|
|
|
оо |
1 |
|
/а—0,07 \ 2 |
||
j |
, Г |
М * „ |
|
|
|
|
j |
Г |
Г |
|
ä . « 0,05. |
|
Отсюда «о = |
0,086 [1/с]. Ошибка |
второго |
|
рода при этом равна |
||||||||
|
|
|
|
|
|
0,086 |
|
1 |
/ а —-0,12\3 |
q[A) • |
0,015 |
= - |
|
/ 2 п |
|
|
|
-2,25 |
Ѵ2к
\ е ~2
-- <31
2., J dt =s= 0,012.
Аналогично для редукторов типа |
В ß0 = 0,16 [1/с] и |
= 0,012. |
||||||
Рассчитаем |
теперь граничные значения а 0 |
и ß0 на |
основе |
мини |
||||
максного критерия_ (в предположении, что Р(І) |
и Р(ІІ) |
неизвестны). |
||||||
Учитывая, что |
C= P(I)C 1Q1 + P(II)C 2Q2= P (I)C 1Q1+{1—P(I)]C2Q2, |
|||||||
дифференцируя |
по |
Р(І) |
и приравнивая производную |
dC/dP(І)= 0, |
||||
получаем |
|
|
CiQi= C2Q2. |
|
|
|
||
|
|
|
|
|
|
|||
Для редукторов типа А |
|
|
|
|
|
|
||
оо |
1 |
/ а—о,07 \ a |
|
5 |
1 |
/ а —0,12 |
у |
|
a |
2 |
[ 0,01 |
j . |
- |
2 |
\ 0,015 |
, |
|
0,01 V2n |
|
|
da = |
0,015 Ѵ2п |
е |
ѵ |
' da |
|
|
|
|
|
|
|
|
—00
46
или
(0,07—ао)/0,О1 |
|
(сс0—0,12)/0,015 |
|
||
1 |
e - ^ d t |
5 |
-»»dt. |
|
|
ѴЪь |
V 2л |
|
|||
|
|
|
|
||
Откуда а0 = |
0,085 [1/с], |
а ошибки |
первого и второго рода |
равны: |
|
<35Л) — 0,05; |
<32Л^ = 0,01. |
Аналогичные расчеты |
для редукторов ти |
||
па В приводят к следующим результатам: ß0 = |
0,158 [1/с], |
Q\B^= |
= 0,05; = 0,01. И, наконец, состояния редукторов типа С опре
деляются следующими двумерными априорными законами распределе ний:
і \ С) (*. |
Р) = 2яа |
ехР' |
2~ |
а — т„ |
+ |
|
|
|
|||||
|
«1 |
|
|
|
у |
/ Р — 0, 11 |
|
1 |
1 |
Г / а |
— 0,07 |
||
|
6-10'‘‘if ехр |
2~ |
[( |
0,01 |
у |
^0,03 |
*>'- |
ß)=“ ------1,2--10~3!--------------гс ехр ~2 |
|
|
0,04 )І |
С учетом принятых ранее априорных вероятностей состояний и риска ошибок уравнение областей в пространстве (а, ß) первого и второго состояний определяется следующим уравнением эллипса: (а—
—0,03) 2/0,081 + (ß + 0,07) 2/0,09 = 1.
47
На рис. 2.7 представлены области r \c ^ и R2C^, соответствующие пер
вому и второму состояниям редукторов типа |
С. При |
этом, если |
(а, (О еЯ , (С), то редуктор исправен, если (“ , |
Р)6Е:Яг (С ), |
т ° неиспра |
вен. Ошибки первого и второго рода равны |
|
|
2(іС) — Я /{С)(ос, P)rfadß^0,037,
4 С)
Q(2c >= jJJ f p (а, Р) * 4 = 0 ,0 1 2 .
щ
Мы рассмотрели вопросы классификации редукторов типа С при отсутствии корреляции между признаками а и ß. При наличии корре ляции между величинами а и ß, характеризуемой коэффициентом
е ' [ с ] ф [ ?/ с-7
корреляции г, законы распределений /і<с>(а, ß) и U(c>(a, ß) приобретут следующий вид:
fV ( “ . ß ) ; |
|
- exp • |
2 ( 1 — г2) |
(а — i n )h' |
|
2* W h Vl |
|
|
|
|
|
2г(а~ ааъ) (Р— eß.) |
(р- |
|
|
|
|
________Я______ |
я — |
f5* |
J |
£ = 1,2. |
|
ah |
aQ |
||||
?h |
|
|
|||
Корреляционная |
зависимость между признаками а и ß приводит к |
||||
изменению границ областей R\c ^ и R ^ \ |
На |
рис. 2..8 — 2.10 представ |
лены области первого и второго состояний редукторов типа С при различных значениях коэффициента корреляции: г—0,1; 0,2 и 0,3.
48