книги из ГПНТБ / Горелик, А. Л. Некоторые вопросы построения систем распознавания

Таким образом, качество признака Х^ выше, чем признака Х 2.

3.4.МЕТОД, ОСНОВАННЫЙ НА СРАВНЕНИИ ВЕРОЯТНОСТНЫХ ХАРАКТЕРИСТИК ПРИЗНАКОВ

Оценить качество признаков можно также и в том случае, когда законы распределений fi(Xj) неизвестны,

однако известны первые и вторые моменты распределе­ ний: rriji и Dji. Оценка, основанная на использовании этих данных, возможна, так как признаки объектов Xj

могут быть условно подразделены на две группы.

К первой группе относятся такие признаки, значения которых мало изменяются при переходе от одного объек­ та данного класса к другому и заметно изменяются при переходе от объектов одного класса к объектам другого класса. Ко второй группе относятся признаки, которые чувствительны к переходам от объекта к объекту данно­ го класса и лишь незначительно изменяются при пере­ ходах от одного класса к другому. Естественно, что при­ знаки, относящиеся к первой группе, намного полезнее признаков второй группы.

Количественная оценка меры полезности или качест­ ва признаков Xj, /=1, 2 , . . . , N, может быть произведе­

на следующим образом. Пусть некоторый механизм вы­ рабатывает значения /-го признака объектов с вероятно­ стями, равными априорным вероятностям появления объектов соответствующих классов £ = 1, ... , т. Обозна­ чим эти априорные вероятности через P(Qi). Определим

математическое ожидание некоторой фиктивной случай­

69

ной величины, принимающей значения тц с вероятнос­ тями P ( Q i ) :

І= 1

атакже математическое ожидание дисперсии /-го при­ знака по классам, т. е.

выше, чем признака Xs, так как вдоль оси признака Хі

'объекты располагаются компактнее, чем в направлении оси признака Х8.

Определим теперь дисперсию математического ожи­ дания распределений признаков при переходе от класса к классу

Очевидно, что если Du>Dsi, то при прочих равных условиях качество признака Хі выше, чем признака Xs, так как в пространстве признака Хі изображения, отно­

сящиеся к разным классам, располагаются на удалени­ ях, больших чем в пространстве признака Xs. Геометри­

ческая интерпретация рассмотренного вопроса легко прослеживается из рис. 3.2. В качестве критерия срав-

70

нительной оценки признаков целесообразно использо­ вать величину

При этом наилучшим признаком является тот, который реализует

3.5.МЕТОД, ОСНОВАННЫЙ НА ОПРЕДЕЛЕНИИ КОЛИЧЕСТВА ИНФОРМАЦИИ

Сравнительную оценку качества двух признаков Xt и Хв можно произвести также на основе определения ко­

личества информации, получаемой системой распозна­ вания в процессе распознавания данного объекта в' ре­ зультате определения этих признаков. Пусть, как

проведения экспериментов исходная априорная неопре­

Пусть в результате проведения соответствующего экспе­ римента определен признак объекта Хі и найдены услов­

ные апостериорные вероятности отнесения этого объекта к соответствующим классам Р(0,ііХ{).

После этого эксперимента неопределенность состоя­ ния системы изменилась и условная энтропия системы будет равна

7 !

множеству возможных значений признака Хі величина

энтропии системы будет равна

занные с определением признака Хі, и рассчитаны апо­

стериорные значения вероятностей признаков по клас­ сам, то количество информации, которое получает в ре­ зультате проведения этих экспериментов система распо­ знавания, равно

o(

если Xi — непрерывный признак.

Аналогичные выражения могут быть получены и для всех признаков Xj. При этом будем полагать, что каче­ ство признака Хі выше, чем признака Xs, в том случае,

когда количество информации, поступающей на вход

72

системы распознавания при определении признака Xlt

будет больше, чем количество информации, получаемой системой при определении признака Xs, т. е. С1ХI Ло

Определим на основе данных рассмотренного в § 3.4 примера, какой из признаков: АУ или Х2— вносит в систему распознавания большее количество информации.

1.Начальная энтропия системы

Н0 = —[Я(£2і) log'2 P(&i) + Я (0 2) log2 P (fi2)] = —(0,4 log20,4+

+0,6 log2 0,6) =0,97.

2.Конечная энтропия системы при условии использования приз­ нака Хі

H1= - ^ f l (Xi)P(Ql/Xi) log2 P(Qi І2У) X

X(:AК іЬ + І Ы ^ О ^ г Д і ) log2P(1ß 2|y 1)(A2f1)2],

где апостериорные вероятности

P(Q1/Z1)= P (fi1)/i(^)/[^(^0/i№ )+/5(ß2)/2№)] =

= 0,4 • 0,166/(0,4 • 0,166+0,6 • 0,2) =0,36.

P(Q2IXi) =0,64.

Интервалы изменения признака Xt по классам (AAi)i = 6[c];

(ДАі)2 = 5[с]. Таким образом, Я[ = —(0,166 • 6 • 0,36 • log2 0,36+0,2 X Х5 • 0,64 log2 0,64) =0,93.

Изменение энтропии системы или количество информации, полу­ ченное при измерении признака ЛУ:

ü Xi = Я 0—Я, =0,97—0,93=0,04 дв. ед.

3. Конечная энтропия системы при использовании признака Х2

Я 2 = Н /, (Х2)Рій ^ Хг ) \ogzP(Qi\X2) (ДА2) t +

+ I 2( X 2) P ( Q 2\ Х і ) log2 Р (Q21X i ) ( \ X i ) il

где апостериорные вероятности

______ ‘ P (Q,)fi(Xj)

P(Q2/X2) =0,43.

Интервалы изменения признака Х2 по классам (ДХ2)і = 5(тА ), (АА2) 2= Ю(гпА). Таким образом,

Я 2 = —(0,2 ■5 • 0,57 • log 0,57+0,1-10- 0,43 • log 0,43) = 0,96.

Количество информации, полученное при измерении признака Х г\

/7 ^ = 0,97 — 0,96 = 0,01 дв. ед.

Таким образом, прлзнак Лу более информативен, чем признак Х г.

73

4. ОПТИМАЛЬНОЕ ПЛАНИРОВАНИЕ ПРОЦЕССА РАСПОЗНАВАНИЯ

4.1. ОБЩИЕ СООБРАЖЕНИЯ

При определенных ограничениях, накладываемых на

растает, то увеличивается вероятность однозначного ре­ шения и при V— *оо стремится к единице. Покажем это

[4]. Вероятность получить однозначное решение по одно­ му признаку?* или rf равна вероятности попадания со­

ответствующей случайной величины на такие интервалы

независимы между собой. Тогда события Св а%. . . так­

же будут независимы. Вероятность получить однознач­

т.р.1

Это уравнение получено в соответствии с общей форму­ лой для вероятности суммы любого числа совместных событий. При использовании (ѵ+1)-го признака будем иметь

При любом V, вычитая из второго уравнения первое, по­ лучаем

\ Т = 1

74

Однако в физически реализуемых системах распозна­ вания число используемых признаков далеко не безгра­ нично. Выше уже шла речь об ограничениях, наклады­ ваемых на разработку рабочего словаря признаков системы. Более того, при распознавании конкретных объ­ ектов или явлений подчас нецелесообразно использовать весь набор признаков рабочего словаря. Связано это

стем, что определение каждого признака требует про­ ведения соответствующего эксперимента и, следователь­ но, сопряжено с некоторыми расходами. Именно в связи

сэтим и возникает уже упоминавшаяся задача оптими­ зации процесса распознавания, цель которой — миними­ зировать расходы, связанные с реализацией процессов распознавания.

Ниже мы рассмотрим один из возможных методов построения оптимального управления процессом распо­ знавания, основанного на теории оптимального последо­ вательного планирования экспериментов для различения гипотез, являющейся обобщением теории последователь­ ных статистических решений.

4.2. ОСНОВНЫЕ ОПРЕДЕЛЕНИЯ И ПОСТАНОВКА ЗАДАЧИ

Введем следующие понятия и определения.

1. Пусть £2 = {со}— множество, каждый элемент кото­ рого со является объектом. Пусть произведена класси-

75

фикация объектов, в результате которой множество Q подразделено на сумму непересекающихся подмно­

. . ., Я; ß = 1, . . ., ц.

3. Признаки объектов могут быть определены путем обработки информации, получаемой с помощью техни­ ческих средств наблюдения Ту у = 1,. . ., г.

4. Для определения признаков распознаваемого объ­ екта необходимо с помощью технических средств наблю­ дений провести множество экспериментов. Обозначим это множество через А={а}. Оно фактически распадает­

ся на сумму непересекающихся подмножеств вида

Введем в рассмотрение множество возможных исходов экспериментов К„ = {Ха}. Здесь Ха — общее обозначение исхода эксперимента а. Под исходом эксперимента бу­

дем подразумевать либо наличие соответствующего при­ знака у объекта, либо его отсутствие, определение чис­ ленного значения признака и т. д. Когда а есть экспери­

мент по проверке логического признака, тоХа принимает одно из трех возможных значений: — 0,1 или X, озна­

чающих соответственно либо отсутствие данного призна­ ка, либо его наличие, либо, наконец, что в результате проведения эксперимента не удалось установить, при­ сущ ли данный признак распознаваемому объекту или нет. Если в результате эксперимента а определяется ве­ роятностный признак, то Ха принимает численное зна­

чение.

6. На проведение экспериментов, естественно, накла­ дываются определенные ограничения. Они обусловли­ ваются рядом обстоятельств. Например, оптические

76

средства могут быть использованы только при наличии определенной освещенности объектов. Выход из строя того или другого технического средства либо ограниченность его ресурсов также, очевидно, накладывает ограничения на проведение последовательного эксперимента. И, наконец, ограничения могут носить временной характер. Они мо­ гут, например, состоять в том, что время проведения оче­ редного эксперимента или группы экспериментов не должно превышать заданной величины.

Таким образом, на множество А={а} накладывается система последовательных ограничений Г, которая, бу­

дем считать, задана, если определены следующие под­ множества из А:

а) задано множество Лг еЛ , элементы которого

можно назвать Т-допустимыми экспериментами первой стадии;

б) для каждого исхода X любого эксперимента а,

G /lf задано множество экспериментов Аг2 (Ха) — допус­

тимых после экспериментов первой стадии, и т. д., т. е. для любого а = 1, 2,... имеет место;

в) для каждой /"-допустимой цепочки исходов X

обозначим Аг .

7. Информация, полученная в результате проведения очередного эксперимента, используется в алгоритме рас­ познавания для решения вопроса о принадлежности объ­ екта к одному из подмножеств Q;. Обозначим через z = = {z} множество окончательных решений. Оно распадает­ ся на подмножества г,, г = 1,... т, при этом zez* озна­

чает, что в результате проведения процедуры распозна­

с уплатой «штрафов» Qu за ошибки решения задачи

распознавания, состоящие в том, что объект, принадле­ жащий к классу k, ошибочно отнесен к классу I (k, 1 =

= 1, 2 ,... т).

77

Введенные в рассмотрение определения позволяют сформулировать задачу построения оптимального плана проведения процесса распознавания.

Пусть система распознавания располагает совокуп­ ностью технических средств наблюдения Т у=1

каждое из которых предназначено для получения инфор­ мации о распознаваемых объектах ю.

ходимые для их распознавания. Получение информации об объектах связано с проведением экспериментов а,

каждый из которых считается заданным в том случае, если указано техническое средство Т и признак или if,

которые должны быть выявлены с помощью этого сред­ ства. Проведение экспериментов и принятие окончатель­ ного решения о принадлежности данного объекта к ка­ кому-либо классу по информации, полученной в резуль­ тате этих экспериментов, сопряжено с определенными расходами— Ua. Величина этих расходов Uw, усреднен­

ная по всем возможным цепочкам развития эксперимен­ тов, определяется последовательным правилом R, в со­

ответствии с которым осуществляется планирование экспериментов, т. е.

Dm= ü uW .

Каждое из последовательных правил R может

строиться лишь с учетом тех ограничений'Г, которые на­ кладываются на возможность проведения эксперимен­ тов. Ввиду того, что заранее неизвестно, какой объект

подвергается распознаванию, величина Uw должна быть

усреднена с помощью априорной вероятности появления объектов соответствующих классов Р(П,).

Качеством каждого алгоритма, определяющего по­ следовательное правило R, в соответствии с которым ре­

ализуется процесс распознавания, может быть охарак­ теризовано следующим функционалом:

78