
книги из ГПНТБ / Горелик, А. Л. Некоторые вопросы построения систем распознавания
.pdfУравнение областей состояний при г=0,1
|
(а—0,03)2/0,122 + (ß—0,08)2/0,42 = 1; |
при г=0,2 |
|
|
(ф—0,55)2/0,672 + (ф +1,1) 2/2,242= 1, |
где а = 16,7ф+ф, |
ß = —ф+16,7ф. |
Наконец, при г= 0,3 |
|
|
(Ф + 0,34) 2/10,392 + (ф + 0,61) 2/1,42 = 1, |
где а = —10ф+ф, |
р=ф+10ф. |
3.НЕКОТОРЫЕ МЕТОДЫ ОПРЕДЕЛЕНИЯ СЛОВАРЯ ПРИЗНАКОВ, ИСПОЛЬЗУЕМОГО ПРИ ПОСТРОЕНИИ СИСТЕМЫ
РАСПОЗНАВАНИЯ
Выбор словаря признаков, используемого при по строении системы распознавания, представляет собой са мостоятельную и подчас достаточно сложную задачу. Мы уже говорили о том, что при разработке словаря признаков приходится сталкиваться с рядом ограничений. Одно из них состоит в том, что в словарь могут быть, включены только те признаки, о которых имеется апри орная информация, достаточная для описания классов на языке этих признаков. Будем называть словарь при знаков, построенный с учетом этого ограничения, апри орным словарем. Другое ограничение связано с тем, что
некоторые из признаков нецелесообразно включать в ап риорный словарь ввиду того, что они малоинформатив ны. И, наконец, последнее ограничение связано с тем, что некоторые признаки и притом, как правило, наиболее информативные, не могут быть определены, ввиду отсут ствия соответствующих измерителей, а ресурсы, ассиг нованные на создание системы распознавания, не без граничны. Именно поэтому априорный словарь призна ков, в общем случае, может быть использован лишь в качестве основы для построения реально используемо го в системе распознавания рабочего словаря признаков.
В рабочем словаре следует использовать лишь те
признаки, которые, с одной стороны, наиболее инфор мативны и, с другой — могут быть в принципе определе ны имеющимися или специально созданными средствами наблюдения.
4—452 |
4& |
Таким образом, задача разработки рабочего словаря признаков системы распознавания в общем случае сво дится к тому, чтобы в пределах выделенных ресурсов определить перечень технических средств наблюдений, создание которых обеспечивает получение наиболее ин формативных признаков априорного словаря. Построен ный таким образом рабочий словарь признаков, в свою очередь, в принципе позволяет реализовать максимально возможную эффективность системы распознавания. Ниже наряду с достаточно общим подходом к построению ра бочего словаря признаков рассмотрен ряд частных методов сравнительной оценки отдельных признаков, позволяющих производить отбор признаков априорного ■словаря в рабочий словарь признаков системы распозна вания.
-3.1. ОПРЕДЕЛЕНИЕ СЛОВАРЯ ПРИЗНАКОВ В УСЛОВИЯХ ОГРАНИЧЕНИИ НА СТОИМОСТЬ
СОЗДАНИЯ ТЕХНИЧЕСКИХ СРЕДСТВ НАБЛЮДЕНИЙ
Пусть в результате классификации все множество объектов ß —{ш} разбито на ряд непересекающихся под множеств iQj, П2, . • ßm, каждое из которых и состав ляет соответствующий класс. Обозначим объекты, отно сящиеся к каждому классзу (і= 1, ..., т), следующим
■образом:
Ql |
°^12» *•> |
|
Q2 = |
{(o21 ш22, |
°ч}> |
|
|
|
Qp |
{Шр1 »ШР2* *•*’ °ѴР |
|
Qm —: |
■ |
|
Обозначим признаки объектов через Xj, / = 1 , 2 , . . . , N.
Тогда каждый объект в ААмерном пространстве призна ков может быть представлен в виде вектора Х =( Х і , Ä2, . . XN), координаты которого количественно харак
теризуют свойства объектов.
Для определения меры близости или подобия между объектами в ААмерном векторном пространстве призна ков необходимо ввести метрику. Выбор метрики, вообще
.50
говоря, произволен, необходимо лишь, чтобы она удов летворяла обычным аксиомам расстояний:
d(ä, Ь) = é(b, й),
d(ä, c)^d (ä, b)+d(b, с),
d(ä, Ъ) > 0 , d(ä, Ъ)=0. |
(3.2) |
тогда и только тогда, когда ä=b.
В дальнейшем, не нарушая общности рассуждений,,
будем пользоваться эвклидовой метрикой, т. е. |
|
|
||||||
|
|
M |
= |
|
|
|
(3.3> |
|
|
|
|
/=1 |
|
|
|
|
|
где р, (7= |
1 , 2, |
.. ., т, |
k — \, 2, |
. .., |
kp, |
1=1, 2, |
..., |
kq. |
Здесь Хрь |
есть |
• значения /-го |
признака |
k-ro |
объекта |
|||
р-го класса, т. е. объекта <орк, а |
— значение |
/-га |
||||||
признака /-го объекта q-ro класса, т. |
е. объекта |
<%. |
|
В дальнейшем нам понадобится рассматривать меру близости между всеми объектами данного класса и меру близости между всеми объектами данной пары классов.
В качестве меры близости между объектами |
данного- |
||
класса й р, |
р —1, 2, |
..., т, будем использовать величину |
|
S ( Q p ) = 1 / |
«ТъЬЕЕ d2 («Bps, шяг), |
(3.4) |
|
|
Г |
k=\ 1=1 |
|
которую |
назовем |
среднеквадратическим разбросом |
объектов внутри класса й р или просто среднеквадрати ческим разбросом класса.
В качестве меры близости между объектами данной пары классов ЙР и Йд, р, q—1, ..., т, будем использо
вать величину |
|
|
|
Я ( О р , 0 , ) = |
КрКд |
d2К * . °ty), |
(З.б> |
|
|
k=\ i=1 |
|
которую назовем среднеквадратическим разбросом объектов классов й р и Qg.
Совокупность признаков объектов, используемых в ра бочем словаре, можно описать ІѴ-мерным вектором %—
4* 5£
-='(А,ь Хг, . .., XN), компоненты которого принимают зна
чения 1 или 0 в зависимости от того, имеется или отсут ствует возможность определения соответствующего при
знака объекта, т. е. Aj=j Q.C учетом X квадрат расстоя
ния между двумя объектами сори и a qi равен
с і* ы , «>,*)= S М * * - * « ) * ■ |
(3.6) |
/=1 |
|
Следовательно, среднеквадратический разброс класса может быть записан так:
|
|
|
(3.7) |
а среднеквадратический разброс объектов классов й р и |
|||
следующим образом: |
|
|
|
|
К Р Kg N |
|
|
Д(йр, Ü,) = |
ш ъ ъ |
р<*і.я |
Х ' " у . (3.8) |
Будем исходить/ |
|
||
к=\ 1=1/=I |
|
|
|
из того, что затраты на создание тех |
нических средств наблюдений пропорциональны их ин формативности, иначе тому количеству признаков объек тов, которые с их помощью могут быть определены. Та кое предположение (оставляя в стороне вопрос о точно стных характеристиках средств наблюдений) носит до статочно общий характер.
Таким образом, затраты на создание средств наблю дений равны
N |
|
С = С (Aj..., Am) = 2] CjXj, |
(3.9) |
j=i |
|
где Cj — затраты на создание технического средства,
обеспечивающего определение /-го признака. И, наконец, в качестве показателя качества или эффективности про ектируемой системы распознавания рассмотрим функ ционал, зависящий в общем случае от функций 5( ЙР), R(QP, fig), решающего правила /.(&){(%}, т. е.
J=^[S(Qp); R(QP, Qg); Ц со, {ca*})]. (3.10)
.52
Пусть величина L (со, {cog}) представляет меру близости между распознаваемым объектом © и классом f i g , g = = 1, 2, . т, заданным своими объектами {cog}. В каче
стве этой меры близости будем рассматривать величину
£(®> {®*})= у |
^*(®. ®в) , |
(3.11) |
представляющую собой среднеквадратическое расстояние между данным объектом ю и объектами класса fig .
Решающее правило состоит в следующем:
(ö^ ü g, если L (со {<oÄ}) = |
extr L (со, {шг-}). |
Здесь важно подчеркнуть, что |
уменьшение величины |
.S(fip), т. е. «сжатие» объектов, принадлежащих каждо му данному классу, при одновременном увеличении R(QP, fig), т. е. «разведение» объектов, принадлежащих
разным классам, и обеспечивает в конечном счете улуч шение качества системы распознавания. Именно поэтому повышение эффективности системы будем связывать с достижением экстремума функционала J.
Постановка задачи может быть сформулирована следующим образом. Пусть все множество объектов под разделено на классы fi*, і'=1, 2, .. ., т, и априорно опи саны все классы на языке признаков Xj, /= 1, 2, . .., N.
Пусть на создание технических средств наблюдений в распоряжении создателей системы распознавания име ются ассигнования, величина которых равна С0. Требу ется, не превышая выделенной суммы средств, построить рабочий словарь признаков системы распознавания, обеспечивающий максимально возможную эффектив ность системы. Таким образом, задача сводится к на хождению условного экстремума функционала вида
(3.10), т. е. к определению Я,0, реализующего
extr J = extr F [S (Qp); R (fip, fi,); L (©, {<ofi})]
T |
T |
|
N |
при C = |
Cj2j < C0. |
i=1
Рассматриваемая подстановка задачи имеет геомет рический смысл. Однако, если учесть, что функция S (fip)
.характеризует эмпирический статистический ряд распре
53
деления объектов в р-м классе, а функция R(ÜP, Qq) —
взаимное расположение эмпирических статистических рядов, соответствующих классам р и q(p, q= 1,
то тем самым обнаруживается связь рассматриваемого подхода со статистическим подходом к распознаванию объектов.
В частных случаях построения рабочего словаря при знаков конкретных систем распознавания функционал (3.10) приобретает соответствующий вид. В том случае, когда требуемая эффективность системы распознавания может быть достигнута за счет более компактного рас
положения |
объектов |
каждого класса, задача |
сводится |
к нахождению |
|
|
|
|
min max [S(ü/)j. |
(3-12) |
|
|
X |
/ = І , . . а, т |
|
N |
и R(Op, Q.q) ^ R 0. |
|
|
при |
|
/=1
Если требуемая эффективность системы может быть достигнута за счет «удаления» друг от друга объектов* принадлежащих разным классам, то задачей является определение
max min [^(Qp, ü 9)] |
(3.13) |
X p, q—\ ......m |
|
N
также при ^ C jÄ j<C 0.
/=і
Еслинадлежащая эффективность системыможет быть достигнута только увеличением отношениярасстояний между классами к среднеквадратическим разбросам объектов внутри класса, то задача сводится к опре делению
[ в д э д ] (ЗЛ4>
N
при ^]C j2j<C 0.
І=і
Возможны и другие постановки задачи и соответствую щие им виды функционалов.
Решим задачу определения набора признаков, макси мизирующего минимальное расстояние между парами классов при ограничении на общую сумму стоимостей
54
технических средств измерения признаков [8]. Квадрат расстояния между парой классов определяется по фор муле
|
|
|
|
кѵ |
Kq |
|
|
я Ча е, а |
, ) ^ |
х , |
|
|
, |
(3.15) |
|
|
|
/=і |
k=\ /=і |
|
|
||
где р, q—1, |
.. |
т; |
l j = l , |
если /-й признак используется |
|||
в словаре признаков, или |
Я,3- = 0 — в противном случае. |
||||||
Все пары из т классов можно перенумеровать, вводя |
|||||||
один индекс |
г = 1 , |
где п = С2т = т ( т — 1)/2. |
|
||||
Если выражение в квадратных скобках (3.15) обозна |
|||||||
чить через |
, |
где |
г — номер |
пары классов, |
/ — номер |
||
признака, то расстояние для r-й пары |
|
|
|||||
|
|
|
N |
|
|
|
|
|
|
/ ? ; = Ѵ і іР; , г = і , . . . , й . |
|
(3.16) |
|||
Величина р1 |
характеризует |
информативность |
/-го |
при |
знака для г-н пары классов. Теперь нашу задачу можно
записать в следующем виде:
max |
min |
i^=^maxmin (Я • pr), |
Х3- = 0 , 1 |
] |
ХЕ Е Е і ' Г "_п |
(3.17)
N
V 3 С ■ < Г
/= 1
где
Я—-(Я„ ..., Я^); Рг—- (рдч ..., рг ),
Е = {Я; Я., = 0,1; (Я-С)<С0).
Таким образом, сформулированная задача является сложной и нетрадиционной. Она состоит в нахождении максмина с ограничением дискретной функции. В про стейших случаях, когда N-n сравнительно невелико, за
дача может быть решена простым перебором. В против ном случае для ее решения может быть применен метод штрафных функций, позволяющий приближенно свести задачу определения максмина с ограничением функции к безусловному экстремуму непрерывной функции.
55
Идея метода штрафных функций состоит в замене задачи отыскания относительного максимума функции F (X) при условиях фФ(Х) = 0 , і = 1, . . т, задачей отыс
кания абсолютного максимума функции
|
т |
|
ф (X) = |
F (X) - 2 Аі [?<« (X)]2, |
(3.18) |
где А і -— некоторые |
і=і |
|
положительные постоянные [9]. |
Функции Лфр^Х)]2 называются штрафными функциями.
Если условия связи выполнены, то Е ( Х )= ф ( Х) . Если нет, то второе слагаемое в правой части (3.18) характе ризует меру отклонения точки от поверхности фФ(Х)=0. Если теперь для отыскания максимума функции Ф(Х) применить градиентный метод, т. е. использовать рекур рентное соотношение
ТП
X k + i = |
X h + t v F |
(Xft) - |
t ' Z A i V [?<« (Xft)]2, |
(3.19) |
где t — величина шага, |
i=i |
|
||
|
|
|||
то второе |
слагаемое |
будет |
направлено таким |
образом* |
чтобы компенсировать дефект в выполнении условий свя зи. Чем больше будут числа Аі, тем больше будет штраф' за нарушение условий связи.
Рассмотрим задачу отыскания максимума функции F(X), определенной и ограниченной сверху на некотором, компактном множестве Е, при условии, что X удовлетво ряет условию ф(X) = 0 . Множество точек X ^ R , удов летворяющих этому условию, обозначим через М. Будемполагать, что множество М замкнутое. Построим функ
цию ф(Х)
|
_ |
I |
0, |
если |
Х ^ М |
|
|
|
|
|
( <[0, |
если |
X 0 |
М. |
|
|
|
Например, в качестве |
ф(Х) |
можно |
взять |
функцию |
||||
■—Ф2(Х). Введем |
в |
рассмотрение |
функцию |
/(X, |
X) = |
|||
= F(X) +лф (X). |
Обозначим |
через |
Х х |
точки, в |
кото |
рых функция /(X, X) достигает своего максимального значения на R при данном X. Обозначим через N множе ство точек Х х, когда X изменяется от 0 до оо. Так как
множество Е компактно, то можно выделить сходя
щиеся подпоследовательности точек {Хх}, обладаю
щие следующим свойством: lim Хх = Х^. |
Восполь- |
>.->00 |
|
5G
зовавшись теоремой три, доказанной в [10], можно ут верждать, что точки Хоо принадлежат множеству М и в этих точках функция F(X) достигает на М своего мак
симального значения, причем
F (X ) = Ііш max / (X, Я).
Х->оо X^zzE
Возвращаясь к нашей задаче, введем в рассмотрение функцию
ф (Ä) = И (Я- - |
h) - ІСо -(Я -С) - IСо - (Г- С) И2, (3.20) |
где X принадлежит УѴ-мерному единичному кубу |
|
L = |
{Х:0<ЯІ <1; |
Функция Ф(Х) = 0 тогда и только тогда, когда Х е£ , т. е. совокупность ограничений на к заменена одним ограни
чением Ф(X) =0. На |
векторах X, не удовлетворяющих |
|
условиям задачи, т. е. |
для X e L \ £ , |
функция Ф(Х)<0. |
Так как функция |
min (Х-рг) |
есть непрерывная |
_ |
1^г<я |
|
функция аргумента X, то к ней применима сформулиро ванная выше теорема о штрафных функциях.
Таким образом,
max min |
(Я- p^) == lim max [тіп(Я-pr) -f- ХФ(Я)]. (3.21) |
aGEE |
k-±oo X€E/- |
Так как слагаемое КФ (Я) не зависит от г, то его можно
ввести под знак min, т. е.
max min (Я-рг) ^lim jnax min [(Я-рг) Х Ф |
(Я)]. |
(3.22) |
|||
УЕЕкЕІг<Г ^Ln |
£->00 |
IzZ/^n |
|
|
|
Далее, воспользовавшись методом сведения |
максмина |
||||
к простому максимуму [11], имеем |
|
|
|||
max [min [(Я-рг) + |
ХФ (Я)] = |
|
|
||
= lim |
max |
| С — X, X [(Я • рг) + |
|
|
|
/<1-»00 (Х,£/)€Е£і I |
r_[ |
|
|
||
Ч- ХФ (Я) — С/ — |
I(Я- Pr) + ХФ (я) — и |]2 |
(3.23) |
57
где |
Lj = L • |
0, |
max- |
p(,! |
, T . |
e. L, |
представляет |
|
|
|
j=l |
' |
|
|
|
собой |
прямое |
произведение |
двух |
множеств: УѴ-мерного |
|||
куоа |
и отрезка |
|
N |
~ |
|
|
|
О, max |
Р(,) |
|
|
||||
|
|
|
1 |
)=1 |
|
|
|
Объединяя (3.22) и (3.23), имеем |
( |
|
|||||
max min |
___ |
|
|
п ___ |
|||
(Я- pr) = lim lim max |
<С7 — К, |
[(Я- рг) + |
|||||
л£ЕЕ l ^ r ^ n |
|
k~>oc ki^oo |
(K,U)£E~L I |
r _ I |
|||
|
+ K Ф(Я) — U - |
I (Я- Рг) + |
КФ(Я) - |
U\ f j. (3.24) |
Таким образом, искомый максмин с ограничением све ден к повторному пределу простого максимума некото рой функции. Однако пользоваться формулой (3.24) трудно в связи с необходимостью осуществлять предель ные переходы в определенной последовательности. Это затруднение удается преодолеть, если иметь в виду, что повторный предел в (3.24) равен двойному пределу вида
|
|
lim |
max |
Ш — |
|(Я- рг) ф |
|
||
|
|
|
GO (X .t/jG z Z -i ^ |
Г ~ 1 |
|
|
||
|
|
+/СФ(Я)—С/—I (Я-7г) + ^ф (я) - |
и |]2 1. |
(3.25) |
||||
Докажем это. Обозначим максимизируемую |
функцию |
|||||||
в (3.24) |
через |
?(Я, 17); |
ее |
производная |
по U равна |
|||
|
|
ду (Я, U)[dU = |
1 -ф 4Kl |
[(Я- |
pr) -ф |
|
||
|
|
|
|
|
|
r=1 |
|
|
|
|
+ КФ (Я) - U - |
I (Я-fc) + |
КФ (Я) - U |], |
(3.26) |
|||
при этом, если |
t/>maxmin |
[(Я- рг) -ф КФ(Я)] -ф 1/8/С,, то |
||||||
|
|
|
X^=:Ll^r^n |
|
|
|
||
d'f (Я, |
U)JdU < |
0 для любого Я £) L. Кроме того, |
f (Я, 17) ^ |
|||||
<17 |
для 'любого X ^ L . |
Следовательно, |
|
|||||
max |
<р(Я, U) < max min |
[(Я-рг) -ф КФ (Я)) -ф 1/8/С,. |
||||||
(T.U) |
|
х& |
1=&- |
|
|
|
(3.27) |
|
|
|
|
|
|
|
|
|
58