Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

книги из ГПНТБ / Журавлёв, Ю. И. Алгоритмы вычисления оценок и их применение [монография]

.pdf
Скачиваний:
53
Добавлен:
19.10.2023
Размер:
5.37 Mб
Скачать

ры к, Ej,

е2, , Вп

, 6, 7Р 7.,,

... , тт ,

вычислим

 

величины

Tj

j.

Они не зависят от 3[ ,

о,. Возможны следую­

щие случаи:

], ... , Г, ^S'. ) существуют, по крайней мере,,

а) в наборе 1^(5.

два равных по величине элемента.

Тогда при любом 8,,

отличном

от нуля, алгоритм отказывается распознать строку

;

 

б) в наборе l'j

),..., Г;

j имеется единственный мак­

симальный элемент Г;Д5. ]. Положим

 

 

 

г„ (

s 'i )

 

 

 

 

 

=у. (S. тj ( r . ( s ; ) - r , ( s , ) ) - ? ( s , ) .

\‘ Укt<<1

j - 1

Если не выполнено хотя бы одно из неравенств

* , < » ( $ ) . » , < > ( $ ) .

то алгоритм А откажется от распознавания строки Sl . При

одновременном выполнении

указанных неравенств алгоритм .4

каким-либо способом классифицирует строку

S. .

 

 

Пусть

 

 

min a(S’ V

 

 

 

 

 

 

 

 

о ^ =

= min Р (S,

].

 

 

 

 

sA mk v

1

s\*mk K

J

 

 

Легко видеть, что при фиксированных

параметрах

Ti.---.Tm»

ev

••• 1 ел — SUP ’т'д.

совпадают с max <1^ ,

min -ЬА

соответст­

венно, если 1

< £ < П г — 1 ,

 

 

1

 

 

 

 

 

 

 

 

 

 

 

v /< o 2< 1.

 

 

Нами доказана теорема Л,.

 

 

от параметров k,. е, 81f

о2,

Для семейств

алгоритмов,

зависящих

экстремальные

алгоритмы

первого, второго и третьего родов

кодируются

наборами

параметров

из

замкнутой

области:

1 < к п 1 ; 1 < е < k 1 ;

 

 

 

 

 

 

 

 

 

 

 

 

V-,,

,?/<г, < 1.

 

 

 

 

 

 

\ 1=1 ./

 

 

 

 

 

Обозначим

через с£Г множество значений параметровk, е ,,...

....

е„, е, Ti.---.Tm. ?Jv

 

определяемое

условиями:

к, е — це

лые

числа, е < k,

 

 

 

 

 

 

 

 

 

 

\ < к

г . п - ] ,

0

- S.

р™,

г =

1 ,

2 , ... , я,

 

60

 

В теореме А 2 inf <£Г^л , s u p s ^ ^

достигаются

в точках мно­

жества

 

 

 

 

 

 

 

 

 

 

 

Каждую строку S t из М к любой алгоритм А

может или от­

нести к одному из I классов, или

не

классифицировать.

Таким

образом,

число

различных

состояний S L в алгоритме А конечно.

Количество строк в М к также

конечно.

Поэтому

 

функционалы

4)а,

'Д,, определенные в

(IV.2)—(IV.4) (они же являются функция­

ми,

заданными

на

принимают назаданном пространстве {А}

{на я?') лишь

конечное

число

значений.

 

Из последнего факта

легко следует доказательство теоремы

А-,

 

 

 

 

Теоремы А, и А2 показывают, что задача построения экстре­

мальных алгоритмов полностью сводится к

отысканию максиму­

мов или минимумов функции многих

переменных.

Для

нахож­

дения экстремумов могут быть

применены

методы

переборного

типа (при небольшом числе

целочисленных

параметров),

гради­

ентного типа или методы случайного поиска.

 

 

 

Даже

при

больших

таблицах

A'IR

и

М к задача построения

локального (а иногда и глобального) экстремума решается с по­ мощью современных ЭВМ, в связи с чем вид оптимизируемых функций весьма специфичен. Использование указанной специфики позволяет строить достаточно экономичные алгоритмы оптими­

зации.

Рассмотрим случай, когда таблицы для множеств MR, М к яв­

ляются бинарными, т. е. заполненными символами 0, 1. В этом случае параметры г,, г.,, ... , еп , г не участвуют в описании ал­

горитмов, и алгоритм полностью определяется заданием пара­ метров k, тг, ... , уш, о,, 3.,. Приведем два подсемейства алгоритмов,

первое из которых задается набором параметров k,

... ,

3,.

Процесс построения экстремального алгоритма может быть про­ веден следующим образом. Выбирается начальное k0. При фик­ сированном /г0 отбирается экстремальная величина параметров

Tfj,..., 7°г, 3°. Запоминается значение функционала при па­

раметрах, заданных таким образом. Изменяется значение k и

при

новом k = k l находится новый экстремальный набор

, fo ,

••• .

•" >Тщ! 8J •

Для

ускорения

времени

вычислений в качестве

 

на­

чальной точки

спуска используется

, ... , чЯ1, 3“ .

 

 

 

Снова

рассчитывается

значение

функционала

и из

двух

полученных ранее наборов параметров оставляется тот, который

6!

дает функционалу Ф., наибольшее значение. Процесс повторяется

для всех допустимых значении величины k.

30 происходит

При оптимизации в подсемействе k, ур ... , ут ,

аналогичный процесс перебора по

параметрам к,

32. Параметр k

принимает целочисленные значения,

величина параметра 32 колеб­

лется в интервале

где ^ ~ число классов.

Изменение па­

раметра о, происходит с фиксированным шагом Д.

Для того, чтобы строка St е М к была занесена в свой класс, необходимо и достаточно выполнения неравенства

г, (s;) > *, [г, (s; )+ ...+r,(s;)+ -+ г, @)].

Написав указанные неравенства для всех строк таблицы, задаю­ щей М К, получим систему линейных неравенств относительно

параметров у,, ... , ут . Задача оптимизации алгоритма А по этим параметрам сводится к указанию набора у*, ..., у^, удовлетво­

ряющего наибольшему числу указанных линейных неравенств. Такая задача, как известно, решается методами градиентного типа. Параметр 32 входит в правые части неравенств в виде про­ изведения с параметром у. , поэтому одновременная оптимизация

по у ’ , ... , ут , 3., приводит к решению нелинейной задачи.

§ 5. Экстремальные информационные веса признаков

Введенные выше (гл. III) понятие меры важности (информаци­ онного веса) признаков, а также формулы для их определения ис­ пользуют процедуру голосования. Голоса, в свою очередь, подсчи­ тываются с помощью одного из алгоритмов вычисления оценок. Сами же алогоритмы задаются шестью основными этапами, на каждом из которых имеются широкие возможности для вариации определенного числа параметров. Так, па этапе организации фун­ кции близости задавались некоторые положительные числа ei, 62,-.'., еп, обусловливающие значение этой функции. Очевидно, ва­

риация данных чисел приведет к той или иной степени «жесткости» при установлении функции близости. Можно их задать, например, так, что ни одна пара сравниваемых строк в таблице не даст зна­ чения r(a>S, o)S ) = 1, н, наоборот, можно так «смягчить» условие

задания этих величин, что все строки таблицы окажутся близкими. Естественно, случаи, имеющие реальный смысл и практический интерес, лежат между двумя крайними альтернативами.

В силу изложенного, значение числа голосов Г(1 (S) для раз­

личных модификаций алгоритма будет получаться также различ­ ным, поэтому и информационный вес признака p(i) при их использовании будет неодинаковым.

8?.

Таким образом, p{i) становится

функцией алгоритма, и каж­

дому алгоритму At из некоторого

их множества |А} можно со­

поставить

множество Pt значений информационных весов pt (1),

р (2), ... .

pt (n) признаков, входящих в описание объектов.

Если теперь по указанным выше (§ 4 гл. IV) методам постро­ ить экстремальный алгоритм А® и с его помощью вычислить р (i), то полученные таким образом информационные веса признаков /?® (1), р* (2), ... , р ®(я) можно назвать экстремальными.

Применяя понятие экстремального алгоритма, описываем не­ сколько пион подход к определению меры важности признака или совокупности признаков. Ввиду того, что этот подход одинаково применим не только для установления веса признака объектов рас­

познавания, но и для вычисления оценки

важности параметров в

любой тем пли иным образом организованной системе,

он описы­

вается в более обобщенном виде.

~

и набор

алгоритмов

Пусть снова заданы множества {Z}, \Z)

(А). Будем считать, что все алгоритмы из )А) пользуются лишь

строго

определенной

 

информацией о задачах из \Z). Заранее

задано

множество х 4,

х.;,

... , х п

параметров,

которые полностью

обусловливают задачу

 

Z.

Алгоритмы из (А)

решают задачу

Z

используя все (или только некоторые)

значения

параметров

х,,

х.„

... ,

х п ,

а

также

информацию

 

о ранее

решенных задачах.

Здесь

подразумевается,

что имеется таблица со значениями

пара­

метров ранее решенных задач и полученными ответами.

 

 

 

Предположим сначала, что решение проводится

при наличии

полной информации

о задачах с помощью алгоритма

А. Это озна­

чает, что известны значения всех параметров,

описывающих

за­

дачу Z, а также значения всех параметров ранее решенных задач.

Пусть при таких условиях эффективность алгоритма

А есть

 

 

Удалим

теперь

из

описания

 

задач Z значения

параметров

х. , ...

, x ik.

В

новых

условиях вычислим эффективность алго­

ритма А. Пусть она равна Ф4 (х. , ... ,

х(-й).

 

 

 

 

 

 

О п р е д е л е н и е.

Величину б 4

— б4

(х^ , ... , xifc ) = р (хг ,... ,

••• ’

х ‘к )

назовем

весом

или важностью набора параметров х г

,

...,

...

x ik

в алгоритме

А.

Если /г— 1,

величину

б4 —

(х .)

назо­

вем важностью параметра х. в алгоритме А.

 

 

 

 

 

 

Пусть А =

А® есть экстремальный алгоритм.

х,й ) назовем

 

О п р е д е л е н и е .

 

Величину

б4,|; —

б4е(х;

, ... ,

весом р* (хл , ... , xift)

набора

параметров x t , ... ,

хп .

 

 

 

Понятие веса набора параметров может быть несколько

видо­

изменено.

Пусть

при

 

кодировании

задачи набором параметров

-vi > л'.,> ■■■, х п экстремальным

является

алгоритм

А®. После уда­

ления

из

описания параметров

х.

,

... , x ik задачи

Z переходят

в другие

задачи

Z

,

 

 

 

 

 

 

 

 

 

 

 

 

 

63

Найдем экстремальный в том же смысле алгоритм, подставив

вместо |Z)

множество

(Z

 

 

\.

Обозначим

новый

экстре-

 

 

 

 

 

 

 

Г '1....r'* J

 

 

 

 

 

 

 

мальный алгоритм через Л*.

Пусть

'iл*, б~, — эффективности

ал­

горитмов

Л5, Л* соответственно.

 

 

 

 

 

 

 

 

О п р е д е л е н и е .

 

Величину р* ^.v. ,

... ,

 

 

 

 

назо­

вем экстремальным весом набора параметров х. ,

 

,

x i .

 

 

Рассмотрим

применение

введенных понятий

к задачам

рас-

познавания

образов.

 

Пусть

по

множествам

M R и М К построен

экстремальный алгоритм

Л и 6Д4 — эффективность

Л*.

 

 

Удалим

из MR и МК столбцы с номерами

,

i0,

... ,

it. По­

лученные таблицы

обозначим

через

M R ( г,,

i.,, ...

,

i(),

Мк ( iu

i }, ...

, ity

По

этим

таблицам

вычислим снова

эффективность

алгоритма

 

Л® — величину

 

 

 

... , г,).

Очевидно,

 

 

( iv

i„, ...,

г,)

есть

вес

набора

параметров

(признаков) с

номерами iv i2, ... , it.

 

 

 

 

 

 

 

 

 

 

 

Построим по таблицам M R ( iv

г2,

, ... , it ), Мк (

гр i2, ... , г,)

новый экстремальный

алгоритм Л®

и рассчитаем

его

эффектив­

ность

v~

[

iv i2, ..., г’/). Очевидно,

 

( г\, t2, ... ,

it ) есть

экстремальный

вес

набора

параметров (признаков) с номерами

ly, г2,

... ,

i t.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

§6. Выбор длины голосующих наборов в алгоритмах вычисления оценок

При формализованном задании алгоритмов вычисления оценок существенную роль играет правильное определение длины k

голосующих наборов ш. В качестве последних,

как

правиле»

выбираются наборы фиксированной длины

k. В некоторых

слу­

чаях

используются всевозможные

подмножества

наборов

опор­

ного

множества Q.

случая

бинарных

таблиц

Тпп

объектов

В [65] для

частного

распознавания

с равновероятностным появлением

в строке

еди­

ниц и нулей,

удовлетворяющих

условию

 

 

 

 

 

 

 

-Щр- <

п. <

m? ,

 

 

 

(IV.5)

где

 

 

 

 

 

 

 

 

 

 

 

р =

---- е, s = const, 8 >

0;

 

 

 

_

1

>.n ,

^

>-

> 0

 

a

2

lo g m ’

Iog m

 

 

 

приведена приближенная формула для выбора к:

 

k = 2 log m — log £ — In ( w1/,ogma_

1) J — 2 4- logp,

(IV.6)

причем l <p<^2.

 

 

 

 

 

(IV.5),

Из характера рассмотренных таблиц ТПП1 и ограничений

накладываемых на

них,

подсчет

величины к по формуле

(IV.6)

оказывается во многих практических случаях не наилучшим и даже неприемлемым, особенно для таблиц с иным законом распределе­ ния единиц и нулей, чем это принято в [65]. Очевидно, данный не­ достаток будет проявляться сильнее тогда, когда будут ставиться менее жесткие и более отличающиеся от (1V.5) условия и ограниче­ ния на формирование таблиц Тпт-

Более того, в таблицах объекты могут представляться призна­ ками, заданными на произвольном числовом алфавите.

В данном параграфе предлагается подход к определению k, основанный на естественном соображении о том, что длина голосу­ ющих наборов должна выбираться исходя из изучения степени близости объектов внутри класса и выявлении среднего числа совпадающих столбцов одного и всех заданных классов таблицы.

Будем считать, что искомая величина к зависит от степени бли­

зости строк по классам, т. е. в общем

виде можно

написать, что

k = f ( r , i y ,

 

(IV.7)

здесь г — число совпадающих столбцов двух сравниваемых строк

для бинарной таблицы объектов или число совпадающих

с

точ­

ностью до

признаков

в

таблице

объектов

произвольного

ал­

фавита.

 

 

 

Т

t подсчитываются

величины:

 

 

По классам таблицы

 

 

 

 

ш,

 

 

 

 

 

 

 

П =

 

---Т2--------- , [t =

1, Щ , j 4= t),

 

 

 

 

m3

 

 

 

 

 

 

 

r2=

 

. 2

r ( S t , S j )

_____________

 

 

 

- J

------------ , ( t = mx + 1, m,t / ф t),

 

 

 

 

y=mj_i+l

r { S t , S j )

 

 

 

 

Г =

 

 

(* = OTi_1 + 1, пг, } ф

f).

 

 

 

 

5 -6 0

65

Величины г,, г.,,..., rt — есть средние числа совпадений приз­ наков по объектам классов Л4, Л".,,... Kt соответственно.

С учетом числа классов можно теперь получить среднее значе­ ние количества совпадений признаков для всей заданной таблицы

Т„т1 '•

пч

,

2

 

 

1_ ^

/=»»;_!+ 1____

/7г(_ р ml , j

Ф

h i

°

здесь /?г0 = 0.

Принимая во внимание свойства числа сочетаний С* , длину k

голосующих наборов можно определить с помощью ближайшей целой части числа, получаемого из выражения

mi

^ = 4 т - ^ ] - ; г т

г 2'------------------. ( * =

+ л*|, •/¥=*)• (IV.S)

1=1

mr

mi-i

1

Анализ выражения

(IV.8) показывает, что при установлении ве­

личины k учитывается не только размер таблицы Тпт как это де­ лается в [18], но и количественные оценки степени близости объ­ ектов по классам таблицы. Таким образом, в этом случае длина голосующих наборов в алгоритмах голосования оценивается на основе выявления специфических особенностей заданной таблицы объектов распознавания.

Предложенный подход к определению длины голосующих набо­ ров в алгоритмах вычисления оценок применим для более мощных таблиц объектов, заданных признаками произвольного алфавита. Если величину k рассматривать в качестве одного из варьируемых параметров при оптимизации алгоритмов вычисления оценок, то найденное по формуле (IV.8) его значение может быть принято как исходное при реализации схем оптимизации.

§ 7. Выбор е^порогов по таблице объентов распознавания

Как видно из § 4 этой главы, при проведении оптимизационных процедур для получения экстремальных алгоритмов вычисления оценок большую роль играет правильный выбор первоначальных (исходных) значений еь £=1, 2, ..., п. Фактически во многих прак­ тических задачах количество ei определяет размерность простран­ ства оптимизации.

Если о si нет никакой априорной информации (например, зада­ ваемой экспертами), то приближенные значения ei могут быть по­ лучены на основе информации, заложенной в таблицу обучения.

Найденные таким образом значения 8i могут быть приняты как начальные для процедур оптимизации алгоритмов.

66

Пусть задана таблица Тп т. Ее можно преобразовать в более удобную для дальнейшего рассмотрения таблицу Тпт , элементы которой выводятся нормировкой соответствующих элементов Упт по формуле

 

 

а'

аЧ

(IV.9)

 

 

Ч

т

 

 

 

V

а2

 

 

 

d

ч

Выделим из

таблицы Tnm

I-й столбец и определим s1 - порог

для i-ro признака следующим образом.

1.

Преобразуем г'-й столбец так, чтобы соблюдалось отноше­

ние at

>- а. > ...

а.и > ... а.т (для второго индекса сохранено преж­

нее обозначение у). Такое изменение возможно, потому что при

вычислении е;

совокупность элементов столбца

рассматривается

как некоторый числовой набор.

 

 

 

 

 

 

 

 

 

 

 

2. Образуем

разности

между

элементами

преобразованного

столбца по схеме

 

 

 

 

 

 

 

 

 

 

 

 

 

п

а , - o > “ п

а г з ’

• • • У

 

• •

 

‘ *

 

п

*

1 т

 

 

 

 

 

 

 

1

 

 

 

 

* 1 2 -

а Ю

1 2 -*

*

Н

.

. .

,

a

l 2

°

1 т

 

 

 

 

 

 

 

 

 

 

 

 

а / з ~

*

I

V

 

• •

>

а / 3 -

а

ш

(IV,10)

 

 

 

,J'im

 

J'iт 1

>

a im - 2

a im

 

3. Просуммируем все члены в схеме (IV. 10).

Сумма после некоторых преобразований может быть записана в виде

(ОТ -

1 ) а п -

1

------------1

 

+

 

1

или окончательно так:

т — 1

т

2

* и

+

( от — 2 ) а]

У=2

 

) ]

т

 

 

 

t

 

 

 

 

 

• • •

+

d.1т—1 -

2

«;■lj

 

 

 

j= m

J

 

2

( m - j ) а..- j а

(IV.11)

 

;=i

 

4.

Разделим (IV.11) на количество

приведенных в схеме вы­

числений и полученное частное примем за значение ^ - порогов по г'-му признаку, а , т. е.

67

т —1

 

2 [ {т-Л «'ij-Jz'tj+i ]

 

j =i________________

(IV.12)

 

где С2 — число сочетаний из да по 2.

т

Для задания обобщенного значения Е - порога по всем приз­ накам таблицы Тпт может быть записана формула

п т

2 2 [

5

а'ч - j v h ]

(IV.13)

Е = ■1=1 Ё- i----------

.

п ' С т

Однако может случиться так, что применение обобщенного по­ рога для всей таблицы будет слишком грубым и, следовательно, качество распознавания — невысоким. В таких случаях, по-видимо­ му, необходимо вместо одного Е пользоваться двумя или несколь­ кими порогами, каждый из которых будет представлять определен­ ную группу близких (по значениям ег) признаков. С увеличением числа таких групп точность решения практической задачи будет приближаться к той точности, которая получается при использова­ нии всех в*-порогов признаков (еь в2, . . . , ел).

I

Г л а в а V

ПРИМЕНЕНИЯ АЛГОРИТМОВ ВЫЧИСЛЕНИЯ ОЦЕНОК

Существует большое количество методов, которые, не имея стро­ гого обоснования, дают значительный эффект при решении практи­ ческих задач. Такие методы обычно формируются при наблюдении за исследуемыми объектами или основываются на «правдоподоб­ ных» соображениях. После разработки они проверяются на неко­ тором количестве эталонных задач и, если применение их оказыва­ ется удовлетворительным, методы получают право на существо­

вание.

Процедуры указанного вида обычно называют эвристическими. В большинстве случаев для эвристических алгоритмов нетрудно указать задачу, при решении которой алгоритм не тольке не эффек­ тивен, но дает заведомо неправильное решение.

Появление и широкое распространение эвристических процедур связано прежде всего с существованием большого количества при­ кладных задач, при решении которых трудно или невозможно применить методы, обоснованные по всем стандартам математиче­ ской строгости. По-видимому, следует попытаться построить стро­ гую теорию «нестрогих» процедур и методов.

При этом возникает множество проблем: когда можно считать эвристический алгоритм пригодным для решения прикладных за­ дач, как сравнивать между собой такие алгоритмы, как проводить хотя бы частичное их обоснование и т. п.

Рассмотренные в предыдущих главах алгоритмы вычисления оценок, а также основные принципы, заложенные при их построе­ нии, в какой-то мере определяют подход к проблеме обоснования эвристических алгоритмов, их сравнения и построения наилучших

внекотором смысле, нестрогих алгоритмов.

В§ 4 гл. II уже были сформулированы некоторые задачи, ре­ шаемые указанным классом алгоритмов, а также выявлены воз­ можности их практического применения.

Описываемые ниже примеры ни в коей мере не исчерпывают всех аспектов практического применения алгоритмов вычисления оценок, а скорее служат иллюстрацией для использования сформу­ лированных теоретических построений.

80)

Соседние файлы в папке книги из ГПНТБ