Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

книги из ГПНТБ / Журавлёв, Ю. И. Алгоритмы вычисления оценок и их применение [монография]

.pdf
Скачиваний:
53
Добавлен:
19.10.2023
Размер:
5.37 Mб
Скачать

Г л а в а IV

ЭКСТРЕМАЛЬНЫЕ АЛГОРИТМЫ ВЫЧИСЛЕНИЯ ОЦЕНОК

§ 1. Параметризация и система моделей алгоритмов

вычисления оценок

Во второй главе были описаны алгоритмы вычисления оценок,, которые определяются заданием шести основных этапов:

1)выделяется система подмножеств признаков (опорных мно­ жеств алгоритма) для дальнейшего анализа распознаваемых объ­ ектов;

2)вводится понятие близости в множестве частей объектов как участвующих в обучении, так п подлежащих распознаванию;

3)дается правило, позволяющее по вычисленной близости между объектом, участвующим в обучении, и объектом, подлежа­ щим распознаванию, найти оценку пар объектов;

4)по полученным оценкам для пар объектов формируются ве­ личины оценок для каждого из классов по фиксированному под­ множеству признаков;

5)строится суммарная оценка по всем опорным подмножест­

вам для каждого из классов Кх, К0, ... , Кй

6) к найденным

для классовоценкам Г]5

Г2,

... , Г,

приме­

няется решающее

правило,

относящее распознаваемый

объект

к одному из классов или

отказывающееся

от

классификации

объекта.

После описания алгоритмов можно осуществлять их параметри­ зацию. При конкретном определении этапов рассматриваемого класса алгоритмов удается задать ряд численных параметров, вариация которых приводит к различным моделям. Если в качест­ ве системы опорных множеств возьмем совокупность всех подмно­ жеств мощности k множества (1, 2, ... , /?.), функцию близости зададим в виде

О, если u>S ^ wSa .

50

для оценок положим

шГ (S, S9) =

r(cuS, ш5? ),

 

 

ти

 

 

 

1 ' , Й =

2

*r is - s -y-

r " (S )= 2

r . W .

 

q -ш„ —г!-1

м ^ а л

 

а решение будем принимать, сравнивая величины

(S), ... , Г,(5)

по принципу простого большинства, то построим модель, зави­ сящую от одного параметра k. Очевидно, что семейство алго­ ритмов, идентифицируемых данной моделью, содержит п алго­

ритмов.

Если же отнесение строки 5 (принятие решения) к классу Ки производится при выполнении условия Гц (S) — Г . (S) > 8j ,

и у, и---- 1, 2, ..., /, у — 1,

2, ..., /, то получится модель,

учи­

тывающая два параметра /г

и о,. Добавление в решающее

пра­

вило условия

 

 

Iи2

^T j(S)

7=1

приводит к трехпараметрической модели, зависящей от пара­ метров k, о,, 8,.

Предположим теперь, что функция близости задается а виде

 

1,

если

р

. е ,

 

г

 

р > s ,

 

 

О,

если

 

где шS = (<

а0;

h

 

h )

 

 

 

 

р — число невыполненных неравенств

вида

 

 

| я! - Р г| < 6Р *' = 1. 2- - . * •

 

Тогда необходимо

рассматривать дополнительный ряд числовых

параметров гр г2,

, sn и порог

s, т. е.

 

мы получим

модель,

зависящую от п -j- Т параметров.

 

 

количество

числовых

Таким образом,

привлекая различное

 

параметров, можно строить модели различной сложности. Выше

мы ^ описали

однопараметрические

(k),

двухпараметрические

(/г, о,), трехпараметрические

(/г,

8,, о.,) и (п

4)-мерные модели.

Назовем

(/г),

(k,

о,), (k, о,,

о2)

модели

малопараметрическими.

Модели,

зависящие от (/г +

4)

параметров,

при п <СП0

также

отнесем к группе

малопараметрнческих,

(/г +

4)-мерные

модели

при 1 0 5 0

 

будем именовать

среднепараметрическими мо­

делями оптимизации.

 

 

 

 

 

 

51

Важным частным случаем

(я + 4)-мерных, или (г,, г2, ...,

sn<

s, к, 8,, 82)-моделей является

пятипараметрическая модель,

по­

лучаемая при Sj = е2 = • • • = £я.

 

В прикладных задачах признаки, задающие объекты, делятся на сравнительно небольшое число разнородных групп. Признаки внутри группы однородны по характеру. Пороги г. для призна­

ков одной группы совпадают. Таким образом, для практических задач описанная нами -- 4)-мерная модель обычно содержит 5 — 10 параметров.

В классе алгоритмов вычисления оценок могут быть постро­ ены и более сложные многопараметрпческие модели.

Рассмотрим следующее пространство алгоритмов.

1. Система опорных множеств совпадает со всеми подмноже­

ствами мощности

k

множества

(1,

2, ...,я | (семейство

2/().

Вы­

бор опорной системы сводится к различению параметра

k.

 

2.

Функция

близости

задается

так

же, как

при построении

(я +

4)-мерной модели.

фиксированного

опорного

множества:

3.

Оценка по строкам

 

0)Г (5 . S„) =

Ti (Sq) г (wS,

 

+ д2 (5?).

 

 

 

Задаем оценку шГ как линейную функцию от величины

 

 

.

Коэффициенты

 

f2

являются

параметрами,

зависящими

от

строки S . Следовательно, полное задание

величины

шГ требует

параметров 1'! (Sj),

..., Ti (s m);

T2(5i)> — >T2(5™)-

Всего

необхо­

димо задать параметров.

 

 

 

 

 

 

 

 

 

4.

Оценка Гц(ш)

по

фиксированному

опорному

множеству

АГ~:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(i>

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

r e W = Тз(ш. «)

 

2

шГ(5 , 5 ?)-

 

 

 

Полное задание Гц (ш)

требует наличия С* -I параметров т3 (ш, я) .

5.

Оценка

 

 

гц(5) =

2

т4(“)г„й-

 

 

 

 

 

 

 

 

 

 

 

 

Полное задание оценки требует наличия Скп параметров д4 (сн-).

6.

Решающее правило определяется заданием двух известны

параметров 84,

82.

 

 

 

 

 

 

 

 

 

 

 

 

 

52

Таким образом, мы получаем отображение класса алгоритмов (моделей) на параметрическое пространство

k,

Ej, ••• , е „> S1 Т: ( S i ) ,

I I ( ^ m ) i

>

To ( ^ ш ) ’ ( Ш1> ^ ) >

 

....... 73 ( ‘°r;*-

l)’ -

.Ts

| “ cb

/ )>

 

7.i ("i).

•■■•T4 ( tuc*)’ Si’ S2’

 

 

t.

e. алгоритмы задаются

набором С* ( / +

1) +

+

/г-|-4пара­

метров.

Данная модель представляет собой общую модель оптимизации

врассматриваемом классе алгоритмов и из нее при необходимости могут быть получены все описанные выше частные модели.

Реализация этапа параметризации, т. е. взаимно однозначного сопоставления алгоритму набора числовых параметров, позволяет принципиально ставить задачу оптимизации в этом классе алго­ ритмов и наметить возможные пути проведения оптимизационных процедур в пространстве параметров. Оптимизация осуществляется

внекотором я-мерном пространстве или его области в зависимости от того, каким набором параметров идентифицируются алгоритмы. В этом смысле задача оптимизации алгоритмов распознавания

превращается в обычную задачу многопараметрической оптимиза­ ции, которая может быть решена различными методами с исполь­ зованием алгоритмов как регулярного, так и статистического (слу­ чайного) поиска [60].

При решении оптимизационной задачи, как правило, предвари­ тельно задается некоторая исходная точка. С нее начинается поиск, определяется функция (или функционал), значение которой пока­ зывает эффективность очередного шага для выбора направления дальнейшего движения, формируется критерий конца поиска и т. д.

В процессе оптимизации необходимо стремиться к модели алго­ ритма, обеспечивающей минимальные значения функционала. Данный процесс оптимизации отличается от обычных оптимизаци­ онных схем тем, что каждое значение функционала получается в результате вычисления оценок на заданной таблице Тпт. Поэтому

вопросы сокращения времени вычислений приобретают здесь исключительно важное значение.

§ 2. Функции эффективности алгоритмов

В данном параграфе рассматриваются некоторые функции, на­ зываемые в зависимости от конкретного содержания решаемой за­ дачи функциями эффективности или неэффективности. Введение их позволяет сформулировать понятие экстремальности алгоритма из заданного множества алгоритмов.

53

Материал, изложенный в этом и последующих параграфах дан­ ной главы, более четко формулирует н обобщает некоторые поло­ жения, частично представленные в гл. III.

Проанализируем три множества [Л], (Z), { z } ,

{ zczj

fZ ) .

Элементы А множества (Л) назовем алгоритмами, элементы Z

мно­

жества {Z} —задачами и элементы Z множества \Zj — эталонными

задачами,

или эталонами.

(Z) для каждого алгорит­

Будем

считать, что на множестве

ма Л из

{Л) существует функция

(Z) — эффективность реше­

ния задачи Z алгоритмом Л, ®4 (Z),'--0.

1. Если {Z) — совокупность задач нахождения абсолютного экстремума функций f [ x v х,, ... , х п) из заданного класса, {^4)—

набор алгоритмов нахождения абсолютного экстремума таких ф у н к ц и й , — абсолютный экстремум функции / , mf (A)— ре­

зультат применения к / алгоритма Л, то в качестве функции эффективности можно рассматривать

(Л —|т^_ т^А) i +i'

2. Если (Z) — совокупность задач вычисления фиксированного предиката Р на различных элементах Ж множества /VI, (А| — совокупность алгоритмов для решения этих задач, Р(М) — зна­ чение Р на Ж, РА (Ж) — значение предиката на Ж, рассчитан­

ное при помощи алгоритма, то можно положить, что

<?, (Ж )=

II,

если Р(М) =

Р (Ж),

к '

Аv

л

[0,

если Р (Ж) Z P

(Ж).

Будем также считать, что дл_я эталонных задач Z функция

<?A [z) задана или может быть просто вычислена (Ле (Л}).

Пусть Т/ ( z ) , Z — совокупность всех пар, таких, что

Z e { z } .

На множестве эталонных задач задана эффективностьалго­ ритма Л, Ле(Л) при условиях:

Г если

= ЬА

( z ) , Z -+0,

если для любой задачи Z выполнено неравенство

cpA ( z ) < ? 5 ( z ) , ЛBe, [А], то Рассмотрим примеры функций

1) Фд - inf ?д Й ; Ze U)

54

где \Zj

— измеримое множество и р-

— мера на \ Z j ;

3)

 

= - ^ г f T ,( z ) v ( z W { z } ;

 

 

 

 

 

 

iA\z / (Z,

 

 

 

 

 

здесь

v \z} " О — важность задачи Z,

установленная

на

множе­

стве

{ z } .

 

 

1) —3),

удовлет­

Функции бл , определенные соотношениями

воряют

условиям

1 ° —2 °.

 

хотя бы один ал­

Во множестве алгоритмов {Л} существует

горитм

А-, на котором реализуется т а х б л . Такие алгоритмы Л*

в дальнейшем будем называть экстремальными.

рассматри­

Вместо функций

эффективности бл (Z),

можно

вать функции неэффективности с?л (Z), <ЬА. В этом случае сле­ дует считать экстремальными алгоритмы, на которых реализует­

ся min tb..

А' { А )

Вдальнейшем мы будем описывать экстремальные алгоритмы

и способы их построения. Если экстремальный алгоритм найден и его применение для решения задач (Z) достаточно эффектив­ но, то в некотором смысле решена задача об обосновании алго­ ритмов из (Л) и их сравнении между собой.

§3. Экстремальные алгоритмы в задачах

распознавания образов

Пусть заданы

метрические

пространства

М 2, ..., М п с

метриками рр р2, .... , р

соответственно.

если а.еМ {, i =

Назовем

набор

( а р а2, ..., ап)

допустимым,

= 1, 2, ..., п. Обозначим

множество

всех допустимых наборов

через D. В

дальнейшем

будем предполагать, что существует

разбиение

D

на

систему

непересекающихся

подмножеств Кх,

К2, ..../С,, которые назовем классами.

 

Пусть также заданы

множества M R и М к при условиях:

1°. M r c .D,

Ж ^ С Д

 

 

 

 

 

 

2°. Kt [\M R непусто,

i =

1,

2,

...,

I.

 

55

Множество M R назовем решающим и М к — контрольным, если известны (заданы) Kt p[MR, Kt [\М К, / = 1, 2,

О п р е д е л е н и е 1 . Алгоритм решает задачу распознавания по решающему множеству M R, если для любого элемента D с ис­

пользованием только информации об элементах M R алгоритм А

выдает номер из множества (0, 1 , 2 ,

, /).

 

то будем

по­

Если алгоритм выдал

номер /, отличный от 0,

лагать, что А занес

предъявленный

элемент

из

D в класс

.

При

выдаче символа 0

алгоритм

отказался

от классификации

(распознавания) элемента из D.

множества M R,

М к ,

Кх,

К2 ,

В дальнейшем будем

считать

,...,

А' измеримыми.

Положим

M R п А,. = Kv i — 1, 2,

..., /.

 

Сопоставим алгоритму А разбиение множеств К, на непересекающиеся подмножества Kip j = 0, 1,2, ...,/. К множеству

Ку отнесем все объекты из KR зачисленные алгоритмом А в

класс K p j ^ O . В множество К10 отнесем

все элементы

из ЛГг,

которые алгоритм А отказался классифицировать.

 

О п р е д е л е н и е 2. Величину

 

 

 

 

 

(IV. 1)

назовем эффективностью алгоритма А, если

все Кп, i = 1,

2, ..., /

измеримы. Здесь |а (jWa-), и.

, / = 1 , 2 , . . . , / — меры множеств

Мк , Кп соответственно.

Вреальных задачах классы Kv ..., Kt не всегда важны в

равной степени. Может оказаться, что правильное распознавание объектов из Kt более важно, чем объектов из Кг

Если известны величины -fj, -'0, ..., ^г, характеризующие „важность11 классов Kv ..., Kv то эффективностью алгоритма А естественно считать величину

(IV.2)

Пусть задана совокупность (А) алгоритмов, решающих задачу распознавания.

О п р е д е л е н и е 3. Алгоритм А является экстремальным алгоритмом первого рода, если на нем реализуется

56

Здесь

может быть определена

равенствами (IV. 1)

или

(IV.2).

Рассмотрим

величины

a . ., / =

1, 2,

/, j — 1. 2,

 

/, /=£/

и величины рг,

i =

1, 2,

Назовем

а., штрафом

за

отнесе­

ние элемента из класса К{ в класс Kj

и fl. — штрафом

за

отказ,

от распознавания элемента из Kt алгоритмом распознавания.

О п р е д е л е н и е

4. Величину

 

 

 

 

будем считать неэффективностью алгоритма Л, если все множе­

ства K,j, 1 <

i - /; 1

< j < l измеримы;

здесь jj. [к ^

мера

мно­

жества ДО.

 

классы Kv ...,

Kt равноценны,

все a.tj равны

В случае,

когда

между собой.

5. Алгоритм

Лесть

экстремальный

алго­

О п р е д е л е н и е

ритм второго рода,

если на нем достигается нижняя грань б4 .

Если заданы также величины a..,

i =

1, 2, ...,

/ — меры

по­

ощрения за

правильное распознавание

элементов

класса Kv эф­

фективность

6 ^ определяется формулой

 

 

 

! < / < / ; 1 < /'

(IV.4>

Алгоритм А, на котором достигается верхняя грань <Ь4 (см. (IV.4)), считается экстремальным алгоритмом третьего рода.

§ 4 . Построение экстремальных алгоритмов вычисления оценок

Процесс отыскания экстремальных алгоритмов вычисления, оценок распадается на этапы описания

I. множеств D , MR, М к ;

II.множества (Л);

III. способа вычисления <Ь4, Ф4 ;

IV. оптимизации алгоритмов в пространстве параметров.

I.

Так же, как в § 1

гл. II, множества MR, М к допустимых

наборов D будем задавать в виде таблиц, в которых наборы по

вертикали упорядочиваются

следующим образом. Сначала выпи-

57

сываются элементы класса Kv затем АГ, и

т.

д.

Множество M R

состоит

из

объектов

5^5.,,

 

 

, Sm, причем

 

к классу Л",

относят­

ся

объекты 5 р

5 . ,,

 

 

 

 

 

К

А о

 

 

+1 > 5

 

m +2> ••• ’

 

 

 

 

А

 

 

 

И’

 

 

 

 

•••' Sm.,

Ь.

А/ ^ т ^ + Р

 

 

 

 

 

 

(т1= ту Аналогично,

М к положим

составленным

из объектов

5[

, . . . , S q,

причем

объекты

 

i+1,

,

S

 

принадлежат

 

клас-

су

Кр

7 =

1, 2,

... , / , ? , =

 

q.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

II.

 

Мы уже

описали

 

класс

алгоритмов

 

распознавания, осно

ванных на вычислении оценок, т. е. класс алгоритмов

вычисле­

ния оценок (А). Этот класс допускает

параметризацию (см. § 1

данной

главы), при которой

алгоритмы

из

(А)

могут быть

вза­

имно однозначно закодированы

наборами

значении

фиксирован­

ных числовых параметров. Если

из

внешних параметров

вводить

в рассмотрение лишь -^(S,.), именуемые

просто

-у(S,), то алго­

ритмы

вычисления

оценок

 

кодируются

набором значений

пара­

метров

k, зг

г2,

...,з /г,

г,

 

ч,,

7;.

 

, Tm> Sp

S

 

всеГ0

« +

т + 4

параметра.

 

алгоритмов

вычисления

оценок

функционалы

,

 

III.

Для

 

 

становятся функциями числовых аргументов:

 

 

 

 

 

 

 

 

V h

'г’л

 

£ Р

“ 2 '

 

с

 

е

ip |о,

 

’ i f f l ’

V

О

^

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

у

 

 

 

v

 

О

 

 

 

 

 

 

 

 

 

 

 

 

 

 

е

 

z

v

«ч*

• ’• ■ , 7 „ р

V

3 2 ) .

 

 

 

 

 

 

' > л =

* Л ( * .

 

 

г 2-

 

 

 

И *

1 2 ’

 

 

 

 

Построение экстремального распознающего алгоритма сво­

дится,

таким

образом, к

 

отысканию

верхней

и нижней грани

функции многих переменных.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Можно ограничиться следующими значениями введенных

параметров:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1 < k< п 1 ; 0 < г < k — 1 ; 0 < Тг < 1 ;

 

 

 

 

 

 

 

 

 

 

 

 

i =

1 , 2 , ...,

т;

0

-

<

1 .

 

 

 

 

 

 

 

Если

множества

yV/p

М 2,

...,

М п ограничены

и р)пах —

наиболь­

шее

расстояние

между

элементами М р то

параметр г. достаточно

варьировать

в отрезке

|0 ,

 

f>Ii”axJ.

Параметр

 

3t

можно

ограничить

•сверху

величиной

 

 

7f

j

 

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Напомним еще

раз

формулу

для

эффективного

вычисления

величин Г„(5), учитывающую внешние параметры

7 (5 /).

Если

5;==( я„

 

 

яя ),

5

=

^

,

ра, ...,

ря ),

 

то

обозначив

 

через

г (5,

 

) количество

выполненных

неравенств

из

совокупности

P i ( ai>

 

 

 

. Рп ( я«- ?„)<*„•

можно

 

написать,

что

 

 

58

 

 

 

 

 

т и

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Г,Д5)

 

 

v

 

Т (50

л--0

к—к

(7х

 

 

 

 

 

 

 

 

 

г“ т «-1+ 1

 

 

 

 

 

" -r ( s' s,) ■

 

 

При наличии эффективного

алгоритма

вычисления

расстояний

р ( а., 3.)

и

числе

операций

при

одном

таком

вычислении, не

превосходящем

Q, количество операций

при расчете всех величин

Г (5), Г., (S), ... ,

Г,

(S)

не

превышает

2Q/im.

Число операций

при распознавании одного объекта

в фиксированном алгоритме

А

пропорционально

„площади11

таблицы M R с коэффициентом про­

порциональности,

не превосходящим

2 Q.

 

 

можно

рассмат­

Как было

отмечено в предыдущем параграфе,

ривать различные подклассы (модели)

в

множестве

алгоритмов

{Л|, например:

 

 

 

 

 

 

 

 

 

 

 

 

M f равноценны;

 

1)

f! =

т2 — • • • = Тш=

1

все

элементы

г,=

,, = ел = s= 0 .

Тогда

получается

семейство алгоритмов, зави­

сящее от трех

параметров

k,

3t

о., — семейство

(Л)

. В

указан­

ном примере

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

г «(5) =

V

 

 

С (5, S.)

и = 1 , 2 ,

 

 

 

 

 

2 ) T i = Т , =

• • • = T m =

 

1; и = е 2 = • • • = 6 Л = 0 .

 

 

 

 

В этом случае

семейство

алгоритмов

}4 зависит

от

четырех

параметров /г, е, 3,, 3„.

 

 

 

 

 

 

 

 

 

множеств M R, М к

Для описываемого нами случая конечных

будем считать, что мера множества совпадает с его мощностью.

Тогда для вычисления значений фд ,

 

достаточно провести про­

цесс распознавания

последовательно

для

строк

,..., S табли­

цы М /(,

после

чего

нетрудно

найти

мощности

множеств KtJ,

а

следовательно,

и

величины

йд ,

 

для фиксированных

алгорит­

мов Л.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

IV.

Проанализируем

теперь

вопросы, связанные с отысканием

экстремальных алгоритмов первого, второго и третьего рода. Мощность множества совпадает с его мерой, и пространства Л4П

... Мп ограниченны. Области изменения всех параметров,

кроме Sj, 8^, замкнуты.

Значения

фд ,

при фиксированных

MR и Мк ограниченны.

 

 

 

 

Изучим влияние параметров 8, ,

8^ на величины &А,

Рас­

смотрим произвольную строку St из таблицы Мк . Задав парамет-

59

Соседние файлы в папке книги из ГПНТБ