книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

просами оптимальной фильтрации и корреляционного (моментного) анализа многомерных случайных процессов, то здесь желательно применение рекуррентных методов, изложенных в [Л. 57, 58]. Сложные случаи переменных во времени моментов высокого порядка распределения fx (х) требуют построения оптимальных фильтров оценки упрежденного значения моментов высокого порядка, что само по себе является трудной задачей.

Несколько замечаний относительно области применения рег­ рессионного и факторного анализа в задаче синтеза СР.

Регрессионный анализ предполагает изучение статистических свойств признаков при известных условных плотностях, поэтому его можно применять только в рамках настройки по разомкнутому циклу. То же самое можно сказать и относительно факторного ана­ лиза — только в сфере решения задачи выделения информативных признаков (см. гл. 10).

3-7. Исследование точности СР, настраивающихся по разомкнутому циклу

Результатом исследования точности систем обработки инфор­ мации, синтезированных в соответствии с некоторой априорной информацией о характеристиках входного сигнала, структуре си­ стемы, и критерием качества являются вывод и анализ выражений для оценок качества достижения конечной цели обработки. В слу­ чае задач оптимальной фильтрации априорной информацией о вход­ ном сигнале является, в частности, задание характера изменения регулярной составляющей сигнала и характера распределений слу­ чайных составляющих входного сигнала на интервале памяти. Ап­ риорной информацией о структуре системы является формирование выходного сигнала системы оптимальной фильтрации в виде свертки входного сигнала и импульсной переходной функции, а также ин­ тервал интегрирования в свертке — память системы. Критерием качества является обычно минимизация случайных ошибок филь­ трации при определенных ограничениях на систематические.

Анализ точности синтезированной системы (вывод выражения для минимальных ошибок) обычно производится на уровне априор­ ной информации о характеристиках входного сигнала системы, хотя возможно исследование точности оптимальной системы при харак­ теристиках входных сигналов, отличающихся от априорных.

При исследовании точности систем распознавания образов будем рассматривать их как частный случай систем обработки ин­ формации. Здесь априорной информацией о входном сигнале яв­ ляется его размерность и характер изменения моментов на интер­ вале памяти. В данной главе рассматривается СР, описанная в

§ 3-5.

Желательно было бы синтезировать параметры разделяющей поверхности таким образом, чтобы обеспечить оптимальность по критерию первичной оптимизации. Однако это приведет к проце­ дуре синтеза нелинейных фильтров, так как связь между парамет­ рами входного сигнала и системы в данном случае должна быть су­ щественно нелинейной. Мы же останавливаемся на дополнительном задании априорной структуры блока обучения, связывающего па­ раметры входного сигнала системы и параметры системы в виде

80

выражений:

а (л) = т 1 (л) — т2(п),

Кроме того, априори задаем структуру блоков получения па­ раметров входного сигнала.-Это приводит к некоторому отклонению от критерия первичной оптимизации системы распознавания даже на уровне задания априорных характеристик входного сигнала. Если принимать за критерий качества получения настраиваемых ко­ эффициентов системы минимум случайной и нуль динамической ошибки, то оптимизация по данному критерию блока получения параметров входного сигнала по каждому классу приводит к полу­ чению оптимальных по данному критерию настраиваемых парамет­ ров а (л). Это верно только для случая, когда входные сигналы пер­

вого и второго класса системы независимы. Синтез блока получе­ ния коэффициентов а (л) при зависимых классах в виде многомер­

ного линейного фильтра не представляет принципиальных затруд­ нений. Минимизация случайной и обнуление динамической ошибок получения параметров входных сигналов не приводит к удовлетво­ рению этого указанного выше критерия для а0 (л), так как а0 (л) и параметры входного сигнала связаны нелинейной зависимостью. Именно это и приводит к отклонению от критерия первичной опти­ мизации даже на уровне задания априорных характеристик вход­ ного сигнала. Исследование точности само по себе должно показать слабые стороны синтезированной системы, которые появляются при задании в процессе синтеза некоторой априорной информации о входных сигналах, структуре системы и критериях качества. Итак, останавливаясь на априорной структуре систем распозна­ вания и блоков обучения, описанных выше, будем исследовать точ­ ность обучающихся по разомкнутому циклу систем распознавания нестационарных образов в следующем порядке [Л. 56, 57]:

1.Для априорных характеристик входного сигнала и синте­ зированных блоков оценки параметров функций распределения входного сигнала исследуется точность оценки данных параметров.

2.По полученным оценкам точности вычисления параметров функций распределения входного сигнала в соответствии с’ выра­

жением (3-19) рассчитаем оценки точности получения настраивае­ мых параметров систем распознавания. Эти оценки будут оценками точности работы контура настройки по разомкнутому циклу СР не­ стационарных образов в режиме обучения.

3. Имея характеристики точности получения настраиваемых параметров системы распознавания в текущий момент времени, априорную структуру системы распознавания и характеристики (априорные или отличные от априорных) входного сигнала, можно получить оценки для точности работы замкнутой системы распо­ знавания образов в терминах вероятностей правильного распозна­ вания или ошибок как конечной цели исследования точности работы

данного класса систем.

Данная методика справедлива для любых законов распределе­ ния совокупностей образов в пространстве признаков, а не только нормального.

81

Исследование точности оценки параметров функций распределения входного сигнала

В качестве параметров функции распределения входного сиг­ нала при построении линейной разделяющей поверхности служат первые моменты распределений. Точность оценки определяется точностью многомерных фильтров для выделения векторов первых моментов многомерных случайных процессов, соответствующих первому и второму классу на входе систем распознавания. Целью данного исследования, по сути дела, является вычисление ковариа­ ционных матриц для вектора случайных ошибок многомерных фильтров. Данные ковариационные матрицы вообще могут быть различными для первого и второго класса по следующим причинам:

1.Возможно несоответствие действительных ковариационных матриц сигналов N (п) для первого и второго класса априорной ин­ формации о их равенстве. Здесь N (п) — случайная составляющая дискретного входного сигнала СР.

2.Возможна разница в значениях памяти многомерных фильт­ ров оценки векторов математических ожиданий сигналов для пер­ вого и второго класса.

3.Возможна разница в гипотезах изменения регулярных со­ ставляющих входных сигналов.

Выведем выражение для ковариационной матрицы ошибок

многомерного фильтра оценки вектора математических ожиданий в блоке обучения СР нестационарных образов. Выражение для ошибки по /-му выходу указанного многомерного фильтра имеет следующий вид:

Ковариационная матрица случайных ошибок определения век­ тора математических ожиданий в момент времени п имеет следую­ щий вид:

еу (п) гг (п) = | Us (л) | =

82

Отметим, что формула (3-20) верна для случаев как стационар­ ного, так и нестационарного вида ковариационной матрицы сиг­ нала N (я); из формулы следует также симметричность матрицы Ue (я). Особенно важным для практики является случай независи­ мых признаков, так как он просто реализуется. В случае независи­ мых признаков, как видно из формулы, матрица становится диа­ гональной и уравнение для передаточного коэффициента (коэффи­ циента сглаживания) каждого канала многомерного фильтра по

83

случайной составляющей входного сигнала будет иметь следующий

вид:

Общий анализ данных выражений позволяет сделать следую­ щие выводы для СР нестационарных образов.

При обучении по разомкнутому циклу, чем больше память си­ стемы распознавания, тем с большей точностью оцениваются пара­ метры функций распределения совокупностей первого и второго

класса.

Чем больше время упреждения в процессе распознавания не­ стационарных образов, тем больше ошибка оценки параметров функций распределения совокупностей первого и второго класса. Для блоков обучения по разомкнутому циклу систем распознава­ ния нестационарных образов с возрастающей памятью выражения

Исследование точности получения настраиваемых коэффициентов

Необходимо определить точность работы контура настройки по разомкнутому циклу систем распознавания. Задача оценки точ­ ности СР ниже решается лишь в принципе с иллюстрацией на кон­ кретном примере.

В связи с этим рассмотрим случай, когда 1) гипотезы измене­ ния во времени первых моментов распределений совокупностей входных выборок одинаковы; 2) память блоков оценки моментов распределений этих выборок одинакова; 3) ковариационные мат­ рицы совокупностей входных выборок равны.

Для данного случая используем выражение (3-19) для опти­ мальных настраиваемых параметров системы распознавания обра­ зов, где а (п) и а0(л) — коэффициенты разделяющей поверхности, реализуемой в момент времени п системой распознавания образов в пространстве признаков

аг (п) х + а0 (п) = 0.

Нужно определить динамические и случайные ошибки коэффи­ циентов а (л) и а0 (л) по имеющимся динамическим и случайным ошибкам векторов математических ожиданий (оценок вектора пер­ вых моментов) шх (л) и т 2 (л).

Динамические ошибки определения векторов ш1 (л) и т 2 (л) равны нулю при характеристиках входного сигнала системы рас­ познавания, соответствующих априорным. Случайные ошибки оп­ ределения векторов mt (л) и т 2 (л) характеризуются ковариацион­ ной матрицей ошибок (3-20). Так как совокупности входных обра­ зов, соответствующих различным классам, считаются независимыми, то ковариационная матрица случайных ошибок определения ко­ эффициентов равна:

[иа\ = [2t/J = 2 [мf, (ВТи - ' В ) ~ 1 Я,]; /, /' = 1...........N.

Из (3-19) следует, что динамическая ошибка определения ко­ эффициентов равна нулю.

84

Теперь в соответствии с приведенными выше ошибками опре­ деления оценок т х (п) и т 2 (п) необходимо определить характери­ стики случайных и систематических (динамических) ошибок коэф­ фициента а0 (п) системы распознавания образов. Выходные сигналы У1 (п) и Уг (п) многомерных фильтров для оценки векторов математи­

ческих ожиданий совокупностей входных образов первого и вто­ рого класса имеют следующие характеристики:

у2 (п) можно в данном случае считать многомерными нормальными с указанными выше векторами математических ожиданий и матри­ цами ковариаций. Задача заключается в определении с использо­ ванием этих данных распределения одномерной случайной вели­ чины, вычисляемой по ух (п) и у2 (п) в соответствии со следующим выражением:

ао (") =■ — [у[ (л) Ух («) — yj («) У2 (л)] .

Отметим, что эта задача для произвольных (п), т 2 (п) и Ue является трудной, ее решение заканчивает в данном случае точное исследование ошибок настройки коэффициентов системы распозна­ вания образов по разомкнутому циклу. Задача получения совмест­ ного распределения всех настраиваемых коэффициентов данной СР является довольно трудной задачей математической статистики и вряд ли представляет интерес для теории распознавания образов в виду частного характера рассматриваемой СР, тем более что, чем сложнее данное совместное распределение, тем труднее решение третьего этапа анализа замкнутых СР, настраивающихся по разом­ кнутому циклу.

3-8. Исследование точности замкнутой СР по величине вероятности правильного распознавания

В каждом конкретном случае вывод выражения для характе­ ристик необходимо производить в зависимости от характеристик априорной структуры разомкнутой СР, характеристик точности получения настраиваемых коэффициентов и характеристик входного сигнала. Ниже исследование точности замкнутой СР нестацио­ нарных образов проводится для случая совокупностей образов первого и второго класса, подчиняющихся нормальным распределе­ ниям с единичными ковариационными матрицами, умноженными на постоянный коэффициент, и различным характером изменения во времени компонент векторов математических ожиданий. Этот слу­ чай является простейшим, но характерным для малой памяти СР. Ниже для данных характеристик входного сигнала СР представлены результаты исследования характеристик вероятности правильного распознавания следующих факторов: предварительности обучаю­ щей выборки (памяти СР), задаваемой априорно гипотезы изменения во времени на интервале памяти СР компонент векторов математи­

85

ческих ожиданий совокупностей образов первого и второго класса, степени пересечений классов, задаваемой в виде одинакового для первого и второго класса коэффициента-множителя перед ковариа­ ционной матрицей при постоянной разнице между компонентами векторов математических ожиданий, времени упреждения в про­ цессе распознавания, размерности пространства признаков.

Предметом исследования здесь являются математическое ожи­ дание и дисперсия Рправ, полученные усреднением по множеству опытов с СР с конечной памятью, причем одна реализация Р„рав вычисляется при распознавании генеральной совокупности систе­ мой, обученной по реализации конечного объема.

В одномерном случае распределение порога имеет следующий вид [Л.56, 57]:

f a j «о. Л) =

где

с1( с2 — среднеквадратичные отклонения для выходных сигналов фильтров оценки координат центров классов (ниже сг = с2 = с)

[Л.48]. Выражения для коэффициентов сглаживания <?а!2<? дискрет­

ных фильтров оценки компонент векторов математических ожиданий совокупностей образов взяты из работы [Л.48 ] и здесь не приво­ дятся. Данные выражения определяют для различных гипотез из­ менения во времени указанных компонент зависимость е2 от памяти CP М и времени упреждения решения а.

Выражения для математического ожидания и дисперсии веро­ ятности правильного распознавания Гг|рав имеют в данном, в част­ ности одномерном, случае следующий вид:

86

для случая совокупностей образов, распределенных по нормальным законам. На рис. 3-6—3-8 представлены результаты расчетов по

3.В рассматриваемом случае сперсии Рправ Для стацио­

87

5. Отмечается значительное влияние на М Р прав в сторону

где S — ковариационная матрица. Применяя для вычисления ве­ роятности Р (tx < 0 ) инверсионную формулу Имхофа [Л. 29, 30], можно получить следующее выражение для М Рврав.

МРвраа = Ф {[9 (Г, + Г2) + 2 (62Г2 + ^Г?)] X

_ _ 1 _

х ^ [( v t ' + M T 1)]! 2 ,

где Гс — (N + Я,-)3 ; bt = 2 — N (N — К

88

растает, приближаясь к асимптотическому значению (рис. 3-9).

На этом заканчивается рассмотрение вопроса оценки точности настраивающихся по разомкнутому циклу СР стационарных обра­ зов в режиме обучения. Рассмотрение других режимов работы СР и более сложных, нежели нормальные, распределений приводит к усложнению соответствующих выкладок при сохранении общей методологии.

Г л а в а ч е т в е р т а я

ОПИСАНИЕ И ВЫБОР СТРУКТУРЫ РАЗОМКНУТОЙ СР

4-1. Постановка задачи

Настоящая глава начинает этапы синтеза (см. табл. В-1) СР с фиксированной структурой, настраивающихся по

стоит из двух частей: разом­ кнутая СР и блок, производящий настройку коэффициентов

разомкнутой части. Под разомкнутой СР подразумевается СР с настраиваемыми параметрами без блоков обучения или самообучения. Входом разомкнутой СР и ее выходом являются вход и выход замкнутой СР.

В общем плане под структурой разомкнутых СР при­ нимается структура преобразования xk (х), осуществляе­ мого системой на этапе распознавания. Для описания дан­

89