книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов

то выражение для оценки градиента средней функции риска для сети из ЛПЭ с двумя решениями будет иметь следующий вид:

Это выражение служит основой для построения соот­ ветствующей замкнутой СР.

Рассмотрим СР с N* выходными каналами и двумя гра­ дациями выходного сигнала по амплитуде в каждом из ка­ налов. Здесь

x i * k ~ sl8n §i*= sign ; hw = l , -------A/*.

Отсюда следует, что при наличии (2N* х 2^*) -матрицы

алгоритм настройки подобной многослойной сети аналоги­ чен изложенному в § 7-7 для ЛПЭ последнего слоя и в § 7-8 для ЛПЭ слоев кроме последнего.

7-10. Построение замкнутых СР нестационарных образов

Ниже отмечаются основные принципиальные моменты, возникающие при построении настраивающихся по замк­ нутому циклу СР нестационарных образов. Основная осо­ бенность по сравнению со случаем стационарных образов здесь возникает при построении алгоритма настройки ко­

— 2а0(пАТ)х(пАТ)1'1.

190

Усреднение здесь должно производиться по множеству реализаций нестационарного случайного процесса в момент времени пАТ. Однако на практике при настройке СР имеется лишь одна реализация нестационарного случай­

ного процесса. При этом значение х2 (пАТ) вместо усред­

нения по множеству получается усреднением по времени на интервале памяти тп с дополнительным заданием свой­ ства приводимости процесса к стационарному и априорной информации о характере изменения параметров распреде­ ления нестационарного случайного сигнала, т. е. на интер­ вале памяти. При этом наиболее удобным для реализации и достаточным для практических целей является представ­ ление нестационарного случайного процесса в СР на ин­ тервале памяти в виде аддитивной суммы стационарного сигнала и детерминированного сигнала с известным в об­ щем функциональном виде характером изменения. Для того чтобы оценка градиента функционала вторичной оп­ тимизации выражалась в алгебраической форме, необходимо предположить, что за интервал усреднения тп параметры СР (настраиваемый коэффициент а 0) не изменяют своего значения. В данном случае

dx2a (пАТ) ------------ m 2ха(пАТ) .

da0

Алгоритм обучения в нестационарном случае опреде­ ляется следующим соотношением:

Для построения замкнутой СР необходима информация о характере изменения (на интервале памяти блока на­ стройки СР) параметров распределения сигнала ха (пАТ). Эта информация в рассматриваемом случае может быть однозначно получена по информации о характере измене­ ния на интервале памяти блока настройки СР параметров распределения входного сигнала и структуре СР. Если предположить, что совокупности образов распределены по нормальному закону с переменными во времени математи­ ческими ожиданиями, то при статистической независимо­ сти детерминированной и случайной составляющих на ин­ тервале памяти СР для случайного сигнала ха (пАТ) спра­ ведлива та же гипотеза изменения математического ожида­ ния, что и для сигнала х (пАТ). Следовательно, в СР не-

191

стационарных образов данного типа фильтр в блоке на­ стройки, предназначенный для оценки градиента функцио­ нала вторичной оптимизации, должен быть предназначен для оптимальной фильтрации нестационарного сигнала с гипотезой изменения первого момента распределения, эквивалентной соответствующей гипотезе для совокупно­ стей нестационарных образов. Синтез подобных фильтров рассмотрен в [Л. 49]. При необходимости упреждения ре­ шения данный фильтр должен быть синтезирован как уп­ реждающий. Исходя из физических соображений, необхо­ димо отметить, что гипотезы о характере изменения на ин­ тервале памяти СР первых моментов распределений яв­ ляются одинаковыми для совокупностей образов первого и второго классов. В случае различных гипотез для синтеза

------------------- тп

фильтра оценки ха(пАТ) необходимо выбирать гипо­ тезу высшего порядка.

В случае нестационарных образов, как показывает ана­ лиз соответствующих выражений, оценка градиента функ­ ционала вторичной оптимизации есть задача фильтрации нестационарных случайных сигналов. Выше, задаваясь некоторой априорной информацией о характере нестацио­ нарное™ образов на входе, определялись характеристики нестационарное™ реализаций градиента функционала вто­ ричной оптимизации. Для многомерных и многослойных

СР является сложным. В этом случае мы отступаем от ос­ новного принципа построения СР, настраивающихся по замкнутому циклу, а именно вносим в процедуру синтеза априорную информацию о входном сигнале СР. Поэтому методологически будет правильнее задаваться некоторой априорной информацией о нестационарном характере из­ менения градиента на интервале памяти СР, а именно та­ кой информацией, которая значительно облегчила бы син­ тез фильтра оценки вектора градиента. По этой априорной информации о структуре разомкнутой СР можно на нестро­ гом, даже семантическом, уровне показать класс нестацио­ нарных характеристик совокупностей образов, для кото­ рого априорная информация о характере изменения во вре­ мени параметров распределения градиента является до­ статочной. Этот подход, с одной стороны, облегчит проце­ дуру синтеза фильтра в блоке настройки, с другой стороны, создаст возможность построения алгоритмов настройки по

192

Результаты синтеза многомерных фильтров, представ­ ленные в [Л. 48], применимы как при построении СР, на­ страивающихся по разомкнутому циклу (при оценке век­ торов математических ожиданий нестационарных совокуп­ ностей образов), так и при построении СР, настраивающихся по замкнутому циклу (при оценке векторов градиентов функционалов вторичной оптимизации СР нестационарных образов).

7-11. Построение СР с перекрестными и обратными связями, настраивающихся по замкнутому циклу

Ниже рассматривается в качестве функционала вторич­ ной оптимизации только второй момент распределения ди­ скретной ошибки.

В случае системы распознавания с перекрестными свя­

Эти выражения являются основой для построения со­ ответствующей замкнутой СР.

Разомкнутая СР в виде ЛПЭ с обратной связью описы­

Рассмотрим вариант с тп = 1. При тп = const важно лишь удовлетворить условие независимости xk (п—1) от at. Из (7-18) следует:

Отсюда с учетом (7-17) следует рекуррентное соотноше­ ние, являющееся основой для построения соответствующей замкнутой СР:

Используя преобразование (7-17), получаем:

Эти выражения являются основой для построения со­ ответствующей замкнутой СР. Не представляет принци­ пиальных затруднений обобщение данных результатов на СР с наличием одновременно перекрестных и обратных свя­ зей, СР с произвольным числом слоев ЛПЭ, СР с перекрест­ ными и обратными связями различной «логической глубины».

7-12. Построение замкнутых СР в режимах самообучения и произвольной квалификации учителя

В [Л. 40] рассмотрены алгоритмы самообучения, ана­ логичные по своему качеству алгоритмам восстановления плотностей распределения вероятностей, так как в ре­ жиме настройки по замкнутому циклу определяют коор­ динаты мод функции / (х). Ниже рассмотрены алго-

194

Необходимо отметить, что значения b (xk) на каждом шаге настройки можно определить расчетом по параметрам и структуре многослойной СР. При произвольной квалифи­ кации учителя:

xg = l [xk’ е) 6 + (1 — 62)р[х— b

Отсюда

Данные два выражения служат основой для построения замкнутой СР с произвольной структурой при произволь­ ной квалификации учителя. Необходимо отметить, что ал­ горитм настройки делится на две самостоятельные части, одна из которых, определяемая членом дхк/да, зависит от структуры разомкнутой СР и определяет потенциальное качество решения задачи распознавания.

Разработанные методы настройки многослойных СР пригодны и для случая, когда СР имеет несколько слоев ЛПЭ с фиксированными коэффициентами.

Отметим, что процедура настройки многослойных СР, связанная с выражением (6-1), обеспечивает лишь локаль­ ный экстремум функционала оптимизации, причем началь­ ные значения настраиваемых параметров должны зада­ ваться случайно в диапазоне их изменения, определяемом из физических соображений. Поэтому полностью алгоритм настройки многослойной сети должен содержать множество (объемом г]0) этапов выброса случайных начальных усло­ вий для настройки, следующие за каждым выбросом этапы настройки в соответствии с (6-1) и этап усреднения резуль­ татов настройки по г)° (см. гл. 6 и 8).

7-13. Вывод выражений для оценок производных второго порядка функционала вторичной оптимизации

Ниже для многослойных СР различных типов найдены выражения для оценок производных второго порядка вто­ рого момента распределения дискретной ошибки, являю-

196

щегося функционалом вторичной оптимизации. В случае ЛПЭ с континуумом решений:

197

/

Использование данных выражений для построения со­ ответствующих алгоритмов адаптации в многослойных СР достаточно сложной структуры затруднительно. Однако методология многослойных СР определяет уменьшение необходимости учета производных второго порядка функ­ ционала вторичной оптимизации при усложнении структуры разомкнутой СР. Для двухслойной системы с перекрест­ ными связями

198

Полученные выражения служат основой для построе­ ния алгоритмов настройки многослойных СР с использова­ нием производной второго порядка функционала вторичной оптимизации.

Г л а в а в о с ь м а я

ИССЛЕДОВАНИЕ ЗАМКНУТЫХ МНОГОСЛОЙНЫХ СР

8-1. Постановка задачи синтеза контура настройки СР по замкнутому циклу

Настоящая глава является заключительным этапом синтеза многослойных СР с фиксированной структурой, настраивающихся по замкнутому циклу. При этом задан­ ными являются структура разомкнутой СР, характеристики сигнала в общем виде, алгоритм настройки коэффициентов многослойной СР, удовлетворяющий некоторому крите­ рию первичной оптимизации. Для оценки качества работы замкнутых многослойных СР нужно решить ряд задач.

199