54. Многослойные персептроны. Алгоритм обратного распространения.

Прежде чем дать общую характеристику принципов построения многослойных персептронов и особенностей их функционирования, рассмотрим обобщенную модель нейроподобного элемента (нейрона). Данная модель приведена на рис. :

На нейрон поступает набор входных сигналов образующих входной вектор,который передает сигналы от других нейронов. Каждый входной сигналумножается на соответствующий ему вес связии поступает на суммирующий блок, обозначенный. Каждый вессоответствует «силе» одной биологической синаптической связи.

Суммирующий блок складывает алгебраически взвешенные входы и затем передает данный сигнал на выход, обеспечивая тем самым определенный.уровень возбуждения элемента нейрона

Здесь запись означает скалярное произведение векторови.

Сигнал на выходе нейрона определяется путем пропускания суммарного возбуждениячерез нелинейную функцию

Таким образом, различают два такта функционирования нейрона:

1) вычисление величины суммарного возбуждения , полученного нейроном;

2) определение выходного сигнала ;

В приведенной модели нейрона пренебрегают многими известными характеристиками биологического прототипа: не учитывается нелинейность пространственно-временного суммирования, что особенно проявляется для сигналов, приходящих по возбуждающим и тормозящим синапсам; различного рода временные задержки; эффекты синхронизации и частотной модуляции и т.д.

Несмотря на это, нейронные сети, построенные на основе таких простых нейроподобных элементов, демонстрируют ассоциативные свойства, качественно близкие к передаточным характеристикам биологических нейронов

Входной вектор подается на входной слой, а выходной вектор определяется путем поочередного вычисления уровней активности элементов каждого слоя (от крайнего левого до последнего правого) с использованием уже известных значений активности элементов предшествующих слоев.

Общая схема построения многослойного персептрона, представляющего собой НС. прямого распространения, приведена на рис. 30.11. На этом рисунке кружками обозначены элементарные преобразователи информации - нейроны, описываемые моделью вида рис. 30.9, а стрелками - связи между этими нейронами, имеющие разную «силу» (веса синаптических связей). Как видно из рисунка, многослойный персептрон состоит из нескольких слоев нейронов: входного слоя; одного или более скрытых или промежуточных слоев (называемых так в силу того, что они «не видны» пользователю); выходного слоя нейронов. Входной вектор подается на входной слой, а выходной вектор определяется путем поочередного вычисления уровней активности (суммарного возбуждения) элементов каждого слоя (от крайнего левого до последнего правого), с использованием уже известных значений активности элементов предшествующих слоев. Отличительные особенности персептрона:

- нейроны каждого слоя не связаны между собой;

- входной сигнал каждого нейрона поступает на входы всех нейронов следующего слоя;

- нейроны входного слоя не осуществляют преобразования входных сигналов, их функция заключается в распределении этих сигналов между нейронами 1-го скрытого слоя.

С точки зрения применения многослойной НС. для решения задач распознавания образов входной вектор соответствует набору признаков, а выходной вектор- классу образов. Скрытые слои применяются для представления области знаний.

Алгоритм обратного распространения

Рассмотрим особенности реализации алгоритма обратного распространения на следующем примере. Допустим, что устройство распознавания образов представлено НС., показанной на рис.

Входы данного устройства исоединены с фотоприемниками, реагирующими на освещенность верхнего и нижнего поля карты. Будем полагать, что карты, предъявляемые НС. для распознавания, соответствуют одному из 4-х типов Рис:Здесь светлое (освещенное) поле карты фиксируется на входе сети как «1», а темное – как «0».

Потребуем, чтобы сеть относила к 1-й группе карты с одинаковой освещенностью полей (оба поля - темные, или оба поля - светлые), а ко 2-й группе - карты с различной освещенностью верхнего и нижнего поля. Таким образом, обучающая выборкаможет быть представлена в виде табл. 30.2.

Рассматриваемая модель НС. формально считается двухслойным персептроном, т.к. входной слой нейронов не осуществляет преобразования информации, а лишь перераспределяет сигналыина входе сети между нейронами скрытого слоя. Весовые коэффициенты- веса синаптических связей НС. настраиваемые в процессе обучения. Активационные функции нейронов

скрытого и выходного слоя имеют сигмоидный вид, т.е. .В качестве начальных условий для проведения процесса обучения НС выберем:

;

- скорость обучения ;

- максимально допустимая ошибка обучения НС: ;

- максимальное количество шагов обучения: .