1.3.5. Метод обратного распространения ошибки

Этот метод обучения многослойной нейронной сети называется обобщенным дельта-правилом или правилом error backpropagation (обратного распространения ошибки). Метод был предложен в 1986 г. Румельхартом, Макклеландом и Вильямсом. Это ознаменовало возрождение интереса к нейронным сетям, который стал угасать в начале 70-х годов. Позже было обнаружено, что Паркер опубликовал подобные результаты в 1982 г., а Вербос выполнил такую работу в 1984 г. Однако такова природа науки, что ученые, работающие независимо друг от друга, не могут использовать все то прогрессивное, что есть в других областях, и поэтому часто случается повторение уже достигнутого. Однако статья Руммельхарта и др., опубликованная в журнале Nature (1986), является до сих пор наиболее цитируемой в этой области.

Обучение сети начинается с предъявления образа и вычисления соответствующей реакции. Сравнение с желаемой реакцией дает возможность изменять веса связей таким образом, чтобы сеть на следующем шаге могла выдавать более точный результат. Обучающее правило обеспечивает настройку весов связей. Информация о выходах сети является исходной для нейронов предыдущих слоев. Эти нейроны могут настраивать веса своих связей для уменьшения погрешности на следующем шаге.

Когда мы предъявляем ненастроенной сети входной образ, она будет выдавать некоторый случайный выход. Функция ошибки представляет собой разность между текущим выходом сети и идеальным выходом, который необходимо получить. Для успешного обучения сети требуется приблизить выход сети к желаемому выходу, т. е. последовательно уменьшать величину функции ошибки. Это достигается настройкой межнейронных связей. Обобщенное дельта-правило обучает сеть путем вычисления функции ошибки для заданного входа с последующим ее обратным распространением (вот откуда название !) от каждого слоя к предыдущему. Каждый нейрон в сети имеет свои веса, которые настраиваются, чтобы уменьшить величину функции ошибки. Для нейронов выходного слоя известны их фактические и желаемые значения выходов. Поэтому настройка весов связей для таких нейронов является относительно простой. Однако для нейронов предыдущих слоев настройка не столь очевидна. Интуитивно ясно, что нейроны внутренних слоев, которые связаны с выходами, имеющими большую погрешность, должны изменять свои веса значительно сильнее, чем нейроны, соединенные с почти корректными выходами. Другими словами, веса данного нейрона должны изменяться прямо пропорционально ошибке тех нейронов, с которыми данный нейрон связан. Вот почему обратное распространение этих ошибок через сеть позволяет корректно настраивать веса связей между всеми слоями. В этом случае величина функции ошибки уменьшается и сеть обучается.

Основные соотношения метода обратного распространения ошибки получены в [76] при следующих обозначениях:

- величина функции ошибки для образа  ;

- желаемый выход нейрона   для образа  ;

- действительный выход нейрона   для образа  ;

- вес связи между  -м и  -м нейронами.

Пусть функция ошибки прямо пропорциональна квадрату разности между действительным и желательным выходами для всей обучающей выборки:

(1.1)

Множитель   вводится для упрощения операции дифференцирования.

Активация каждого нейрона   для образа   записывается в виде взвешенной суммы:

(1.2)

Выход каждого нейрона   является значением пороговой функции  , которая активизируется взвешенной суммой. В многослойной сети это обычно сигмоидная функция, хотя может использоваться любая непрерывно дифференцируемая монотонная функция:

(1.3)

Можно записать по правилу цепочки:

(1.4)

Для второго сомножителя в (1.4), используя (1.2), получаем:

(1.5)

поскольку  , за исключением случая  = , когда эта производная равна единице.

Изменение ошибки как функция изменения входов нейрона определяется так:

(1.6)

Поэтому (1.4) преобразуется к виду:

(1.7)

Следовательно, уменьшение величины   означает изменение веса пропорционально  :

(1.8)

где h - коэффициент пропорциональности, влияющий на скорость обучения.

Теперь нам необходимо знать значение   для каждого нейрона. Используя (1.6) и правило цепочки, можно записать:

(1.9)

Исходя из (1.3), записываем второй сомножитель в (1.9):

(1.10)

Теперь рассмотрим первый сомножитель в (1.9). Согласно (1.1), нетрудно получить:

(1.11)

Поэтому

(1.12)

Последнее соотношение является полезным для выходных нейронов, поскольку для них известны целевые и действительные значения выходов. Однако для нейронов внутренних слоев целевые значения выходов не известны.

Таким образом, если нейрон   - не выходной нейрон, то снова используя правило цепочки, а также соотношения (1.2) и (1.6), можно записать:

(1.13)

(1.14)

Здесь сумма по   исчезает, поскольку частная производная не равна нулю лишь в одном случае, так же как и в (1.5). Подставив (1.14) в (1.9), получим окончательное выражение:

(1.15)

Уравнения (1.12) и (1.15) составляют основу метода обучения многослойной сети.

Преимущество использования сигмоидной функции в качестве нелинейного элемента состоит в том, что она очень напоминает шаговую функцию и, таким образом, может демонстрировать поведение, подобное естественному нейрону. Сигмоидная функция определяется как

и имеет диапазон 0 <   < 1.   - положительная константа, влияющая на растяжение функции: увеличение   сжимает функцию, а при   функция   приближается к функции Хевисайда. Этот коэффициент может использоваться в качестве параметра усиления, поскольку для слабых входных сигналов угол наклона будет довольно крутым и функция будет изменяться довольно быстро, производя значительное усиление сигнала. Для больших входных сигналов угол наклона и, соответственно, усиление будут намного меньшими. Это означает, что сеть может принимать большие сигналы и при этом оставаться чувствительной к слабым изменениям сигнала.

Однако главный смысл в использовании данной функции состоит в том, что она имеет простую производную, и это значительно облегчает применение backpropagation-метода. Если выход нейрона   задается как

 ,

то производная по отношению к данному нейрону   вычисляется так:

,

т. е. является простой функцией от выходов нейронов.

1.3.6. Алгоритм настройки нейронной сети

Ниже приведен алгоритм настройки многослойной нейронной сети с использованием backpropagation-правила обучения. Для его применения необходимо, чтобы нейроны имели непрерывно дифференцируемую нелинейную пороговую функцию активации. Пусть это будет сигмоидная функция  , поскольку она имеет простую производную.

Алгоритм обучения состоит в следующем.

1°. Задать начальные значения весов и порогов каждого нейрона.

Всем весам и порогам присваиваются малые случайные значения.

2°. Представить входной и выходной образы из обучающей выборки.

Пусть

- текущий входной образ,

 - текущий выходной образ из обучающей выборки, где   - число нейронов входного слоя,   - число нейронов выходного слоя. При этом   (смещение) и  .

При решении задач классификации образ   может состоять из нулей, кроме одного элемента, равного 1, который и будет определять класс текущего входного образа.

3°. Рассчитать действительные значения выходов.

Значения выходов нейронов каждого слоя рассчитываются как

и передаются на входы нейронов следующего слоя. Выходные значения нейронов выходного слоя равны  .

4°. Провести модификацию весов связей.

Начиная от выходного слоя и, двигаясь в обратном направлении, необходимо изменять веса связей следующим образом:

 ,

где - вес связи между  -м и  -м нейронами на  -м шаге;

h - скорость обучения;

- скорость изменения ошибки для нейрона   при предъявлении образа  .

Для нейронов выходного слоя

 ,

для нейронов внутренних слоев

 ,

где под знаком суммы стоят величины, относящиеся к нейронам последующего слоя.