4.5. Обучение нейронных сетей методом обратного распространения ошибки

Данный метод применяется для обучения сетей с учи­те­лем, если сеть представляет собой многослойную конструк­цию прямого распространения /3/.

На рис.19 изображен фрагмент нейронной сети, взятой из произвольной ее области. Выходы нейронов слоя (n-1) – y_i. Веса связей слоя (n-1) с слоем n W_ij. Для слоя n выходы обоз­начаются y_j, веса связей со слоем n+1 W_jk и т. д. для всех по­сле­дующих слоев.

n-1 n n+1

W_ij 1 W_jk 1

i y_i y_j y_k

j . k . .

. . .

. . .

m p

Рис. 19. Обучение сети методом обратного распространения ошибки

Обучение сети осуществляется по образцам. Для каждого образца устанавливается определенное выходное состояние се­ти (эталон). Эталонный образец характеризуется набором зна­че­ний состояний d_e выходного слоя N.

43

Обучение сети состоит в минимизации ошибки выход­но­го слоя. В качестве ошибки обычно используется среднеквад­ра­ти­ческая оценка. В этом случае функция ошибки имеет вид:

(1)

Задача обучения сети – подбор таких значений весов связей, при которых ошибка Е минимальна. Для этого условия вели­чина корректировки отдельного веса представляется как:

(2)

где α – коэффициент скорости обучения.

Преобразуем значение производной:

(3)

Представим производную ошибки через состояние нейронов слоя n+1:

(4)

Введем обозначение:

С использованием этого обозначения можем записать:

(5)

44

Записанное выражение получается из выражения (4), если его правую и левую часть умножить на . Тогда в левой части получается выражение для приведенной погрешности  нейрона j слоя n. В правой части получается сумма произведений приведенной погрешности  нейронов k слоя (n+1), умноженную на производную функции активации нейрона j по S.

В итоге выражение (2) приводится к виду:

(6)

Для выходного слоя выражение  будет иметь вид:

(7)

Это выражение получается прямым дифференцированием выражения (1) для ошибки E .

В соответствии с приведенными выражениями алгоритм обучения сети реализуется в следующей последовательности:

1. Сеть инициализируется заданием некоторых слу­чай­ных значений весам всех связей.

2. Вычисляется значение выходов сети прямым распространением.

3. Определяется значения ^N для нейронов выходного слоя.

4. Вычисляются значения  и для слоя, находя­ще­гося перед выходным. Далее эта операция прово­дит­ся последовательно по всем слоям до входного включительно.

5. Вычисляется новое значение выходов сети и опреде­ля­ется ошибка выходного слоя, после чего выполняется новая ите­рация по корректировке весов. Обучение про­во­дится до тех пор, пока значение ошибки не заста­би­ли­зи­ру­ется.

45