16. Математическое описание алгоритма обратного распространения ошибки для однослойной сети.

Выход (output) сети o=f(net) определяется функцией активации сигмоидного типа

где x^т = (x₁,…x_n) — вектор входных сигналов, w^T = (w₁,…w_n) — вектор весов сети, «Т» - символ транспонирования.

Предположим, что для обучения сети используется выборка

где у^k - значения желаемого (целевого) выхода.

В качестве функции ошибки для k-то образца (k-го элемента обучающей выборки) примем величину, пропорциональную квадрату разности желаемого выхода и выхода сети:

Соответственно, суммарная функция ошибки по всем элементам выборки:

E_k, и E являются функциями вектора весов сети w. Задача обучения сети сводится в данном случае к подбору такого вектора w, при котором достигается минимум Е. Данную задачу (оптимизации) будем решать градиентным методом, используя соотношение

где «:=» - оператор присвоения, E_k^’- обозначение вектора-градиента,

 - некоторая константа.

Представляя данный вектор в развернутом виде и учитывая выражение для производной сигмоидной функции, получим:

Это дает возможность записать алгоритм коррекции вектора весовых коэффициентов сети в форме

где

Полученные математические выражения полностью определяют алгоритм обучения рассматриваемой ИНС, который может быть представлен теперь в следующем виде.

1. Задаются некоторые  (0 <  < 1), E_max и некоторые малые случайные веса w_i сети.

2. Задаются k = 1 и Е = 0.

3. Вводится очередная обучающая пара (x^k, y^k). Производятся обозначения

и вычисляется величина выхода сети:

4. Обновляются (корректируются)веса:

5. Корректируется (наращивается) значение функции ошибки:

6. Если k < N, тогда k:=k+1 и переход к шагу 3, в противоположном случае - переход на шаг 7.

7. Завершение цикла обучения. Если Е < Е_mах, то окончание всей процедуры обучения. Если Е  Е_mах тогда начинается новый цикл обучения переходом к шагу 2.

17. Математическое описание алгоритма обратного распространения ошибки для двухслойной сети.

В данном случае функция ошибки зависит от векторов весов скрытого слоя и вектора весов, связанных с выходным нейроном. Выход сети описывается выражением

где W - вектор весов выходного нейрона, o^k - вектор выходов нейронов скрытого слоя с элементами

w_i - обозначает вектор весов, связанных с i-м скрытым нейроном.

Правило корректировки весов в рассматриваемой ИНС также основано на минимизации квадратичной функции ошибки градиентным методом на основе выражений:

где  = const - коэффициент скорости обучения (0 <  < 1),

Используя правило дифференцирования сложной функции и выражение для производной сигмоидной функции активации, получим:

или в скалярной форме

где

Аналогичным образом найдем

или в скалярной форме

Алгоритм обучения может быть представлен в виде следующих шагов.

1. Задаются некоторые  (0 <  < 1), Е_mах и некоторые малые случайные веса wⁱ сети.

2. Задаются k = 1 и Е=0.

3. Вводится очередная обучающая пара (x^k, y^k). Производятся обозначения

и вычисляется величина выхода сети:

где W — вектор весов выходного нейрона, о^k – вектор нейронов скрытого слоя с элементами

w_i, - обозначает вектор весов, связанных с i-м скрытым нейроном.

4. Производится корректировка весов выходного нейрона:

где

5. Корректируются веса нейронов скрытого слоя:

6. Корректируется значение функции ошибки:

Если k < N, тогда k:= k + 1 и переход к шагу 3, в противоположном случае переход на шаг 8.

7. Завершение цикла обучения. Если Е < Е_mах, то окончание всей процедуры обучения. Если Е  Е_mах, тогда начинается новый цикл обучения переходом к шагу 2.