!7. Обучение многослойной нейронной сети с помощью алгоритма обратного распространения.

Является обобщением процедуры обучения простого перцептрона с использованием дельта-правила на многослойные сети. В данном методе необходимо располагать обучающей выборкой, содержащей «правильные ответы», т.е. выборка должна включать множество пар образцов входных и выходных данных, между которыми нужно установить соответствие. Перед началом обучения межнейронным связям присваиваются небольшие случайные значения. Каждый шаг обучающей процедуры состоит из двух фаз. Во время первой фазы входные элементы сети устанавливаются в заданное состояние. Входные сигналы распространяются по сети, порождая некоторый выходной вектор. Для работы алгоритма требуется, чтобы характеристика вход-выход нейроподобных элементов была неубывающей и имела ограниченную производную. Обычно для этого используют сигмоидальные функции. Полученный выходной вектор сравнивается с требуемым (правильным). Если они совпадают, то весовые коэффициенты связей не изменяются. В противном случае вычисляется разница между фактическими и требуемыми выходными значениями, которая передается последовательно от выходного слоя к входному. На основе этой информации проводится модификация связей в соответствии с обобщенным дельта-правилом, которое имеет вид: , где изменение в силе связи wji для р-й обучающей пары пропорционально произведению сигнала ошибки j-го нейрона , получающего входной сигнал по этой связи, и выходного сигнала i-го нейрона yip, посылающего сигнал по этой связи. Определение сигнала ошибки является рекурсивным процессом, который начинается с выходных блоков. Для выходного блока сигнал ошибки , где Tjp и Rjp — соответственно желаемое и действительное значения выходного сигнала j-го блока; - — производная от выходного сигнала j-го блока. Сигнал ошибки для скрытого блока определяется рекурсивно через сигнал ошибки блоков, с которым соединен его выход, и веса этих связей равны . Для сигмоидальной функции , поэтому на интервале 0<yj<1 производная имеет максимальное значение в точке уj=0.5, а в точках уj=0 и уj=1 обращается в ноль. Максимальные изменения весов соответствуют блокам, которые еще не выбрали свое состояние. При конечных значениях весовых коэффициентов выходные сигналы блоков не могут достигать 0 или 1.

Модификация весов производится после предъявления каждой пары вход-выход. Если коэффициент , определяющий скорость обучения, мал, то можно показать, что обобщенное дельта-правило достаточно хорошо аппроксимирует минимизацию общей ошибки функционирования сети D методом градиентного спуска в пространстве весов. Общая ошибка функционирования сети определяется по формуле

Обучение продолжается до тех пор, пока ошибка не уменьшится до заданной величины. Недостаток: во многих случаях для сходимости может потребоваться многократное предъявление всей обучающей выборки. Повышения скорости обучения можно добиться, используя информацию о второй производной D или путем увеличения . Алгоритм используется также для обучения сетей с обратными связями. При этом используется эквивалентность многослойной сети с прямыми связями и синхронной сети с обратными связями на ограниченном интервале времени.