16. Обучение перцептрона. Алгоритм обратного распространения

Под процессом обучения понимается алгоритмическая корректировка весовых коэффициентов синаптических связей каждого участвующего в процессе обучения нейрона, направленная на достижение минимальной ошибки в определении параметров выходного вектора для каждого из входных «образцов».

Насколько качественно будет выполнено обучение нейронной сети, зависит способность сети решать поставленные перед ней проблемы во время эксплуатации. На этапе обучения кроме параметра качества подбора весов важную роль играет время обучения. Как правило, эти два параметра связаны обратной зависимостью и их приходится выбирать на основе компромисса.

Обучение НС может вестись с учителем или без него. В первом случае сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей. Во втором случае выходы НС формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы.

Одним из методов обучения перцептрона является обучение посредством обратного распространения.

Обратное распространение – это распространение сигналов ошибки от выходов НС к ее входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы.

На этапе обучения на вход сети последовательно подаются входные сигналы из заранее подготовленного для тренировки сети набора. Каждому из входных сигналов (данным) соответствуют заранее известные параметры выходного вектора, определение которых для произвольного набора данных, в том числе не использованных в процессе обучения, является целью задачи. Такими параметрами могут быть, например, логические утверждения принадлежности входного вектора тому или иному классу решений или его соответствия одному из тестовых образов, коэффициенты разложения входной функции относительно некоторого базиса и т.д. В каждом такте обучения перцептрон оперирует одновременно с одной из K пap векторов из входного и соответствующего ему выходного пространств, составляющих множество элементов обучения размерности K. После предъявления на вход перцептрона всех имеющихся в распоряжении элементов S (эпоха обучения) оценивается значение суммарной выходной среднеквадратичной ошибки перцептрона с матрицей весовых коэффициентов, соответствующей обучающей эпохе. Подстройка весовой матрицы осуществляется минимизацией функционала итерированием по эпохам обучения с помощью алгоритма обратного распространения:

µ , ν — параметры алгоритма, определяющие скорость и устойчивость итерационного процесса.

Полный алгоритм обучения НС с помощью процедуры обратного распространения строится так:

1. Подать на входы сети один из возможных образов и в режиме обычного функционирования НС, когда сигналы распространяются от входов к выходам, рассчитать значения последних.

2. Рассчитать квадратичную ошибку и изменение весов слоя N.

3. Рассчитать квадратичные ошибки и изменения весов слоев для остальных слоев (1,2,…,N-1).

4. Скорректировать все веса в НС.

5. Если ошибка сети существенна, перейти на шаг 1. В противном случае – конец.

Сети на шаге 1 попеременно в случайном порядке предъявляются все тренировочные образы, чтобы сеть, образно говоря, не забывала одни по мере запоминания других.