4.5. Обучение нейронной сети

Большая часть прикладных задач, решаемых нейронной сетью, может быть сведена к реализации некоторого сложного многомерного преобразования. В результате отображения вектора входа u=(u_1, …,u_n) в вектор выхода y=(y₁,…,y_m) необходимо обеспечить формирование правильных выходных сигналов в соответствии:

• со всеми примерами обучающей выборки (образцовых данных);

• со всеми возможными входными сигналами, которые не вошли в обучающую выборку.

Второе требование в значительной степени усложняет задачу формирования обучающей выборки.

В общем виде эта задача в настоящее время еще не решена, однако во всех известных случаях может быть найдено частное решение. Очевидно, что процесс функционирования нейронной сети, сущность действий, которые она способна выполнять, зависит от величин синаптических (весовых коэффициентов усиления) связей между нейронами сети и смещений. Поэтому, задавшись определенной структурой сети (количеством слоев и нейронов, числом входов и выходов), соответствующей поставленной задаче, необходимо найти оптимальные или приемлемые значения всех весовых коэффициентов и смещений.

Этот этап называется обучением нейронной сети и от того, насколько качественно он будет выполнен, зависит способность сети решать во время функционирования, поставленные перед ней проблемы.

В процессе работы нейронная сеть формирует выходной векторный сигнал y в соответствии с входным векторным сигналом u, реализуя некоторую функцию g:

y=g(u,W₁ ,W₂ ,…, W_m),

где W_q – вектор весовых коффициентов связей q-слоя, m-число слоев.

Если структура (архитектура) сети задана, то вид функции g определяется значениями весовых коэффициентов связей и смещений сети. Обозначим через G множество всех возможных функций g, соответствующих заданной структуре сети.

Пусть решение некоторой задачи есть функция r: d = r(u), заданная парами входных-выходных векторных данных (обучающей выборки), для которых

.

Здесь N число обучающих пар (выборок).

Пусть также задана функция ошибки (критерий качества, целевая функция) E как правило, сумма квадратов ошибки

, (5)

показывающая для каждой из допустимых функций g степень близости к r. Здесь

e_j,k=d_j^k-y_j^k

представляет собой ошибку (разность) между скалярными желаемым d_j^k и

действительным y_j^k выходами j –го нейрона выходного слоя нейросети для

обучающей пары векторов .

Решить поставленную задачу с помощью нейросети заданной структуры – это, значит, построить (синтезировать) функцию , подобрав параметры нейронов (весовые коэффициенты синаптических связей W_q и смещения) таким образом, чтобы критерий качества (усредненная сумма квадратов ошибок по всем выборкам)

обращался в минимум для всех пар .

Уточнение весов может проводиться после предъявления каждой обучающей выборки (так называемый режим «онлайн») либо однократно после предъявления всех выборок, составляющих цикл обучения, другими словами, эпоху (в режиме «офлайн» или режиме пакетной обработки (batch mode)). В дальнейшем изложении используется критерий качества обучения вида (5), которому соответствует оценка весов после предъявления каждой выборки.

Для упрощения можно считать, что цель обучения состоит в таком определении весовых коэффициентов нейронов каждого слоя сети, чтобы при заданном входном векторе получить на выходе значения сигналов y_j , совпадающие с требуемой точностью c желаемыми значениями d_j при j=1,2,…,m.

Итак, задача обучения нейросети определяется совокупностью пяти компонентов:

<u,d,r,G,E>

Обучение состоит в поиске (синтезе) функции g , минимальной по E или по E_N. Оно требует длительных вычислений и представляет собой итерационную процедуру. Число итераций может составить от 10³ до 10⁸. На рис. ниже показана в схематическом виде задача обучения неросети.

Рассмотрим один из самых распространенных алгоритмов обучения – алгоритм обратного распространения ошибки.