Обучение нейронных сетей

Важнейшим свойством нейронных сетей является их способность к обучению, что делает нейросетевые модели незаменимыми при решении тех задач, для которых алгоритмизация является невозможной, проблематичной или слишком сложной.

Обучение нейронных сетей заключается в изменении внутренних параметров модели таким образом, чтобы на выходе искусственной нейронной сети генерировался вектор значений, совпадающий с результатами примеров обучающей выборки. Изменение параметров нейросетевой модели может выполняться различными способами в соответствии с разными алгоритмами обучения.

Парадигма – это исходная концептуальная схема модели, то есть модель постановки проблем и их решений, методов исследования, господствующих в течение определенного исторического периода в научном сообществе.

Парадигма обучения определяется доступностью необходимой информации. Выделяют три парадигмы:

1) обучение с учителем (контролируемое обучение);

2) обучение без учителя (неконтролируемое обучение);

3) смешанное обучение.

При обучении с учителем задаются примеры обучающей выборки, которая содержит правильные ответы, соответствующие исходным данным (входам). В процессе контролируемого обучения синаптические веса настраиваются так, чтобы сеть порождала ответы, наиболее близкие к правильным.

Обучение без учителя используют тогда, когда не для всех примеров обучающей выборки известны правильные ответы. В таком случае предпринимаются попытки определения внутренней структуры поступающих в сеть данных с целью распределить образцы по категориям.

Обучение по примерам характеризуется тремя свойствами:

1) емкость;

2) сложность образцов;

3) вычислительная сложность.

Емкость соответствует количеству образцов, которые может запомнить нейронная сеть. Сложность образцов определяет способность нейронной сети к обучению. При обучении нейронной сети могут возникнуть состояния перетренировки, в которых сеть хорошо функционирует на примерах обучающей выборки, но не справляется с другими новыми примерами.

Правила обучения

1) Правило коррекции по ошибке.

Процесс обучения ИНС состоит в коррекции исходных значений весовых коэффициентов межнейронных связей. При вводе входящих данных запоминаемого примера (стимула) появляется реакция, которая передается от одного слоя нейронов к другому, достигая последнего слоя, где вычисляется результат. Разность между известным значением результата и реакцией сети соответствует величине ошибки, которая может использоваться для корректировки весов межнейронных связей. Корректировка заключается в небольшом увеличении синаптического веса (порядка < 1%) тех связей, которые усиливают правильные реакции, и уменьшении тех, которые способствуют ошибочным. Это простейшее правило контролируемого обучения используется в однослойных сетях с одним уровнем настраиваемых связей между множеством входов и множеством выходов. При этом на каждом k-том шаге для j-того нейрона вес i-той связи определяется как:

w_jik = w_ji(k-1) + Δw_jik

Оптимальные значения весов межнейронных соединений можно определить путем минимизации среднеквадратической ошибки с использованием детерминированных или псевдослучайных алгоритмов поиска экстремума в пространстве весовых коэффициентов.

При этом возникает традиционная проблема оптимизации, которая связана с попаданием в локальный минимум.