Правила обучения

1) Правило коррекции по ошибке.

Процесс обучения ИНС состоит в коррекции исходных значений весовых коэффициентов межнейронных связей. При вводе входящих данных запоминаемого примера (стимула) появляется реакция, которая передается от одного слоя нейронов к другому, достигая последнего слоя, где вычисляется результат. Разность между известным значением результата и реакцией сети соответствует величине ошибки, которая может использоваться для корректировки весов межнейронных связей. Корректировка заключается в небольшом увеличении синаптического веса (порядка < 1%) тех связей, которые усиливают правильные реакции, и уменьшении тех, которые способствуют ошибочным. Это простейшее правило контролируемого обучения используется в однослойных сетях с одним уровнем настраиваемых связей между множеством входов и множеством выходов. При этом на каждом k-том шаге для j-того нейрона вес i-той связи определяется как:

w_jik = w_ji(k-1) + Δw_jik

Оптимальные значения весов межнейронных соединений можно определить путем минимизации среднеквадратической ошибки с использованием детерминированных или псевдослучайных алгоритмов поиска экстремума в пространстве весовых коэффициентов.

При этом возникает традиционная проблема оптимизации, которая связана с попаданием в локальный минимум.

Правило Хэбба

Правило Хэбба базируется на следующем нейрофизическом наблюдении: если нейроны по обе стороны синапса активизируются одновременно и регулярно, то сила их синаптической связи возрастает. При этом изменение веса каждой межнейронной связи зависит только от активности нейронов, образующих этот синапс. Это существенно упрощает реализацию алгоритмов обучения.

Обучение методом соревнования

В отличие от правила Хэбба, где множество выходных нейронов может возбуждаться одновременно, в данном случае выходные нейроны соревнуются (конкурируют) между собой за активизацию. В процессе этого соревновательного обучения осуществляется модификация весов связей выигравшего нейрона и нейронов, расположенных в его окрестности.

Метод обратного распространения ошибки

Метод был разработан и опубликован в 1986 году. Его разработал Дэвид Румельхарт. Метод также известен как метод обобщения дельта-правил.

Общий принцип работы многослойной нейронной сети с обучением методом обратного распространения ошибки заключается в следующем.

Сначала с помощью заранее известных исходных данных и результатов по ним обучают сеть. На ее вход подают входные значения, а на выходе сравнивают значения сети с реальным результатом, и в зависимости от степени их разногласия корректируют внутренние веса нейронов. Добившись удовлетворительной работы сети с заданной погрешностью, прекращают обучение. Теперь сеть готова рассчитывать реальные данные. Для расчета сеть переводится из режима обучения в режим работы. На вход поступают данные, они обрабатываются, и на выходе получается ответ с определенной долей вероятности. Так работает примитивная нейронная сеть обратного распространения ошибки.

В действительности существует множество разнообразных способов увеличения точности ответов и ускорения обучения сети.

Обучение сети начинается с предъявления образа и вычисления соответствующей реакции. Сравнение с желаемой реакцией дает возможность изменять веса связей таким образом, чтобы сеть на следующем шаге могла выдавать более точный результат.

Обучающие правила обеспечивают настройку весов связей. Информация о выходах сети является исходной для нейронов предыдущих слоев. Эти нейроны могут настраивать веса своих связей для уменьшения погрешности на следующем шаге. Когда мы предъявим нейронной сети входной образ, она будет выдавать случайный образ. Функция ошибки представляет собой разность между текущим выходом сети и идеальным выходом. Для успешного обучения требуется приблизить выход сети к желаемому выходу, то есть последовательно уменьшать функцию ошибки. Это достигается настройкой межнейронных связей. Обобщенное дельта-правило обучает сеть путем вычисления функции ошибки для заданного слоя с обратным распространением от данного слоя к предыдущему. Каждый нейрон имеет свои веса, которые настраиваются, чтобы уменьшить функцию ошибки.

Для нейронов выходного слоя известны фактические и желаемые значения выходов.

Поэтому настройка весов для таких нейронов является относительно простой. Для нейронов предыдущих слоев настройка не столь очевидна.

Интуитивно ясно, что нейроны внутренних слоев, которые связаны с выпадами, имеющими большую погрешность, должны изменять свои значения весов сильнее, чем нейроны, созданные с почти корректными выпадами.

Т.е. веса данного нейрона должны изменяться прямо пропорционально ошибкам тех нейронов, с которыми нейрон связан.

Вот поэтому обратное распределение этих ошибок через сеть позволяет корректно настроить веса связей между всеми слоями.

В этом случае величина функции ошибки уменьшается и сеть обучается.