Лекция 4 Архитектура нейронных сетей Принципы обучения нейронных сетей

План

1. Особенности обучающихся нейронных сетей

2. Классификация принципов обучения нейронных сетей

3. Схемы обучения нейронных сетей

3.1. Схема обучения нейронной сети без учителя

3.2. Схема обучения нейронной сети с учителем

4. Алгоритмы обучения искусственных НС

4.1. Обучение без учителя

4.1.1. Правило Хебба

4.1.2. Правило Кохонена

4.2. Обучение с учителем

4.2.1. Дельта-правило

4.2.2. Правило обратного распространения ошибки

4.2.3. Стохастические алгоритмы

4.2.3.1. Машина Больцмана

4.2.3.2. Машина Коши

1. Особенности обучающихся нейронных сетей

В основе современной теории нейронных сетей лежат множества представлений о работе нервной системы. Основным из них является следующее:

правила модификации локальны, т.е. изменение состояния каждого пластического элемента обусловлено только его текущим состоянием и активностью сети в точке ее локализации, а также, возможно, от некоторого диффузионного управляющего сигнала, одинакового для всех пластических элементов.

Дадим краткое описание структурных и функциональных особенностей обучающихся НС, при построении которых реализованы эти принципы.

Пластичность НС

В теории НС предполагается, что поведение системы является результатом взаимодействия многих элементов. Каждый из которых ограничивает действие других и сам ограничивается другими на пути системы к формированию оптимального состояния (наблюдаемого поведения). Знание, определяющее это поведение, распределено в состояниях модификации пластических элементов.

Будем рассматривать вариант НС с синаптической пластичностью (СП). Выделяют три вида СП:

1) появление новых связей;

2) исчезновение существующих связей;

3) модификация.

Активность НС

Единственным выходным сигналом нейрона в процессе обучения является импульсивная активность клетки. Активность определяет синаптическое возбуждение или торможение других нейронов связанных с данным нейроном. Активность всей нейронной системы описываетсявектором, гдеn– общее число нейронов (рис. 4.1).

Степень взаимодействия элементов определяется матрицей весов их синаптических связей W, компоненты которойw_ijзадают величину и знак связи отj-го элемента кi-му (рис. 4.2). Еслиj-ый элемент не связанi-ым, тоw_ij=0.

Синаптическое возбуждение в i-ом нейроне в момент времени t создается активностью нейронов сети и внешних источников информации

. (4.1)

В дискретном времени активность i-го нейронаa_iв момент времениt+1задается некоторой неубывающей функцией от синаптического возбуждения–функцией реактивности

. (4.2)

В непрерывном времени связь между активностью нейрона и его синаптическим возбуждением задается некоторым процессом

(4.3)

Режимы работы НС

В зависимости от используемого принципа управления, для сетей функционирующих в дискретном времени различают два режима работы:

- синхронный;

- асинхронный.

В синхронном режиме вычисляется синаптическое возбуждение (4.1) и активность нейронов (4.2) на каждом такте времени для всех нейронов сети.

В асинхронном режиме вычисляется синаптическое возбуждения и активность на каждом такте только одного нейрона, выбранного случайно или в соответствии с заданной последовательностью.

Для сетей с симметричными связями (w_ij=w_ji) и при отсутствии связей нейронов самих на себя (w_ii=0) допустима простая физическая аналогия:

активности каждого элемента ставится в соответствие ориентация одного атома кристалла, а силе синаптической связи между элементами – коэффициент, определяющий вклад одного атома в силовое поле около другого атома.

Тогда по аналогии с энергией кристалла можно ввести понятие энергии нейронной сети:

. (4.4)

Второе слагаемое соответствует вкладу в энергию кристалла внешнего силового поля, которое имитируется в НС внешним синаптическим возбуждением и смещением.

Для сети, работающей в асинхронном режиме, вычисляется изменение энергии сети при изменении активности i-го нейрона:

. (4.5)

Существует проблема попадания сети в локальные минимумы. В локальных минимумах активность сети может стабилизироваться до того, как она достигнет глобального экстремума. На рис. 4.4. это продемонстрировано для сети с одним весом.

Допустим, что первоначально вес взят равным значению в точке А. Если случайные шаги по изменению веса малы, то любые отклонения от точки А увеличивают целевую функцию и будут отвергнуты. Лучшее значение веса, принимаемое в точке В, никогда не будет найдено, и система будет поймана в ловушку локальным минимумом, вместо глобального минимума в точке В. Если же случайные коррекции веса очень велики, то целевая функция будет принимать значения на всем отрезке значений веса. Вес будет меняться так резко, что он никогда не установится в желаемом минимуме.

Необходимо изменять величину шага (колебания поверхности) в течение всего алгоритма нахождения минимума в зависимости от точки поверхности. Т.е. при уменьшении величины шага вблизи точки В сила колебаний должна быть достаточной, чтобы вывести шарик из точки А, но уже не достаточной, чтобы вывести его из точки В.