11.4. Нейросетевое обучение в дискретной модели Хопфилда/

Нейросеть как модель представляет собой динамическую систему в виде орграфа , где Ne конечный набор нейронов, представляющих вершины орграфа; S множество состояний нейронов; As набор ориентированных связей (дуг) между нейронами; W веса связей. Состояние нейросети на момент времени t определяется посредством функций: f(t):, определяющей для каждого нейрона из Ne его состояние из S; и :, задающей каждой связи из As некоторый вес из множества W. Источники и стоки в нейросетях не фиксируются, т.е. формально любой элемент или их некоторый ансамбль в сети при необходимости может выполнять такие функции.

Модель Хопфилда [20;27;28] представляет собой следующую нейросетевую идеализацию. Полагается, что множество состояний дискретно, так, что S(t)={-1;1}, т.е. принимается два состояния активности нейронов – возбуждения (значение+1) и торможения (значение -1). Эта дискретность отражает нелинейный, пороговый характер функционирования нейрона и известный принцип нейробиологии «все или ничего» (см. п. 11.2).

Динамика нейрона у Хопфилда описывается в рамках традиционной модели нейрона Мак-Каллока – Питтса. Пусть некоторое состояние нейрона, а h(t) внешнее воздействие на этот нейрон, например, со стороны других нейронов сети в момент времени t, которое считаем дискретным t=1;2;… . Тогда состояние данного нейрона в последующий момент времени s(t+1) определяется соотношением:

s(t+1)=sign(h(t))= (11.3)

В теории нейронных сетей считается, что всякая пара нейронов сети формально взаимосвязана. Поэтому, имея ввиду конечность множества нейронов Ne, пронумеровав элементы Ne, можно положить Ne={1;2;…;n}, где n – количество нейронов в сети, и тогда можно определить множество связей {(i;j):i;j=}. Будем также полагать, что воздействие на данный нейрон со стороны остальных нейронов сети отвечает принципу суперпозиции и определяется взвешенной суммой:

, (11.4)

где вес дуги, описывающей воздействие на нейрон i со стороны нейрона j в момент времени t. Таким образом, используя (11.3); (11.4), можно записать:

(11.5)

Система нелинейных рекуррентных (разностных) уравнений 1-го порядка (11.5) описывает эволюцию нейросети, причем, входной образ

, (11.6)

предъявляемый сети для распознания, определяет начальные условия для системы (11.5), а динамика изменения весов представляет алгоритм обучения данной нейросети. В модели Хопфилда алгоритм обучения нейросети формируется в соответствии с правилом обучения, предложенным Д.Хеббом в 40-х гг. XX в. [20;23]. В данном случае, когда распознается единственный входной образ (11.6), правило Хебба принимает вид:

, , (11.7)

Соотношения (11.5), (11.6), (11.7) полностью определяют эволюцию нейросети в рамках нелинейной модели Хопфилда, причем, нелинейность этой модели связана с процедурой обучения (11.7).

Механизм обучения в нейросетевой модели Хопфилда (11.5), (11.6), (11.7) тесно связан с качественной теорией нелинейного дифференциального уравнения где v(x) некоторая ограниченная, достаточно гладкая функция скалярного аргумента x, обладающая потенциалом (функцией Ляпунова) L(x), т.е. . Известно [20], что аттракторами данного дифуравнения могут быть только особые точки , для которых , причем, на соответствующей фазовой координатной прямой устойчивые особые точки () чередуются с неустойчивыми () и последние определяют границы области притяжения устойчивых точек.

Сопоставим аттракторам рассматриваемого уравнения набор ключевых образов , которым в сети отвечают вполне определенные устойчивые ассоциативные связи. Входной образ а, предъявляемый сети, задает начальное условие х(0) для этого уравнения; распознавание образа будет соответствовать выходу решения на аттрактор: предъявленный образ будет близок (в смысле (11.1)) к некоторому ключевому, если он попадает в область притяжения соответствующего аттрактора и, следовательно, решение уравнения

(11.8)

при стремится к одному из ключевых образов , для которого . Таким образом, обучение сети в данном случае сводится к построению функции v(x) с устойчивыми особыми точками , которым отвечают точки минимумов потенциала L(x).

Рассмотрим теперь разностную аппроксимацию уравнения (11.8) по методу Эйлера:

(11.9)

Если достаточно мало, то свойства разностного уравнения (11.9), по крайней мере качественно, сохраняют свойства дифференциального уравнения (11.8) [20], а потому при решение уравнения (11.9) также выходит на некоторый аттрактор, отвечающий определенному ключевому образу и, таким образом, происходит распознавание входного образа , предъявленного сети.

Нетрудно заметить, что каждое уравнение системы (11.5) с условием (11.6) приводится к виду (11.9). Действительно, полагая , уравнение (11.5) принимает вид

, (11.10)

где =1, причем, единица временного шага должна устанавливаться на том уровне малости, который отвечает определенным условиям сходимости процесса (11.10) при . Сравнивая (11.10) и (11.9), убеждаемся, что эти уравнения отличаются только лишь некоторыми обозначениями и, следовательно, механизм обучения в дискретной нейросетевой модели Хопфилда (11.5), (11.6), (11.7) полностью укладывается в рамки сценария, описываемого качественной теорией уравнений (11.8), (11.9). Конкретным выражением процесса обучения в дискретной модели Хопфилда является тот факт, что после предъявления сети входного образа (11.6) с ростом t происходит постепенная стабилизация весов связей (11.7) между нейронами. Как только отличия между соответствующими весами связи с ростом t перестают превосходить некоторые фиксированные значения (условие (11.1)), мы имеем режим выхода параметров сети на режим аттрактора, которому отвечает определенный ключевой образ и, таким образом, входной образ опознан, а соответствующая «развесованная» конфигурация связей между нейронами представляет результат обучения. Отметим, что обычно процедура стабилизации весов в процессе обучения нейросети оптимизируется по алгоритму обратного распространения ошибки [20].