5.4. Модели ассоциативной памяти

До настоящего момента мы рассматривали сети, в которых сигналы распространялись в прямом направлении, т.е. они не содержали обратных связей. Такие сети всегда устойчивы. В нейронных сетях с обратными связями допускается передача выходных сигналов на вход сети. Это приводит к переходным процессам в сети, после которых сеть может установиться в некоторое устойчивое состояние [6]. Однако возможна также ситуация, при которой в сети никогда не наступит состояние равновесия. В этом случае сеть является неустойчивой. Анализ устойчивости нейронных сетей с обратными связями представляет собой сложную теоретическую задачу и здесь подробно рассматриваться не будет. Мы ограничимся рассмотрением некоторого подкласса нейронных сетей с обратными связями, устойчивость которых при определенных условиях может быть доказана [6].

Рисунок 30 – Сеть Хопфильда

К таким сетям, в первую очередь, следует отнести сеть Хопфильда [21]. Это простая сеть показана на рисунке 30 и представляет собой один слой нейронов. Сигнал на выходе каждого нейрона формируется согласно выражению

(73)

где a_j(t) – выход нейрона j на такте t, f(x) – ступенчатая пороговая функция, принимающая значения ±1.

Сеть Хопфильда можно рассматривать как примитивную модель ассоциативной памяти, позволяющей по искаженному входному образу извлечь ближайший к нему эталон. Для этого сеть должна быть предварительно обучена на некоторой обучающей выборке. Обучение осуществляется без учителя путем предъявления сети серии входных образцов A_k, k=1, …, m. Предъявляемые образцы запоминаются в синаптической карте, которая формируется следующим образом:

(74)

Это выражение является матричной формой записи алгоритма обучения, согласно которому синаптические веса формируются путем вычисления корреляций между состояниями отдельных нейронов. Такое задание весов позволяет сети запомнить входные образы и обеспечить в дальнейшем возможность их извлечения по неполным и искаженным данным.

В процессе функционирования нейроны обученной сети активизируются некоторым входным образом, а затем сети предоставляется возможность опуститься в ближайший энергетический минимум. Теоретически было показано, что сеть всегда достигнет устойчивого состояния, если синаптическая карта симметрична и ее диагональные элементы равны нулю, т. е. , . Таким образом, алгоритм функционирования сети Хопфилда можно представить состоящим из шагов [6]:

1. Формирование синаптической карты сети W путем ее обучения по серии входных образцов

(75)

Здесь единичная матрица I введена для того, чтобы обеспечить равенство нулю диагональных элементов синаптической карты .

2. Начальная активация сети входным образом ,т.е. приведение нейронов сети в состояние

3. Интерационное вычисление выгодных сигналов сети до тех пор, пока сеть не достигнет установившегося состояния.

(76)

При использовании сети Хопфильда как ассоциативной памяти важно знать ее максимально допустимую емкость, т.е. максимальное количество сохраняемых образцов. Сеть из N нейтронов может иметь возможных состояний. Однако, как показали исследования, при слишком большом количестве образцов сеть может не стабилизироваться на некоторых из них либо выдавать образы, совершенно отличные от примеров. По утверждению Хопфильда такой нежелательной ситуации можно избежать, если количество запоминаемых классов не превосходит 0,15N.

Сеть Хопфильда является автоассоциативной сетью, в которой входные образы ассоциируются сами собой и не могут быть ассоциированы с другими (выходными) образами. Рассмотрим теперь гетероассоциативный механизм установления ассоциаций на примере нейронной сети, известной как двунаправленная ассоциативная память [6]. Такая сеть состоит из двух слоев нейронов (рис. 31).

Рисунок 31 – Двунаправленная ассоциативная память

В качестве функции активации нейронов используется ступенчатая пороговая функция. В процессе обучения сети предъявляются примеры (A,B), K=1, …,m ассоциированных образов и формируется ее веса

(77)

В соответствии со структурой сети прямым связям соответствует синаптическая карта W, а обратным связям – транспонированная синаптическая карта .

Функционирование сети осуществляется следующим образом:

1. Активация слоя сети входным образом , т.е. приведение нейронов входного слоя в начальные состояния: .

2. Вычисление сигналов на выходе нейронов выходного слоя согласно выражению

(78)

или в матричной форме . Затем внешнее возбуждение убирается.

3. Подача на выходы нейронов слоя сигналов с выходов нейронов слоя (по обратным связям) и вычисление новых состояний нейронов слоя по формуле

(79)

или в матричной форме .

4. Повторение шагов 2-3 до тех пор, пока сеть не достигнет стабильного состояния.

Таким образом, двунаправленная ассоциативная память обладает способностью к исправлению и обобщению. Если искаженный или незавершенный образ подаются на вход сети, то она, тем не менее, способна выдать запомненный ранее выходной образ, который, в свою очередь, стремится восстановить входной образ. Это может потребовать нескольких итераций, но, как правило, их количество не слишком большое, и сеть всегда является устойчивой. Устойчивость сети обеспечивается тем обстоятельством, что синаптическая карта в обратных связях сети выбирается равной транспонированной карте в прямых связях сети.

Аналогично сети Хопфильда для двунаправленной ассоциативной памяти также имеется ограничение на количество образов. Если это ограничение не выполняется, то сеть может выдавать неверные ассоциации. Для запоминания m ассоциаций количество нейронов N в наименьшем слое должно выбираться таким образом, чтобы выполнялось неравенство m<N/(2log₂N). Например, сеть с 1024 нейронами может запомнить не более 25 ассоциаций.