13. Рекуррентные ассоциативные сети. Энергетическая функция рекуррентной сети.

Рекуррентные ассоциативные сети являются подмножеством ассоциативных. Используются в основном для решения задач автоассоциативной памяти - для восстановления изображений по их части или распознавания изображений, искаженных шумом. Сеть хранит в памяти множество образов, закодированных двоичными векторами в пространстве признаков, и выдает один из этих образов в ответ на внешнее воздействие.

Эта способность обусловлена особенностью функционирования рекуррентных ассоциативных сетей. Все рекуррентные сети берут начало в некотором начальном состоянии и затем в процессе функционирования сходятся к одному из множества стабильных состояний, соответствующих минимуму некоторой характеристической функции сети, называемой также энергетической.

Энергетическая функция рекуррентной сети

Рассмотрим ИНС, содержащую N ИН, полностью связанных между собой симметричными связями. Пусть состояние нейрона i в момент времени t определяется выходным сигналом si(t). Для такой сети можно определить энергетическую функцию:

Энергетическая функция всегда убывает при изменении состояния нейрона. Можно показать также, что Е имеет глобальный минимум, однако, не всегда можно достичь его. Тем не менее, в теории рекуррентных сетей доказано, что сеть всегда приходит к некоторому локальному минимуму за конечное время.

13. Рекуррентные ассоциативные сети. Сеть Хопфилда.

Наиболее известной рекуррентной автоассоциативной сетью является сеть Хопфилда. Это однослойная полносвязная рекуррентная сеть, элементами которой являются искусственные нейроны с логистической функцией активации.

Для сети из N нейронов состояние сети определяется вектором

S = [s1, s2, …, sN]T, гдеsi = 1 – переменные состояния сети.

Предполагается, что наклон логистической функции fj(×) в области начала координат бесконечно велик, т.е. fj(×) приближается к пороговой функции. Это можно обеспечить выбором достаточно большого значения параметра a.

Искусственный нейрон j сети Хопфилда обновляет свое состояние следующим образом.

В начальный момент времени состояния нейронов sj(0) принимают значения внешних входов.

Матрица весовых коэффициентов формируется в процессе обучения с помощью правила Хебба следующим образом. Пусть необходимо хранить в памяти сети набор из p N-мерных векторов {xm | m =1,2,..., p}. Эти p векторов составляют общую память сети.

Пусть xm,i – i-й элемент общей памяти. Элементы весовой

Функционирование сети называют фазой восстановления.

На фазе восстановления сети предъявляется образ, представляющий собой зашумленный или неполный вариант образа из общей памяти сети. В результате функционирования сеть приходит к некоторому стабильному состоянию, которое является выходом.

Состояние стабильности характеризуется свойством si(t + 1) = f(Wsi(t)) для всех нейронов.

13. Рекуррентные ассоциативные сети. Двунаправленная ассоциативная память

Двунаправленная ассоциативная память (ДАП) является модификацией сети Хопфилда и предназначена для решения задач гетероассоциативной памяти. Это рекуррентная и двухслойная сеть. ДАП способна к обработке неполных и зашумленных данных. На рис. 4.7 приведена базовая конфигурация ДАП. Эта сеть

ассоциирует образы A и B. Образ A подается на вход сети, а B получается на выходе.

ДАП состоит из двух слоев нейронов, первый из N элементов имеет выходной сигнал X {-1, 1}^N , а M нейронов второго – выходной сигнал Y {-1,1}^M . Весовые коэффициенты связей между вторым слоем, с выходами X, и первым слоем, с выходами Y, определяются матрицей W ={w_ji},i =1,2,...,N; j =1,2,...,M .

Все нейроны слоя с выходным сигналом X обновляют свои состояния одновременно в один момент времени, все нейроны второго – также одновременно в следующий момент времени.

Процесс продолжается, пока X и Y не перестанут изменяться.

Области применения. Ассоциативная память, распознавание образов.

Недостатки. Емкость двунаправленной ассоциативной памяти жестко ограничена. Если n - количество нейронов во входном слое, то число векторов, которые могут быть запомнены в сети не превышает L=n/2log₂n. Так, если n=1024, то сеть способна запомнить не более 25 образов.

Двунаправленная ассоциативная память имеет некоторую непредсказуемость в процессе функционирования, возможные ошибочные ответы.

Преимущества

• По сравнению с автоассоциативной памятью (например, сетью Хопфилда), двунаправленная ассоциативная память дает возможность строить ассоциации между векторами A и B, что в общем случае имеют разные размерности. За счет таких возможностей гетероассоциативная память имеет более широкий класс применений, чем автоассоциативная память. 

• Двунаправленная ассоциативная память - простая сеть, которая может быть реализована в виде отдельной СБИС или оптоэлектронным способом. 

• Процесс формирования синаптических весов простой и быстрый. Сеть быстро сходится в процессе функционирования. 

• Сигналы в сети могут быть как дискретными, так и аналоговыми. Для обоих случаев доказана стабильность сети.