5.8 Двунаправленная ассоциативная память

Двунаправленная ассоциативная память (ДАП – Bi-directional Associative Memory, BAM, НС Коско) отностится к гетероассоциативной памяти. Входной вектор поступает на один набор нейронов, а соответствующий выходной вектор вырабатывается на другом наборе нейронов. Входные образы ассоциируются с выходными.

Для сравнения: сеть Хопфилда является автоассоциативной. Входной образ может быть восстановлен или исправлен сетью, но не может быть ассоциирован с другим образом. В сети Хопфилда используется одноуровневая структура ассоциативной памяти, в которой выходной вектор появляется на выходе тех же нейронов, на которые поступает входной вектор.

ДАП, как и сеть Хопфилда, способна к обобщению, вырабатывая правильные выходные сигналы, несмотря на искаженные входы. Кроме того, могут быть реализованы адаптивные версии ДАП, выделяющие эталонный образ из зашумленных экземпляров. Эти возможности сильно напоминают процесс мышления человека и позволяют искусственным нейронным сетям сделать шаг в направлении моделирования мозга.

На рис.5.5 приведена базовая конфигурация ДАП. Она выбрана таким образом, чтобы подчеркнуть сходство с сетями Хопфилда и предусмотреть увеличения количества слоев.

Рис. 5.5 - Структура двунаправленной ассоциативной памяти

На рис. 5.5 входной вектор А обрабатывается матрицей весов w сети, в результате чего вырабатывается вектор выходных сигналов нейронов В. Вектор В затем обрабатывается транспонированной матрицей w^T весов сети, которая вырабатывает новые выходные сигналы, представляющие собой новый входной вектор А. Этот процесс повторяется до тех пор, пока сеть не достигнет стабильного состояния, в котором ни вектор А, ни вектор В не изменяются.

Нейроны в слоях 1 и 2 функционируют, как и в других моделях НС, вычисляя сумму взвешенных входов и вычисляя по ней значение функции активации ψ.Этот процесс может быть выражен следующим образом:

или в векторной форме: В = ψ(Aw),

где В – вектор выходных сигналов нейронов слоя 2, А – вектор выходных сигналов нейронов слоя 1, w – матрица весов связей между слоями 1 и 2, ψ – функция активации.

Аналогично: A = ψ(Bw^T), где W^Tявляется транспозицией матрицы W.

В качестве функции активации используется сигмоидная функция.

Слой 0 не производит вычислений и не имеет памяти. Он является только средством распределения выходных сигналов слоя 2 к элементам матрицы w^T.

Формула для вычисления значений синаптических весов:

,

где A_i и B_i - входные и выходные сигналы обучающей выборки.

Весовая матрица вычисляется как сумма произведений всех векторных пар обучающей выборки.

Системы с обратной связью имеют тенденцию к колебаниям. Они могут переходить от состояния к состоянию, никогда не достигая стабильности. Доказано, что ДАП безусловно стабильна при любых значениях весов сети.

Емкость ДАП жестко ограничена. Если n - количество нейронов в меньшем слое, то число векторов, которые могут быть запомнены в сети не превышает L = n / 2 log₂ n.

ДАП обладает некоторой непредсказуемостью в процессе функционирования, возможны ложные ответы.

По сравнению с автоассоциативной памятью (например, сетью Хопфилда), двунаправленная ассоциативная память дает возможность строить ассоциации между векторами A и B, которые в общем случае имеют разные размерности. За счет таких возможностей гетероассоциативная память имеет более широкий класс приложений, чем автоассоциативная память. Процесс формирования синаптических весов простой и быстрый. Сеть быстро сходится в процессе функционирования.

Раccмотрим модификации ДАП.

Негомогенная двунаправленная ассоциативная память, в которой пороговые значения подбираются отдельно для каждого нейрона (в исходной модели ДАП все нейроны имеют нулевые пороговые значения). Емкость негомогенной сети выше, чем исходной модели. Сигналы в сети могут быть как дискретными, так и непрерывными. Для обоих случаев доказана стабильность сети.

Адаптивная ДАП (ДАП с обучением без учителя) изменяет свои веса в процессе функционирования. Это означает, что подача на вход сети обучающего набора входных векторов заставляет ее изменять энергетическое состояние до получения резонанса. Постепенно кратковременная память превращается в долговременную память, настраивая сеть в результате ее функционирования. В процессе обучения векторы подаются на слой А, а ассоциированные векторы на слой В. Один из них или оба вектора могут быть зашумленными версиями эталона; сеть обучается исходным векторам, свободным от шума. В этом случае она извлекает сущность ассоциаций, обучаясь эталонам, хотя «видела» только зашумленные аппроксимации.

Так как доказано, что непрерывная ДАП является стабильной независимо от значения весов, ожидается, что медленное изменение ее весов не должно нарушить этой стабильности.

Простейший обучающий алгоритм использует правило Хэбба, в котором изменение веса пропорционально уровню активации его нейрона-источника и уровню активации нейрона-приемника. Символически это можно представить следующим образом:

Δw_ij = η(net_i net_j),

где Δw_ij – изменение веса связи нейрона i с нейроном j в матрицах w или w^T, net_i – выход нейрона i слоя 1 или 2; η – положительный нормирующий коэффициент обучения, меньший 1.

Введение латеральных связей внутри слоя дает возможность реализовать конкурирующую ДАП. Веса связей формируют матрицу с положительными значениями элементов главной диагонали и отрицательными значениями остальных элементов. Теорема Кохена-Гроссберга показывает, что такая сеть является стабильной.