4. Сеть Хемминга

Нейронная сеть, которая реализует параллельное вычисление расстояний Хемминга от входного вектора до нескольких векторов-образов, называется сетью Хемминга.

Сеть Хэмминга является другой простейшей моделью ассоциативной памяти является. В этой сети на выходе НС формируется не сам образ в явном виде, а его номер. Таким образом, за каждым выходом сети закрепляется свой образ.

Сеть состоит из двух слоев по mнейронов каждый, где m – число образов. Нейроны первого слоя имеют по n синапсов, соединенных с входами сети. Нейроны второго слоя связаны между собой ингибиторными синаптическими связями. Единственный синапс с положительной обратной связью для каждого нейрона соединен с его же аксоном (рис. 5.9).

Идея работы сети Хэмминга состоит в нахождении расстояния Хэмминга от входного образа (проверяемого) до всех хранимых в сети образов. Расстоянием Хэмминга называется число отличающихся бит в двух бинарных векторах. Сеть должна выбрать образ с минимальным расстоянием Хэмминга до неизвестного входного сигнала. В результате будет активизирован только один выход сети, соответствующий этому образу.

На стадии инициализации (в процессе обучения) весовым коэффициентам нейронов первого слоя и порогу активационной функции присваиваются следующие значения:

(5.5)

, (5.6)

где x_i^k- i–ый элемент k-го образа из множества А.

Элементы весовой матрицы W⁽²⁾выбираются одинаковыми для всех синапсов и равными некоторой величинеза исключением диагональных элементов:

(5.7)

Активационная функция обычно выбирается ступенчатая пороговая или кусочно-линейная (рис. 5.10). Причем величина tдолжна быть достаточно большой, чтобы любые возможные значения аргумента не приводили к насыщению.

5. Двунаправленная ассоциативная память

Сеть Хопфилда и Хэмминга, используемые в качестве ассоциативной памяти, не могут формировать ассоциации хранимых образов друг с другом. Двунаправленная ассоциативная память способна к обобщению, вырабатывая правильные образы под воздействием искаженных входных сигналов, а также данная сеть позволяет формировать ассоциации между парами векторов.

ДАП состоит из двух слоев нейронов с обратными связями от второго слоя к первому. Выходами сети являются выходы всех нейронов (рис. 5.11).

В качестве функции активации используются либо логистическая, либо ступенчатая пороговая функция (она чаще всего). В простейших реализациях ДАП с логистической функцией коэффициент выбирается большим, иS-образная функция стремиться к пороговой.

Алгоритм обучения сети ДАП

Обучение происходит алгоритмом без учителя. В процессе обучения сети предъявляются пары ассоциированных между собой образов (A_k, Е_k),k=. Весовая матрица второго слоя задается как сумма произведений всех пар векторов

(5.13)

где– транспонированный векторk-го входного образа.

Элементы весовой матрицы обратных связей (первого слоя) задаются исходя из матрицы W:

. (5.14)

Алгоритм работы сети ДАП состоит из циклов, в каждом из которых происходит уточнение выходных векторов обоих слоев до тех пор, пока не будет достигнута точка стабильности сети.

Если искаженный или незавершенный образ подается на вход сети, то она способна выдать ближайший к данному образу Е, который стремиться исправить ошибки в образе А. На это требуется, как правило, несколько циклов работы сети. Однако сеть ДАП всегда является устойчивой. Устойчивость сети обеспечивается тем, что синаптическая карта в обратных связях выбирается равной транспонированной карте в прямых связях сети.