Рис. 20. Тестовые (сверху) и распознанные сетью Хэмминга (снизу) образцы цифр при обработке второй группы искажёшшых входных данных

Единственная проблема, связанная с сетью Хемминга, проявляется в случае, когда зашумленные образы находятся на одинаковом (в смысле Хемминга) расстоянии от двух или более эталонов. В этом случае выбор сетью Хемминга одного из этих эталонов становится совершенно случайным.

Линейная ассоциативная память и ассоциативная память на основе сети Хопфилда. Функционирование, отличие.

Ассоциативная память играет роль системы, определяющей взаимную зависимость векторов. В случае, когда на взаимозависимость исследуются компоненты одного и того же вектора, говорят об ассоциативной памяти. Если же взаимозависимыми оказываются два различных вектора a и b, можно говорить о памяти гетероассоциативного типа. Типичным представителем первого класса является сеть Хопфилда, а второго – сеть Хемминга. Главная задача ассоциативной памяти сводится к запоминанию входных (обучающих) выборок таким образом, чтобы при представлении новой выборки система смогла сгенерировать ответ – какая из запомненных ранее выборок наиболее близка к вновь поступившему образу.

Хопфилд разработал ассоциативную память с непрерывными выходами, изменяющимися в пределах от +1 до –1, соответствующих двоичным значениям 0 и 1, Запоминаемая информация кодируется двоичными векторами и хранится в весах согласно следующей формуле:

где т – число запоминаемых выходных векторов; d – номер запоминаемого выходного вектора; OUTi,j – i-компонента запоминаемого выходного вектора.

Это выражение может стать более ясным, если заметить, что весовой массив W может быть найден вычислением внешнего произведения каждого запоминаемого вектора с самим собой (если требуемый вектор имеет n компонент, то эта операция образует матрицу размером п х п) и суммированием матриц, полученных таким образом. Это может быть записано в виде

где Di – i-й запоминаемый вектор-строка.

Как только веса заданы, сеть может быть использована для получения запомненного выходного вектора по данному входному вектору, который может быть частично неправильным или неполным. Для этого выходам сети сначала придают значения этого входного вектора. Затем входной вектор убирается и сети предоставляется возможность «расслабиться», опустившись в ближайший глубокий минимум. Сеть, идущая по локальному наклону функции энергии, может быть захвачена локальным минимумом, не достигнув наилучшего в глобальном смысле решения.

Двунаправленная ассоциативная память. Назначение, структура, обучение и функционирование.

Обобщением сети Хопфилда на случай двухслойной рекуррентной структуры, позволяющей кодировать множества двух взаимосвязанных векторов, считается двунаправленное ассоциативное запоминающее устройство, называемое ВАМ (англ.: Bidirectorial Associative Memory), предложенное Б. Коско. Его обобщенная структура представлена на рис. 21. Сигналы распространяются в двух направлениях: от входа к выходу и обратно. Функционирование имеет синхронный характер. Это означает, что если в первом цикле сигналы вначале проходят в одну сторону для определения состояния нейронов-получателей, то в следующем цикле они сами становятся источником, высылающим сигналы в обратную сторону. Этот процесс повторяется до достижения состояния равновесия.

Рис. 21. Структура сети ВАМ

Функция активации нейронов имеет пороговый характер: она может быть двоичной со значениями 1 или 0 либо биполярной со значениями ±1. При нулевом сигнале возбуждения нейрона его текущее состояние остается равным предыдущему состоянию. Для обеспечения лучших характеристик сети в режиме распознавания на этапе обучения используются только биполярные сигналы. Матрица весов W, связывающая обе части сети, является действительной и несимметричной. С учетом симметрии связей входного и выходного слоев сети при прямом направлении распространения сигналов веса описываются матрицей W, а при противоположном направлении - матрицей WT. Предположим, что

входные обучающие данные определены в виде множества из т биполярных пар

{(ai, bi)}, где ai = [аi1, аi2,..., ain], bi = [bi1, bi2,..., bip] (векторы-строки). Этому множеству сопоставляется множество биполярных пар {(xi, yi)}, где xi – это

биполярное представление ai (0 → -1, 1 → 1), а yi – биполярное представление bi. В соответствии с определением Б. Коско [11] матрица весов W формируется

на основе множества {(хi, yi)} как матрица корреляции

i=1

Показано, что использование биполярных обучающих векторов дает лучшие результаты на стадии распознавания. Определение весов межнейронных связей позволяет проследить процесс стабилизации состояния на обоих концах сети. Если допустить, что начальное состояние сети было задано парой (x0, y0), то процесс двунаправленной обработки сигналов состоит из последовательных циклов

... ... ... ... ...

→ f ( y f WT ) = xf → f (xf WT ) = yf

в результате чего формируются две стабильные величины xf и yf , свидетельствующие о достижении стабильного состояния сети. В случае бинарного описания начального состояния в виде (a0, b0) биполярным величинам (xf, yf) сопоставляются бинарные представления (af, bf). Каждой промежуточной точке процесса (xk, yk) можно сопоставить энергетическую функцию Ek, определяемую в виде

Доказано, что каждое очередное изменение состояния переходного процесса ведет к уменьшению значения энергетической функции сети вплоть до достижения локального минимума. Этот минимум достигается за конечное количество итераций, и он имеет значение

Иными словами, любое другое решение (в том числе и ближайшее, отличающееся лишь на 1 в смысле меры Хемминга от (xf, yf)) будет характеризоваться большим значением энергетической функции. При выполнении некоторых дополнительных условий парой (xf, yf) становится одна из обучающих пар, участвующих в формировании матрицы W, которая наиболее подобна (наиболее близка по мере Хемминга) паре, определившей начальное состояние (x0,

y0).

В качестве примера рассмотрим обучение по правилу Коско сети ВАМ, имеющей 4 входа (векторы x состоят из 4 элементов) и 5 выходов (5-элементные векторы y). Задача сети состоит в запоминании множества из пяти сопряженных векторов x и y, заданных в биполярной форме. Обучающие векторы сгруппированы в приведенные ниже матрицы X и Y. Каждая строка матрицы X

представляет собой один обучающий вектор, сопряженный с соответствующей строкой матрицы Y.

В режиме распознавания при начальных значениях векторов, совпадающих с использованными при обучении, сеть распознает их безошибочно. Значения

энергии, соответствующие конечному состоянию, равны: E1= - x1Wy2T = - 40, Е2 = - x2Wy2T = -34,

E3 = - x3Wy3T = -32, E4 = - x4Wy4T = -34 и E5 = - x5Wy5T = = - 40. При искажении значений векторов x и y, использовавшихся в процессе распознавания,

спроектированная по алгоритму Коско сеть ВАМ не всегда способна откорректировать эти векторы, и распознает их с определенными погрешностями. Оригинальное решение, предложенное Б. Коско, характеризуется относительно невысоким качеством распознавания. Если размерности векторов x и y обозначить соответственно n и p, то удовлетворительное качество распознавания можно получить при выполнении зависимости m < min(n, p) .

Двунаправленная ассоциативная память. Метод обучения двунаправленной ассоциативной памяти с модифицированной структурой.

Заменим матрицу W расширенной матрицей W вида

при передаче сигнала в направлении от y. Вводимая таким образом поправка разрушает симметрию передачи сигналов в противоположных направлениях. Дополнительные матрицы Wx и Wy конструируются так, что при нормальной

Рис. 22. Структура расширенной сети ВАМ

при этом описание отдельных его этапов должно содержать дополнительные связи, показанные на рис. 22. При использовании введенных обозначений получаем

где gx() и gy() обозначают векторы функций активации дополнительных корректирующих нейронов. В алгоритме Ванга эти функции подбираются