Сеть Хемминга

Если в задаче ассоциативной памяти нет необходимости в том, чтобы нейросеть выдавала эталонный образец, а достаточно только номера образца, то для этих целей используется сеть Хемминга. Структурная схема сети Хемминга представлена на рисунке 2.

 

Рисунок 2. Сеть Хемминга

 

Данная сеть, в сравнении с сетью Хопфилда, характеризуется меньшими вычислительными затратами. В сети Хемминга два слоя – первый и второй слои состоят из нейронов и равно числу образцов. Нейроны первого слоя имеют по входных синапсов, где - размерность входных векторов. Нейроны второго слоя связаны между собой обратными, отрицательными связями. Обратная связь от аксона на владельца нейрона равен +1. Суть работы состоит в нахождении расстояния Хемминга от тестируемого образца до всех образцов. Расстоянием Хемминга называется число отличающихся битов в двух бинарных векторах.

- расстояние Хемминга равно 0.

 

- расстояние Хемминга равно 2.

Сеть должна выбрать образец с минимальным расстоянием Хемминга до поданного входного сигнала – в результате активируется один выход, отвечающий за данный эталонный образец.

При инициализации сети весовым коэффициентам первого слоя и порогу активационной функции присваиваются следующие значения:

, i=0...n-1, k=0...m-1

T_k = n / 2, k = 0...m-1

где x_i^k – i-ый элемент k-ого образца.

Весовые коэффициенты тормозящих синапсов во втором слое берут равными некоторой величине 0 <  < 1/m. Синапс нейрона, связанный с его же аксоном имеет вес +1.

Алгоритм работы сети Хэмминга следующий:

1. На входы сети подается неизвестный вектор X = {x_i:i=0...n-1}, исходя из которого рассчитываются состояния нейронов первого слоя (верхний индекс в скобках указывает номер слоя):

, j=0...m-1

После этого полученными значениями инициализируются значения аксонов второго слоя:

y_j⁽²⁾ = y_j⁽¹⁾, j = 0...m-1

2. Вычислить новые состояния нейронов второго слоя:

и значения их аксонов:

Активационная функция f имеет вид порога, причем величина F должна быть достаточно большой, чтобы любые возможные значения аргумента не приводили к насыщению.

3. Проверить, изменились ли выходы нейронов второго слоя за последнюю итерацию. Если да – перейди к шагу 2. Иначе – завершение работы.

Из оценки алгоритма видно, что роль первого слоя нейронов весьма условна: воспользовавшись один раз на шаге 1 значениями его весовых коэффициентов, сеть больше не обращается к нему, поэтому первый слой может быть вообще исключен из сети (просто заменен на матрицу весовых коэффициентов.

 

6. Устойчивость сетей Хэмминга.

Как и в других сетях, веса между слоями в этой сети могут рассматриваться в виде матрицы . Сеть с обратными связями является устойчивой, если ее матрица симметрична и имеет нули на главной диагонали, т. е. если и для всех .

Устойчивость такой сети может быть доказана с помощью элегантного математического метода. Допустим, что найдена функция, которая всегда убывает при изменении состояния сети. В конце концов, эта функция должна достичь минимума и прекратить изменение, гарантируя тем самым устойчивость сети. Такая функция, называемая функцией Ляпунова, для рассматриваемых сетей с обратными связями может быть введена следующим образом:

где — искусственная энергия сети; — вес от выхода нейрона к входу нейрона ; — выход нейрона ; — внешний вход нейрона ; — порог нейрона .

Изменение энергии , вызванное изменением состояния -нейрона, есть

где — изменение выхода -го нейрона.

Допустим, что величина NET нейрона больше порога. Тогда выражение в скобках будет положительным, а из данных уравнений следует, что выход нейрона должен измениться в положительную сторону (или остаться без изменения). Это значит, что может быть только положительным или нулем и должно быть отрицательным. Следовательно, энергия сети должна либо уменьшиться, либо остаться без изменения.

Далее, допустим, что величина меньше порога. Тогда величина может быть только отрицательной или нулем. Следовательно, опять энергия должна уменьшиться или остаться без изменения.

И окончательно, если величина равна порогу, равна нулю и энергия остается без изменения.

Мы показали, что любое изменение состояния нейрона либо уменьшит энергию, либо оставит ее без изменения. Благодаря такому непрерывному стремлению к уменьшению энергия, в конце концов, должна достигнуть минимума и прекратить изменение. По определению такая сеть является устойчивой.

Симметрия сети является достаточным, но не необходимым условием для устойчивости системы. Имеется много устойчивых систем (например, все сети прямого действия), которые ему не удовлетворяют. Можно продемонстрировать примеры, в которых незначительное отклонение от симметрии будет приводить к непрерывным осцилляциям. Однако приближенной симметрии обычно достаточно для устойчивости систем.