Непрерывные сети Хопфилда

Системы с непрерывной активационной функцией F точнее моделируют биологический нейрон.

Как и для бинарных систем, устойчивость гарантируется, если веса симметричны, т.е. wij = wji и wii=0, для всех i и j.

Если  велико, непрерывные системы функционируют подобно дискретным бинарным системам, окончательно стабилизируясь со всеми выходами, близкими нулю или единице, т.е. в вершине единичного гиперкуба. С уменьшением  устойчивые точки удаляются от вершин, последовательно исчезая по мере приближения  к нулю.

Статистические сети Хопфилда

Если правила изменения состояний для бинарной сети Хопфилда заданы статистически, а не детерминировано, как в уравнении (14), то возникает система, имитирующая отжиг. Для ее реализации вводится вероятность изменения веса как функция от величины, на которую выход нейрона OUT превышает его порог. Пусть

Ek = NETk - Qk, (18)

где

NETk - выход NET нейрона k;

Qk - порог нейрона k,

и

pk = 1/[1+exp(-Ek/T)], (19)

где

Т - искусственная температура.

В стадии функционирования искусственной температуре присваивается большое значение, нейроны устанавливаются в начальном состоянии, определяемом входным вектором, и сети предоставляется возможность искать минимум энергии в соответствии с нижеследующей процедурой:

Приписать состоянию каждого нейрона с вероятностью pk значение единица, а с вероятностью (1 - pk) - нуль.

Постепенно уменьшать искусственную температуру и повторять шаг 1, пока не будет достигнуто равновесие.

Алгоритм обучения

Для обучения сети Хопфилда могут использоваться несколько алгоритмов.

Базовое обучающее правило для сети Хопфилда имеет достаточно простой вид:

wij = (2xi - 1)(2xj - 1), (20)

где

wij - вес соединения между j-м и i-м процессорными элементами;

xi - выход текущего нейрона;

xj - вход нейрона;

xi и xj могут принимать значения только 0 или 1.

Правило обучения Хебба определяет формирование синаптических весов в сети следующим образом:

Wij = ∑Xi^k Xj^k, i≠j,

0, если i=j, i=1…N, j=1…N,

где M –количество векторов-образцов;

N – размерность входного сигнала;

Xjk – i-я компонента запоминаемого входного вектора k.

Приведенная ниже таблица демонстрирует формирование весовых коэффициентов в сети Хопфилда при использовании различных правил обучения.

Xi (выход)	0	0	1	1
Xj (вход)	0	1	0	1
Правило Хебба	0	0	0	1
Правило Хопфилда	1	-1	-1	1
Правило Анти-Хебб	0	0	-1	1

Свойства сети Хопфилда

1. Емкость сети.

Теоретически сеть из n двоичных нейронов может иметь 2ⁿ состояний.

Экспериментально было показано, что в общем случае предельное значение емкости ближе к 0,15*n, а число состояний не может превышать n, что согласуется с наблюдениями над реальными системами и является наилучшей на сегодняшний день оценкой.

2. Перекрестные ассоциации.

Если два образа А и Б сильно похожи , то они, возможно, будут вызывать у сети перекрестные ассоциации: предъявление А приведет к появлению на выходе Б и наоборот.

3. Генерация «ложных образов».

Это устойчивый локальный экстремум энергии не соответствующий никакому образу. В некотором смысле, собирательный образ.

4. Хранение «негативных» образов.