7.6. Сеть Хопфилда
Сеть
Хопфилда относится к классу рекуррентных
ИНС. Она состоит из N
нейронов, каждый из которых имеет связи
воздействия на все остальные нейроны
(полный направленный граф без петель)
с весами
.
Выходы нейронов фиксируют начальное
состояние сети, обусловленное предъявленным
стимулом (возмущением), и все последующие
ее состояния вплоть до устойчивого.
Состояние
бинарной сети Хопфилда описывается
N-мерным вектором
,
компонента
которого характеризует состояние i-го
нейрона: 0 или 1 (имеется в виду использование
в качестве активационной функции нейрона
единичной ступеньки). Таким образом,
состоянию сети соответствует одна из
вершин единичного гиперкуба в N-мерном
пространстве.
Каждое устойчивое состояние такой системы можно рассматривать как «запись образа» в ее памяти. При подаче на ее входы возмущения, обусловленного предъявленным для распознавания образом, сеть должна из приобретенного начального состояния в соответствии с динамикой ее функционирования прийти в устойчивое состояние, определяющее идеальный записанный образ.
Возможна асинхронная или синхронная динамика поведения сети.
В случае асинхронной динамики состояние сети меняется с определенной частотой так, что в каждый следующий момент времени случайно выбранный нейрон i принимает состояние
,
(7.11)
где
— порог i-го
нейрона, который часто принимается
равным 0 для всех
.
В отличие от асинхронной динамики, синхронная динамика предполагает изменение в каждый момент времени по правилу (7.11) состояния всех нейронов сети.
Хранение
образов
в памяти сети Хопфилда обеспечивается
матрицей синаптических весов, известной
под названием матрица Хебба. Ее
элементы определяются по формулам:
Надежное
распознавание образов сетью Хопфилда
обеспечивается при выполнении соотношения
.
7.7. Сеть Хемминга
Это
нейронная сеть, состоящая из двух
однослойных подсетей A и
B, содержащих по M
нейронов (рис. 18). Подсеть A
формирует по входному N-мерному
бинарному вектору начальные состояния
(
)
для нейронов подсети В согласно выражению:
где
— синаптический
вес связи
-го
нейрона входного слоя с
-м
нейроном подсети А;
— порог линейной активационной функции
-го
нейрона подсети А.
При настройке подсети А значения синаптических весов и порогов определяются по формулам:
,
где
—
-й
элемент
-го
вектора памяти.
Динамика подсети В итерационна. От начального состояния, установленного подсетью А, она развивается по закону:
,
где
– пороговая активационная функция
нейронов подсети В, аргумент которой
записан с учетом синаптических весов
обратных связей, определенных по формуле:
;
.
Пороги активационных функций для нейронов подсети В устанавливаются равными 0.
Итерационный процесс заканчивается, когда выходы всех нейронов подсети В, за исключением одного, становятся пассивными (побеждает один, соответствующий идентифицированному идеальному образу). Следует заметить, что в случае, когда один из векторов памяти является частью (по значащим фрагментам кода) другого вектора, при подаче его на вход сети активными становятся выходные нейроны, соответствующие обоим векторам.
Таким
образом, обученная сеть Хемминга, как
и сеть Хопфилда, способна выполнять
функции ассоциативной памяти, т.е.
распознавать (воссоздавать) идеальный
образ по предъявленной искаженной
информации о нем. Число запоминаемых
сетью образов равно
.