Нейронные сети (ИПОВС) / 4 курс - Рычагов М.Н. / Лекции / Lektsiya_5_Assotsiativnaya_pamyat._Neyronnaya_set_Hopfilda
.pdf
Асинхронный режимы работы НС Хопфилда
Асинхронный режим работы –
▪состояния нейронов в следующий момент времени меняются последовательно
▪вычисляется локальное поле для первого нейрона в момент t
▪определяется его реакция
▪нейрон устанавливается в новое состояние (которое соответствует его выходу в момент t + 1
▪вычисляется локальное поле для второго нейрона с учётом нового состояния первого,
▪меняется состояние второго нейрона,
▪состояние каждого следующего нейрона вычисляется с учетом всех изменений состояний рассмотренных ранее нейронов
невозможен динамический аттрактор, сеть обязательно придет к устойчивому состоянию.
© 2019 МИЭТ, |
сети |
11 |
© 2019 МИЭТ, Нейронныесети |
11 |
|
Модель системы с одной обратной связью
•Система линейна и содержит прямую и обратную связи
•Прямая связь → D (англ. Direct)
•Обратная связь → F (англ. Feed-back)
•n – состояние системы во времени
•x j (n) – внутренний сигнал
© 2019 МИЭТ, |
сети |
12 |
© 2019 МИЭТ, Нейронныесети |
12 |
|
Описание поведения системы.1
yk (n) = D xj (n) |
Выходной сигнал |
xj (n) = xj (n) + F yk (n) |
Внутренний сигнал |
D - Оператор фиксированного веса w
F - Оператор единичной задержки z−1
y (n) = |
|
D |
x |
(n) |
|
DF |
→ разомкнутый контур |
|
|
|
|
|
|||||
|
|
|
D |
|
||||
k |
1− DF |
j |
|
|
|
|||
|
|
|
|
|
|
|
|
→ замкнутый контур |
|
|
|
|
|
|
1− DF |
||
© 2019 МИЭТ, |
сети |
13 |
© 2019 МИЭТ, Нейронныесети |
13 |
|
Описание поведения системы. 2
|
D |
= |
|
w |
= w(1 |
− wz−1 )−1 |
для замкнутого контура |
|
|
|
|
|
|||||
1 − DF |
1− wz−1 |
|||||||
|
|
|
|
|||||
w(1− wz−1 )−1 → биноминальное представление
|
|
(n) |
|
yk |
(n) = w wl z−l xj |
→ определение оператора z−1 |
|
|
l =0 |
|
|
|
|
|
|
yk (n) = wl +1 x j (n − l) |
→ описание динамики системы |
||
l =0
© 2019 МИЭТ, |
сети |
14 |
© 2019 МИЭТ, Нейронныесети |
14 |
|
Поведение системы
w 1
w 1
© 2019 МИЭТ, |
сети |
15 |
© 2019 МИЭТ, Нейронныесети |
15 |
|
Архитектура сети
Архитектура нейронной сети Хопфилда
© 2019 МИЭТ, |
сети |
16 |
© 2019 МИЭТ, Нейронныесети |
16 |
|
Алгоритм работы сети
n
net j = si wij → комбинированный выход сети
i=1
si |
→ состояние нейрона с номером i |
|
|||||
s j |
+1, |
если net j |
0, |
|
|
||
= |
если net j |
0. |
|
|
|||
|
−1, |
Итерационный процесс |
|||||
|
|
|
|
|
|||
Шаг 1 |
|
ШагШаг2 |
2 |
Шаг 3 |
Шаг 4 |
||
Входной вектор задает |
|
Случайным образом |
Выбранный нейрон |
Выбирается другой |
|||
|
Случайным образом |
|
|||||
|
|
|
выбирается нейрон, |
получает взвешенные |
|
||
начальные состояния всех |
выбирается нейрон, |
нейрон до сходимости |
|||||
состояние которого будет |
сигналы от всех |
||||||
|
|
|
|
||||
нейронов сети |
|
состояние которого будет |
процесса |
||||
|
изменено |
|
элементов |
||||
|
|
|
изменено |
|
|||
Алгоритм
© 2019 МИЭТ, |
сети |
17 |
© 2019 МИЭТ, Нейронныесети |
17 |
|
«Программирование» матрицы весов (1 образ)
W = xT x → матрица весовых коэффициентов сети
x1 |
|
Хопфилда |
|
|
|||
x |
|
|
|
2 |
|
= [+1;−1; +1;+1] → вектор в биполярной двоичной системе |
|
x = x3 |
|
||
... |
|
Матрица весовых коэффициентов |
|
|
|
||
|
|||
xn |
|
|
1 |
+1 −1 |
1 |
1 |
0 −1 |
1 |
1 |
|||
−1 |
−1 1 −1 |
−1 |
−1 0 −1 |
−1 |
|||||
x = |
|
[1−1 1 1] = |
−1 |
|
|
→ |
−1 |
|
|
1 |
|
1 |
1 |
1 |
1 |
0 |
1 |
||
|
|
|
−1 |
1 |
|
|
−1 |
1 |
|
1 |
|
1 |
1 |
1 |
0 |
||||
© 2019 МИЭТ, |
сети |
18 |
© 2019 МИЭТ, Нейронныесети |
18 |
|
«Программирование» матрицы весов (n образов)
•Процедура сохранения нескольких образов → прямое произведение вычисляется для каждого вектора и все полученные весовые матрицы складываются
• |
Для векторов x1 |
= [−1;1; −1] |
x2 |
= [1;−1; 1] |
|
|
|||
|
−1 |
1 |
|
0 − 2 |
2 |
||||
|
W = 1 |
[−11 −1] + −1 |
[1 −11] = − 2 |
0 |
− 2 |
||||
|
|
|
|
|
|
|
|
|
|
|
−1 |
1 |
|
|
2 |
− 2 |
0 |
||
|
|
|
|
|
|
|
|
|
|
• |
Диагональные элементы обнулены |
|
N |
||||||
• |
Информационная емкость → |
M max = |
|||||||
2 ln N |
|||||||||
|
N – количество нейронов сети |
|
|
||||||
|
|
|
|
||||||
Хопфилда
© 2019 МИЭТ, |
сети |
19 |
© 2019 МИЭТ, Нейронныесети |
19 |
|
Примеры модели. II
Определение: Пусть W – матрица весовых коэффициентов НС Хопфилда, содержащей n элементов и пусть - n- мерный вектор смещений (пороговых значений). Энергия E(x) состояния x нейронной сети представляется в виде:
E(x) = − |
1 |
x W xT + xT |
(5.1) |
||||
2 |
|||||||
|
|
|
|
|
|
||
Иная форма записи: |
|
|
|
|
|
|
|
E(x) = − |
1 |
n |
|
n |
n |
|
|
|
wij xi x j + i xi . |
(5.2) |
|||||
|
2 j=1 i=1 |
i=1 |
|||||
|
|
||||||
wij wji
© 2019 МИЭТ, |
сети |
20 |
© 2019 МИЭТ, Нейронныесети |
20 |
|