Нейронные сети (ИПОВС) / 4 курс - Рычагов М.Н. / Лекции / Lektsiya_4_Obuchenie_neyronnoy_seti
.pdf
Расчёт ошибок
e j (n) = d j (n) − y j (n) |
(4.1) |
- ошибка на j - м выходном нейроне для n - го образца
E(n) = |
1 |
e2j (n) |
(4.2) |
|
2 |
||||
|
j C |
|
- мгновенная ошибка в выходном слое для n - го образцаС определяет множество всех нейронов в О - слое
|
1 |
N |
|
Eav = |
|
E(n) |
(4.3) |
|
|||
|
N n=1 |
|
|
- усредненная по всем образцам ошибка в выходном слое (ошибка в эпохе)
©©20201919МИЭТ, ,Нейроннныесети |
11 |
|
11 |
Подстройка весов как задача минимизации
I |
|
v j (n) = wji (n)xi (n) |
(4.4) |
i=1
-I - общее число входн. сигналов, приложенных к нейрону j
y j (n) = j (v j (n)) |
(4.5) |
Ставится задача минимизации суммарной ошибки
wji (n) ~ E(n) wji (n)
E(n) |
E(n) |
e |
j |
(n) y |
j |
(n) |
|
v |
j |
(n) |
(4.6) |
||||
|
= |
|
|
|
|
|
|
|
|
|
|
||||
wji (n) |
e j (n) |
y j (n) |
v j (n) |
wji (n) |
|
||||||||||
©©20201919МИЭТ, ,Нейроннныесети |
12 |
|
12 |
Частное дифференцирование
Дифференцируя (4.2) →
E(n) = e j (n)e j (n)
Дифференцируя (4.1) →
e j (n) = −1
y j (n)
Дифференцируя (4.5) →
y (n)
v j (n) = j (v j (n))
j
(4.7)
(4.8)
(4.9)
©©20201919МИЭТ, ,Нейроннныесети |
13 |
|
13 |
Правило коррекции весовых коэффициентов
Окончательно из (4.4) →
|
|
|
v j (n) |
= yi (n) |
(4.10) |
|
|
|
|
||
|
|
|
wji (n) |
||
|
|
|
|
|
|
Подстановка (4.7) - (4.10) в (4.6) → |
|
||||
|
E(n) |
=− e j (n) j (v j (n)) yi (n) |
(4.11) |
||
|
wji (n) |
||||
|
|
|
|
|
|
δ - правило коррекции весовых коэффициентов wji (n) →
wji (n) ~ − |
E(n) |
(4.12) |
|
|
|||
wji (n) |
|||
|
|||
|
|
©©20201919МИЭТ, ,Нейроннныесети |
14 |
|
14 |
Локальный градиент
δ j (n) - локальный градиент |
|
j (n) = e j (n) j (v j (n)) |
(4.13) |
Подстановка (4.13) → (4.12) → алгоритм обратного распространения
wji (n) ~ − j (n) yi (n) (4.14)
η - параметр скорости обучения (англ. Learning-rate parameter)
Ключевой элемент в вычислении коррекции wji (n)
сигнал ошибки e j (n)
©©20201919МИЭТ, ,Нейроннныесети |
15 |
|
15 |
2 случая расположения нейронов
Случай 1. Нейрон j – выходной узел
Желаемый отклик известен. С помощью выражения (4.1) → сигнал ошибки e j (n) (4.14) вычисляем градиенты δ j (n) и производим коррекцию весов.
Случай 2. Нейрон j – скрытый узел
Формула обратного распространения для локального
градиента δ j (n)
j (n) = j (v j (n)) k (n)wkj (n) |
(4.15) |
k |
|
©©20201919МИЭТ, ,Нейроннныесети |
16 |
|
16 |
Итоговая формула АОР
|
Коррекция весов с помощью АОР |
|
|
|
|
|||||||
|
Коррекция |
|
Параметр |
|
Локальный |
|
Входной |
|
||||
|
|
|
|
|
|
|||||||
|
|
|
|
скорости |
|
|
|
|
|
сигнал |
|
|
веса |
= |
|
градиент |
|
|
|||||||
|
|
обучения |
|
нейрона j |
||||||||
|
|
|
|
|
|
|
|
|||||
|
wji (n) |
|
|
|
|
|
j (n) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
yi (n) |
|
|||
©©20201919МИЭТ, ,Нейроннныесети |
17 |
|
17 |
Демонстрация АОР
Source: Data Science Central https://www.datasciencecentral.com/profile/RubensZimbres
©©20201919МИЭТ, ,Нейроннныесети |
18 |
|
18 |
Применение алгоритма обратного распространения (АОР)
Обучение на основе АОР
|
?? |
|
|
|
|
Мгновенный |
0.1 |
|
|
?? |
|
|
выход |
|
|
|
|
|
|
|
|
?? |
?? |
1 |
|
|
??? |
Входной |
|
|
|
|
||
|
|
|
|
|
||
вектор |
?? |
|
|
|
|
Желаемый |
|
|
|
?? |
|
выход |
|
0.9 |
|
|
?? |
1 |
||
?? |
|
|
0.9 |
|||
|
|
|
|
|
||
|
|
?? |
1 |
|
|
|
|
|
|
|
|
|
©©20201919МИЭТ, ,Нейроннныесети |
19 |
|
19 |
Метод градиентного спуска (1/3)
Задача: Минимизация нелинейной функции от нескольких аргументов
Градиент скалярного поля u = u(x, y, z) , где
u = u(x, y, z) - дифференцируемая функция есть вектор
|
|
|
|
|
|
u |
, |
u |
, |
u |
|
с координатами |
grad u = |
|
|
|
|
||||||
|
|
|
|
|
|
x |
|
y |
|
z |
|
|
u |
|
|
u |
|
|
u |
|
|
||
или grad u = |
|
i |
+ |
|
j |
+ |
|
|
k |
|
|
x |
y |
z |
|
|
|||||||
|
|
|
|
|
|
|
|
||||
Решение: необходимо двигаться в сторону, обратную градиенту
©©20201919МИЭТ, ,Нейроннныесети |
20 |
|
20 |