Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Скачиваний:
129
Добавлен:
30.04.2019
Размер:
1.17 Mб
Скачать

Метод градиентного спуска (2/3)

Свойства градиента: определяет направление, в котором функция u = u(x0 , y0 , z0 ) в точке W0 возрастает с наибольшей скоростью

Решение задачи минимизации весов wji (n): необходимо двигаться в сторону, обратную градиенту

©©20201919МИЭТ, ,Нейроннныесети

21

 

21

Метод градиентного спуска (3/3)

Поиск глобального минимума

Локальный min

 

Локальный max

 

Седловая точка

 

 

 

 

 

Геометрическая интерпретация метода градиентного спуска с const шагом. На каждом итерационном шаге производится сдвиг по вектору «антиградиента», уменьшенному враз.

©©20201919МИЭТ, ,Нейроннныесети

22

 

22