Нейронные сети (ИПОВС) / 4 курс - Рычагов М.Н. / Лекции / Lektsiya_4_Obuchenie_neyronnoy_seti

Метод градиентного спуска (2/3)

Свойства градиента: определяет направление, в котором функция u = u(x0 , y0 , z0 ) в точке W0 возрастает с наибольшей скоростью

Решение задачи минимизации весов wji (n): необходимо двигаться в сторону, обратную градиенту

Метод градиентного спуска (3/3)

Поиск глобального минимума

Геометрическая интерпретация метода градиентного спуска с const шагом. На каждом итерационном шаге производится сдвиг по вектору «антиградиента», уменьшенному враз.