Добавил:
okley
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:ML - Коротков (2 сем, мага) / Lecture_6
.pdf
Мы вышли на финишную прямую!
Чтобы воспользоваться методом градиентного спуска, нам
нужно определить наклон функции ошибки по отношению к
весовым коэффициентам.
Нас интересует зависимость функции ошибки от весовых
коэффициентов связей внутри нейронной сети. Иными
словами, нас интересует, насколько величина ошибки
чувствительна к изменениям весовых коэффициентов.
Начнем с рассмотрения графика
Этот график в точности повторяет один из тех, которые
приводились ранее, чтобы подчеркнуть, что мы не делаем
ничего принципиально нового. На этот раз функцией, которую
мы пытаемся минимизировать, является ошибка на выходе
нейронной сети. В этом простом примере показан лишь один
весовой коэффициент, но мы знаем, что в нейронных сетях их
будет намного больше.
На этой диаграмме отображаются два весовых коэффициента,
и поэтому функция ошибки графически отображается в виде
трехмерной поверхности, высота расположения точек которой
изменяется с изменением весовых коэффициентов связей.
Визуализировать многомерную поверхность ошибки как
∂E
∂w
jk
E
w
jk
функции намного большего количества параметров
значительно труднее, но идея нахождения минимума методом
градиентного спуска остается той же.
Это выражение представляет изменение ошибки при
изменении веса . Это и есть тот наклон функции ошибки,
который нам нужно знать, чтобы начать градиентный спуск к
минимуму.
Сосредоточим внимание только на весовых коэффициентах
связей между скрытым слоем и последним выходным слоем.
Интересующая нас область выделена на приведенной на
следующем слайде диаграмме.
Прежде всего запишем в явном виде функцию ошибки,
которая представляет собой сумму возведенных в квадрат
разностей между целевым и фактическим значениями, где
суммирование осуществляется по всем n выходным узлам.
∂E
w
jk
=
∂
∂w
2
(tn− on)
∑
jk
n
Здесь мы всего лишь записали, что на самом деле представляет
E
собой функция ошибки .
Мы можем сразу же упростить это выражение, заметив, что
выходной сигнал on на узле n зависит лишь от связей, которые с
ним соединены. Для узла k это означает, что выходной сигнал ok
зависит лишь от весов wjk, поскольку эти веса относятся к
связям, ведущим к узлу k.
Это можно рассматривать еще и как то, что выходной сигнал
узла k не зависит от весов wjb, где b не равно k, поскольку связь
между этими узлами отсутствует. Вес wjb относится к связи,
ведущей к выходному узлу b, но не k.
Это означает, что мы можем удалить из этой суммы все сигналы
on кроме того, который связан с весом wjk, т.е. ok.
Теперь мы имеем более простое выражение:
∂E
w
jk
=
∂
∂w
2
(tk− ok)
jk
Перепишем предыдущее выражение, принимая во внимание, что
член tk — константа и поэтому не изменяется при изменении wjk,
т.е. не является функцией wjk. Было бы очень странно, если бы
истинные примеры, предоставляющие целевые значения,
изменялись в зависимости от весовых коэффициентов!
⋅
∂o
∂w
k
jk
∂E
∂E
=
w
jk
Продолжая получим:
∂o
k
∂E
= − 2(tk− ok) ⋅
w
jk
∂o
∂w
k
jk
Со второй частью придется немного повозиться, но и это не
вызовет больших затруднений.
Здесь ok — это выходной сигнал узла k, который получается в
результате применения сигмоиды к сигналам, поступающим на
данный узел. Для большей ясности запишем это в явном виде:
Воспользуемся уже известным ответом
Продвигаясь далее получаем следующее выражение:
Или
Это и есть то магическое выражение, которое мы искали.
Оно является ключом к тренировке нейронных сетей.
Выражение, с которым мы совладали, предназначено для
уточнения весовых коэффициентов связей между скрытым и
выходным слоями.
Мы должны завершить работу и найти наклон аналогичной
функции ошибки для коэффициентов связей между входным и
скрытым слоями.
Можно было бы вновь произвести полностью все
математические выкладки, но мы не будем этого делать.
Воспользуемся описанной перед этим физической
интерпретацией составляющих выражения для производной и
реконструируем его для интересующего нас нового набора
коэффициентов.
Соседние файлы в папке ML - Коротков (2 сем, мага)