Добавил:
okley
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:ML - Коротков (2 сем, мага) / Lecture_6
.pdf
•
Первая часть выражения для производной, которая ранее
была выходной ошибкой (целевое значение минус
фактическое значение), теперь становится
рекомбинированной выходной ошибкой скрытых узлов,
рассчитываемой в соответствии с механизмом обратного
распространения ошибок, с чем мы уже знакомы. Назовем
её ej.
•
•
Вторая часть выражения, включающая сигмоиду, остается
той же, но выражение с суммой, передаваемое функции,
теперь относится к предыдущим слоям, и поэтому
суммирование осуществляется по всем входным сигналам
скрытого слоя, сглаженным весами связей, ведущих к
скрытому узлу j. Мы могли бы назвать эту сумму i
Последняя часть выражения приобретает смысл выходных
сигналов oi узлов первого слоя, и в данном случае эти
j
сигналы являются входными.
Итак, вторая часть окончательного ответа, к получению которого
мы стремимся (градиент функции ошибки по весовым
коэффициентам связей между входным и скрытым слоями),
приобретает следующий вид:
На данном этапе нами получены все ключевые магические
выражения, необходимые для вычисления искомого градиента,
который мы используем для обновления весовых
коэффициентов по результатам обучения на каждом
тренировочном примере.
Обновленный вес wjk — это старый вес с учетом отрицательной
поправки, величина которой пропорциональна производной
функции ошибки. Поправка записана со знаком “минус”,
поскольку мы хотим, чтобы вес увеличивался при отрицательной
производной и уменьшался при положительной, о чем ранее уже
говорилось.
Символ (альфа) — это множитель, сглаживающий величину
изменений во избежание перескоков через минимум. Этот
коэффициент часто называют коэффициентом обучения.
Данное выражение применяется к весовым коэффициентам
связей не только между скрытым и выходным, но и между
входным и скрытым слоями. Эти два случая различаются
градиентами функции ошибки, выражения для которых
приводились выше.
Прежде чем закончить с этим примером, посмотрим, как будут
выглядеть те же вычисления в матричной записи. Для этого
сделаем то, что уже делали раньше, — запишем, что собой
представляет каждый элемент матрицы изменений весов.
Здесь опущен коэффициент обучения , поскольку это всего лишь
константа, которая никак не влияет на то, как мы организуем
матричное умножение.
Матрица изменений весов содержит значения поправок к
весовым коэффициентам wjk для связей между узлом j одного
слоя и узлом k следующего слоя. Вы видите, что в первой
части выражения справа от знака равенства используются
значения из следующего слоя (узел k), а во второй — из
предыдущего слоя (узел j).
Горизонтальная матрица, представленная одной строкой, —
это транспонированная матрица сигналов oj на выходе
предыдущего слоя.
Используя символическую запись матриц, мы можем привести
эту формулу к следующему виду:
Пример обновления весовых коэффициентов
Проиллюстрируем применение описанного метода обновления
весовых коэффициентов на конкретном примере с
использованием числовых данных.
С представленной ниже сетью мы уже работали, но в этот раз
будут использованы заданные значения выходных сигналов
первого и второго узлов скрытого слоя, o
j=1
и o
. Эти значения
j=2
лишь иллюстрируют применение методики и выбраны
произвольно, а не вычислены, как это следовало бы сделать,
по известным выходным сигналам входного слоя.
Мы хотим обновить весовой коэффициент для связи между
скрытым и выходным слоями, текущее значение которого равно
2,0.
Запишем еще раз выражение для градиента ошибки.
•
j
wjko
j
щим диаграммам ошибка e1=0,8.
Первая часть (tk – ok) — это уже известная вам по предыду-
Сумма , передаваемая сигмоидам, равна (2,0 * 0,4) +
•
(3,0 * 0,5) = 2,3.
•
•
Перемножив все три части этого выражения и не забыв при этом
о начальном знаке “минус”, получаем значение –0,0265.
Тогда сигмоида 1/(1 + e
промежуточное выражение равно 0,909 * (1 – 0,909) = 0,083.
Последняя часть — это просто сигнал oj, которым в данном
случае является сигнал oj=1, так как нас интересует вес w
где j=1. Поэтому данная часть просто равна 0,4.
-2,3
) равна 0,909. Следовательно,
11
,
При коэффициенте обучения, равном 0,1, изменение веса
составит –0,1 * (–0,0265) = +0,002650. Следовательно, новое
значение w
его изменения, составит 2,0 + 0,00265 = 2,00265.
, определяемое суммой первоначального значения и
11
Подготовка данных
Входные значения
Взгляните на приведенный ниже график сигмоиды. Как
нетрудно заметить, при больших значениях входного сигнала
кривая функции заметно спрямляется. Происходит насыщение
сети. Рекомендуется исходные сигналы задавать от 0,01 до
0,99.
Выходные значения
Обычно используют диапазон от 0,01 до 0,99 для выходных
значений
Соседние файлы в папке ML - Коротков (2 сем, мага)