Добавил:
okley
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:ML - Коротков (2 сем, мага) / Lecture_5
.pdf
Предположим, что сигналам на входе соответствуют значения
1,0 и 0,5
слой 1 слой 1
1 1
входы
2 2
выходы
Как и раньше, каждый узел превращает сумму двух входных
сигналов в один выходной с помощью функции активации
Рис. 1. Формальный нейрон (по [3])
Примеры некоторых активационных функций представлены в
табл. 1 и на рис. 2.
Табл. 1. Функции активации нейронов
Название Формула Область зна-
чений
Пороговая
⎩
⎨
⎧
Θ≥
Θ
<
=
S
S
Sf
,1
,0
)(
(0, 1)
Линейная
a
S
S
f
=
)(
(– ∞, + ∞)
Лог-сигмоидная
aS
e
Sf
−
+
=
1
1
)(
(0, 1)
Гиперболический
тангенс
aSaS
aSaS
ee
ee
Sf
−
−
+
−
=)(
(–1, 1)
0
x
1
x
n
∑
i
ii
wx
...
Сумматор
Преобра-
зователь
y
w
1
w
n
Функции активации нейронов
y =
1
1 + e
−x
Здесь х - это сумма сигналов, поступающих в нейрон, а у
выходной сигнал этого нейрона.B
Начнём с с выбора весов, выбранных абсолютно случайным
образом (Именно так мы и поступали, когда ранее выбирали
случайное начальное значение наклона прямой для
простого линейного классификатора.):B
•
•
•
•
w
w
w
w
= 0,9B
1,1
= 0,2B
1,2
= 0,3B
2,1
= 0,8B
2,2
Приступим к вычислениям!
слой 1 слой 1
w11 = 0,9
1,0
0,5
входы
1 1
w
w
2 2
= 0,2B
1,2
= 0,3
2,1
w
= 0,8
2,2
выходы
Первый слой узлов — входной, и его единственное
назначение — представлять входные сигналы. Таким
образом, во входных узлах функция активации к входным
сигналам не применяется.
вход
вес
a
b
c
w
w
w
a
b
c
сумма
входов
x=
a•wa+ b•wb + c•w
сигмоидальная
функция
выход y
активации
c
y(x)
Вычислить X
Вычислить Y
С первым слоем все просто — никаких вычислений.
1
y =
1 + e
−x
В этой функции x — комбинированный сигнал на входе узла.
Для начала сосредоточим внимание на узле 1 слоя 2. С ним
связаны оба узла первого, входного слоя. Исходные значения
на этих входных узлах равны 1,0 и 0,5.
Связи первого узла назначен весовой
коэффициент 0,9, связи второго — 0,3. Поэтому сглаженный
входной сигнал вычисляется с помощью следующего
выражения:
х = (вход первого узла*вес связи) + (вход второго узла*вес связи)
х = (1,0*0,9) + (0,5*0,3) = 0,9 +0,15 = 1,05
Без сглаживания сигналов мы просто получили бы их сумму
y =
1
1 + e
−x
1,0 + 0,5, но мы этого не хотим. Именно с весовыми
коэффициентами будет связан процесс обучения нейронной
сети по мере того, как они будут итеративно уточняться для
получения все лучшего и лучшего результата.
Итак, мы уже имеем значение x=1,05 для комбинированного
сглаженного входного сигнала первого узла второго слоя и
теперь располагаем всеми необходимыми данными, чтобы
рассчитать для этого узла выходной сигнал с помощью
функции активации
y = 1/(1 + 0,3499) = 1/1,3499 = 0,7408
Мы рассчитали фактический выходной сигнал для одного из
двух выходных узлов сети.
Повторим те же вычисления для оставшегося узла — узла 2
второго слоя, т.е. вновь вычислим сглаженный входной сигнал с
помощью следующего выражения:
х = (вход первого узла*вес связи) + (вход второго узла*вес связи)
x = (1,0*0,2) + (0,5*0,8) = 0,2 +0,4 = 0,6
y = 1/(1+0,5488) = 1/1,5488 = 0,6457
Рассчитанные нами выходные сигналы сети представлены на
приведенной ниже диаграмме.
1,0
0,5
входы
слой 1 слой 1
w11 = 0,9
1 1
w
w
2 2
= 0,2B
1,2
= 0,3
2,1
w
= 0,8
2,2
0,7408
выходы
0,6457
Мы продемонстрировали, что задача получения всего лишь
двух выходных сигналов для простейшей нейронной сети не
совсем тривиальная. Что уж говорить о расчётах выходных
сигналов для сложных сетей вручную.
С этой задачей достаточно просто справляются компьютеры.B
Однако даже с учетом этого мы не горели бы желанием
выписывать соответствующие программные инструкции для
сети, насчитывающей более двух слоев, каждый из которых
может включать 4, 8 или даже 100 узлов.
Соседние файлы в папке ML - Коротков (2 сем, мага)