Добавил:
okley
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:ML - Коротков (2 сем, мага) / Lecture_4
.pdf
Но что нам делать со всеми этими входами?
Мы будем просто комбинировать их, суммируя
соответствующие значения, и результирующая сумма будет
служить входным значением для сигмоиды, управляющей
выходным значением. Такая схема отражает принцип работы
нейронной сети. Приведенная ниже диаграмма иллюстрирует
идею комбинирования входных значений и сравнения
результирующей суммы с пороговым значением.
вход a
вход b
вход c
сумма
входов
x=
a + b + c
сигмоидальная
функция
активации
y(x)
выход y
Если комбинированный сигнал недостаточно сильный, то
сигмоида подавляет выходной сигнал.
Если же сумма x достаточно велика, то функция возбуждает
нейрон.
Интересно отметить, что даже если только один сигнал
достаточно сильный, в то время как все остальные имеют
небольшую величину, то и этого может вполне хватить для
возбуждения нейрона. Более того, нейрон может
возбудиться и тогда, когда каждый из сигналов, взятых по
отдельности, имеет недостаточную величину, но, будучи
взятыми вместе, они обеспечивают превышение порога. В
этом уже чувствуется прототип более сложных и в
некотором смысле неопределенных вычислений, на которые
способны подобные нейроны.
Электрические сигналы воспринимаются дендритами, где
они комбинируются, формируя более сильный сигнал. Если
этот сигнал превышает порог, нейрон возбуждается, и
сигнал передается через аксон к терминалям, откуда он
поступает на дендриты следующего нейрона.
Одним из способов воспроизведения такого поведения
нейронов, наблюдаемого в живой природе, в
искусственной модели является создание многослойных
нейронных структур, в которых каждый нейрон соединен
с каждым из нейронов в предшествующем и
последующем слоях.
слой 1 слой 2 слой 3
входы
1
2
1
2
1
выходы
2
3
3
нейроны соединения
3
На этой иллюстрации представлены три слоя, каждый из
которых включает три искусственных нейрона, или узла.
Как нетрудно заметить, здесь каждый узел соединен с
каждым из узлов предшествующего и последующего
слоев.
Но в какой части этой застывшей структуры заключена
способность к обучению? Что мы должны регулировать,
реагируя на данные тренировочных примеров? Есть ли
здесь параметр, который можно было бы улучшать
подобно тому, как ранее мы делали это с наклоном
прямой линейного классификатора?
Наиболее очевидной величиной, регулировать которую
мы могли бы, является сила связи между узлами. В
пределах узла мы могли бы регулировать суммирование
входных значений или же форму сигмоиды, но это уже
немного сложнее предыдущей регулировки.
слой 1 слой 2 слой 3
входы
1
2
w
w
w
2,1
w
2,3
w
w
1,1
1,2
2,2
3,2
w
1,3
1
2
w
w
w
w
1,1
1,2
2,2
3,2
w
w
3,1
1,3
1
выходы
2
3
w
3,3
3
w
3,3
3
Следует сказать несколько слов о небольших индексах,
указанных рядом с коэффициентами. Например, символ W
обозначает весовой коэффициент, связанный с сигналом,
который передается от узла 2 данного слоя к узлу 3
следующего слоя. Следовательно, W
— это весовой
1,2
коэффициент, который ослабляет или усиливает сигнал,
передаваемый от узла 1 к узлу 2 следующего слоя.
2,3
Соседние файлы в папке ML - Коротков (2 сем, мага)