Нейронные сети (ИПОВС) / 4 курс - Рычагов М.Н. / Лекции / Lektsiya_4_Obuchenie_neyronnoy_seti

Многослойная нейронная сеть

Скрытые слои

Общая архитектура многослойной нейронной сети

Базы данных для обучения нейронных сетей

Примеры образцов из базы данных MNIST а) рукописных цифр;

б) CASIA – база данных китайских рукописных символов; в) ATT Olivetti база данных лиц.

Дуальность входного и весового пространств

Bx

Aw

Bw

Ax

Входной вектор точка на гиперплоскости (x1, x2, x3)точка в пространстве весов (w1, w2, w3)

Набор весовых коэффициентов точка на гиперплоскости (w1, w2, w3) точка в пространстве входных сигналов (x1, x2, x3)

Процесс обучения в параметрической системе

Обучаемая

архитектура

(НС)

Фиксация параметров (весов) сети

Иерархия обучающих алгоритмов

Обучение без учителя

Обучение с подкреплением – обучение агента в процессе взаимодействия со средой, с целью max долговременного выигрыша.

Корректирующее обучение – обучение агента в процессе выпонения задания, формальным или не формальным образом.

Три кластера и НС-классификатор

Обозначения для АОР (1)

Индексы i, j относятся к различным слоям НС

Итерация n относится к n - тому образцу, представленному на вход нейронной сети

y j (n) - мгновенный выход нейрона j для итерации n

d j (n) - желаемый выход нейрона j для итерации n

e j (n) - сигнал ошибки нейрона j для n - го входного

образца

E(n) E (n) - мгновенная (текущая) сумма квадратов ошибок на итерационном шаге n (т.е. для n-го образца)

Eav - усредненная по всем вариантам (входным сигналам) среднеквадратическая ошибка

Обозначения для АОР (2)

wji (n) - синаптические веса от нейрона i ко входу нейрона j на итерации n

wji (n) - коррекция соответствующего весового коэффициента

I

v j (n) = wji xi - внутрення активность j - го нейрона

i=1

( ) - функция активации j - го нейрона

j = w j0 - смещение, приложенное к j - му нейрону

xi - i - й элемент входного вектора

- коэффициент скорости обучения