14. Алгоритм обучения перцептрона Розенблата

1. Инициализация синоптических весов и сдвигов. Они принимают небольшие случайные значения Wi, b=Rnd

2.Предъявл. нейрону новый входной и желаемый выходной сигнал

x,d

x=(x1,x2…xn)-вектор _n

3.Вычисление выходного сигнала нейрона y=F((WiXj)-b)

4. Настраиваем значения весов ⁱ⁼¹



Wi=Wi+h*(d-y)*Xi

h-скорость обучения, 0<h<1

d-указание учителя

y-выходные сигналы

у должен быть равен d, если y не =d, то ошибка. Подбираем веса пока не станет y=d

Wi-вес связи, соответствующий итому сигналу



W-новый синоптический вес

Синоптический вес меняется пропорционально входному сигналу и в направл.ошибки

5. Переход к шагу 2

6. Эпоха- однократный прогон всех обучающих сигналов.

Обучение прекращается:

-если нет ошибок распознавания и y=d

-ограничение на количество эпох

-по времени

14. Многослойный перцептрон Розенблата, архитектура, емкость сети

S-элементы –сенсоры

R-элементы –реагирующие элементы

А-ассоциативные элементы

В простейшем случае 3 слоя: входной, выходной, промежуточный

На каждой связи синоптический вес

W¹₄₃1-от первого слоя ко второму, от 4ого элемента первого слоя к 3ему элементу второго слоя

Устанавливаются связи только между нейронами соседних слоев. Каждый слой соединен модифицированной связью с любым нейроном соседних слоев. Между нейронами одного слоя связей нет. Каждый нейрон может посылать сигнал только в вышестоящий слой и принимать выходной сигнал только из нижестоящего слоя. Выходные сигналы подаются на нижний слой, а выходной вектор определяется путем последовательных вычислений уравнений активных элементов каждого слоя снизу вверх с использованием уже известных значений активных элементов предшествующих слоев.

Емкость сети Это количество образов, которые способна различать нейронная сеть. Nо-это количество элементов.S,R,A-см.вопрос26

Оценки для многослойных перцептронов N_w/N_R<No< N_w/N_R*Log(N_w/N_R)

Оценка количества ассоциативных элементов N_R-N_s<N_A<=N_R+N_s

Рекомендации к количеству синаптических связей N_w>1000*N_R

Рекоменд.кол-во символов задавать >,чем 1000 кол-во выходных сигналов.

показано, что при количестве больше чем maxN_w=N_A*(N_S+N_R), то происходит переобучение нейронной сети.Эта оценка дала для случая области значений активационной функции от -0,5 до 0,5

F(S)[-0.5;0.5]Если S>0,5, то НС плохо обучаема

14. Нейронная сеть с обратным распростронение ошибки многослойного перцептрона..Проблема обучения

Среди обучающих алгоритмов наиболее распространенным является алгоритм обратного распространения ошибок. Согласно методу перед началом обучения сети всем межнейронным связям присваиваются небольшие случайные значения весов. Каждый шаг обучающей процедуры состоит из двух фаз. Во время первой фазы входные элементы сети устанавливаются в заданное состояние. Входные сигналы распространяются по сети, порождая некоторый выходной вектор. При этом используются сигмоидальные функции активации. Полученный выходной вектор сравнивается с требуемым (правильным) вектором. Если они совпадают, то весовые коэффициенты связей не изменяются. В противном случае вычисляется разница между фактическими и требуемыми выходными значениями, которая передается последовательно от выходного слоя к входному слою.

Когда величина ошибки достигает приемлемо малого уровня, обучение останавливают, и сеть готова к выполнению возложенных на нее задач. Важно отметить, что вся информация, которую сеть приобретает о задаче, содержится в наборе примеров. Поэтому качество обучения сети зависит от количества примеров в обучающей выборке, а также от того, насколько полно эти примеры описывают задачу. Считается, что для полноценной тренировки требуется хотя бы несколько десятков (а лучше сотен) примеров. Если не для всех примеров обучающей выборки известны правильные ответы, то обучение сети проводится без учителя. В этом случае применение самонастраивающихся сетей Кохонена дает возможность определить внутреннюю структуру поступающих в сеть данных и распределить образцы по категориям.  Несмотря на многочисленные успешные применения алгоритма обратного распространения при обучении ИНС, у него есть недостатки. Больше всего неприятностей приносит неопределенно долгий процесс обучения. В сложных задачах для обучения сети могут потребоваться дни или даже недели, она может и вообще не обучиться. Длительное время обучения может быть результатом неоптимального выбора шага сети  . Неудачи в обучении сети обычно возникают по двум причинам. 

1. Паралич сети. В процессе обучения сети значения весов могут в результате коррекции стать очень большими величинами. Это может привести к тому, что все или большинство нейронов будут функционировать при очень больших значениях OUT, в области, где производная сжимающей функции очень мала. Так как посылаемая обратно в процессе обучения ошибка пропорциональна этой производной, то процесс обучения может практически замереть. В теоретическом отношении эта проблема плохо изучена. Обычно этого избегают уменьшением размера шага, но это увеличивает время обучения. Для предохранения от паралича применяются различные эвристики, но пока что они могут рассматриваться лишь как экспериментальные.

2. Попадание в локальный минимум. Обратное распространение использует разновидность градиентного спуска, то есть осуществляет спуск вниз по поверхности ошибки, непрерывно подстраивая веса в направлении минимума. Поверхность ошибки сложной сети сильно изрезана и состоит из холмов, долин, складок и оврагов в пространстве высокой размерности. Сеть может попасть в локальный минимум (неглубокую долину), когда рядом имеется гораздо более глубокий минимум. В точке локального минимума все направления ведут вверх, и сеть не может из него выбраться.