21,Аппроксимация функций. Адалайн. Паде-нейрон.

Адалайн-нейрон (ADAptive LInear Neuron – адаптивный линейный нейрон) адаптивный подбор весовых коэффициентов осуществляется в процессе минимизации квадратичной ошибки, определяемой как

.

В связи с выполнением условия дифференцируемости целевой функции стало возможным применение алгоритма градиентного обучения. Значения весовых коэффициентов уточняются следующим способом

_.

Паде-нейрон вычисляет произвольную дробно-линейную функцию вектора . Так же как и для адаптивного сумматора, числитель и знаменатель можно сделать линейными функциями :

, , .

Паде-нейрон может использоваться как обобщение нейрона типа «адалайн» в тех случаях, когда линейных функций становится недостаточно, в частности в задачах интерполяции эмпирических зависимостей.

В случае Паде-нейрона квадратичная ошибка определяется как

и значения весовых коэффициентов уточняются по следующим формулам

,

.

22,Нейрон с квадратичным сумматором.

Квадратичный сумматор может вычислять произвольный полином второго порядка от вектора входных сигналов

.

Для многомерных нормальных распределений нейрон с квадратичным сумматором является наилучшим классификатором. Минимум вероятности ошибки дает квадратичная разделяющая поверхность:

если , то объект принадлежит первому классу;

если , то объект принадлежит второму классу (при условии правильного выбора коэффициентов ).

Квадратичная ошибка здесь определяется как

.

Коэффициенты квадратичного сумматора уточняются по формулам

Недостаток такого классификатора – большое число настраиваемых параметров.

23,Нейроны типа wta.

Нейроны типа WTA (Winner Takes All – Победитель получает все) - Группа (слой) искусственных нейронов, способная к обучению распознавания группы кластеров входных сигналов.

Всегда используются группами, в которых конкурируют между собой.

Каждый конкурирующий нейрон в группе получает одни и те же входные сигналы. Каждый нейрон рассчитывает выходной сигнал своего сумматора обычным образом  . По результатам сравнения всех  ,  выбирается нейрон-победитель, обладающий наибольшим значением  . Выходной сигнал  нейрона-победителя получает значение 1, выходные сигналы всех остальных нейронов - 0.

Серьезная проблема в использовании нейронов типа WTA — возможность возникновения "мертвых" нейронов, т.е. нейронов, ни разу не победивших в конкурентной борьбе в ходе обучения и поэтому оставшихся в начальном состоянии. Для исключения "ложных" срабатываний в режиме классификации мертвые нейроны после окончания обучения должны быть удалены.

Для уменьшения количества мертвых нейронов (и, следовательно, повышения точности распознавания) используется модифицированное обучение, основанное на учете числа побед нейронов и шрафовании наиболее "зарвавшихся" среди них. Дисквалификация может быть реализована либо назначением порога числа побед, после которого слишком активный нейрон "засыпает" на заданное число циклов обучения, либо искусственным уменьшением величины   пропорционально числу побед.