5)Классификация базовых архитектур, типы обучения

Тиб обучения (Coding) Тип связей (Decoding)	С "учителем"	Без "учителя"
Без обратных связей	Многослойные персептроны (аппроксимация функций, классификация)	Соревновательные сети, карты Кохонена (сжатие данных, выделение признаков)
С обратными связями	Рекуррентные аппроксиматоры (предсказание временных рядов, обучение в режиме on-line)	Сеть Хопфилда (ассоциативная память, кластеризация данных, оптимизация)

Ограничившись лишь двумя факторами, разделяющими сети по типу обучения (программирования) и функционирования, получим следующую полезную классификацию базовых нейро-архитектур, впервые предложенную Бартом Коско.

В этой таблице различные архитектуры сетей, которые распределены по ячейкам в зависимости от способа обработки ими информации и способа их обучения. В скобках указаны основные типы задач, обычно решаемых данным классом нейросетей.

6)Дельта-обучающее правило нс (линейная функция активации)

Это правило базируется на простой идее непрерывного изменения синаптических весов для уменьшения разности ("дельта") между значением желаемого и текущего выходного сигнала нейрона.

DWij= xj (di - yi).

По этому правилу минимизируется среднеквадратичная погрешность сети. Это правило также упоминается как правило обучения Видрова-Хоффа и правило обучения наименьших средних квадратов.

В правиле "дельта" погрешность полученная в выходном слое преобразовывается производной передаточной функцией и последовательно послойно распространяется назад на предыдущие слои для коррекции синаптических весов. Процесс обратного распространения погрешностей сети движется до первого слоя.

При использовании правила "дельта" важным является неупорядоченность множества входных данных. При хорошо упорядоченном или структурированном обучающем множестве результат сети может не достигнуть желаемой точности и сеть будет считаться неспособной к обучению.

Собственно дельта-правилом называют математическую, несколько более общую форму записи правил Хебба. Пусть вектор — вектор входных сигналов, а вектор — вектор сигналов, которые должны быть получены от перцептрона под воздействием входного вектора. Здесь n — число нейронов, составляющих перцептрон. Входные сигналы, поступив на входы перцептрона, были взвешены и просуммированы, в результате чего получен вектор выходных значений перцептрона. Тогда можно определить вектор ошибки , размерность которого совпадает размерностью вектором выходных сигналов. Компоненты вектора ошибок определяются как разность между ожидаемым и реальным значением выходного сигнала перцептронного нейрона:

При таких обозначениях формулу для корректировки j-го веса i-го нейрона можно записать следующим образом:

wj(t + 1) = wj(t) + eixj

Номер сигнала j изменяется в пределах от единицы до размерности входного вектора m. Номер нейрона i изменяется в пределах от единицы до количества нейронов n. Величина t — номер текущей итерации обучения. Таким образом, вес входного сигнала нейрона изменяется в сторону уменьшения ошибки пропорционально величине суммарной ошибки нейрона. Часто вводят коэффициент пропорциональности η, на который умножается величина ошибки. Этот коэффициент называют скоростью обучения. Таким образом, итоговая формула для корректировки весов:

wj(t + 1) = wj(t) + ηeixj