14.Парадигмы обучения нс. Смешанное обучение. Применимость, примеры.
Смешанное обучение можно рассмотреть правилом обучения основанном на коррекции ошибок. Для того чтобы проиллюстрировать первое правило обучения, рассмотрим простейший случай нейрона k единственноrо вычислительноro узла выходноrо слоя нейронной сети прямоro распространения
Обучение, основанное на коррекции ошибок, является классическим примером обучения с учителем.
Рассмотрим один
нейрон, который генерирует некоторый
выходной сигнал
под управлением вектора входного сигнала
.
Сравнивая полученный выходной сигнал
с ожидаемым сигналом
,
получаем сигнал ошибки:
.
(7.15)
На основании
полученного сигнала ошибки осуществляется
изменение синаптических весов нейрона
с целью уменьшения функции стоимости
,
которая определяется как:
.
(7.16)
Пошаговая корректировка синаптических весов нейрона продолжается до тех пор, пока нейрон не достигнет устойчивого состояния, то есть такого, при котором веса практически не меняются. Минимизация функции стоимости осуществляется по так называемому дельта правилу или правилу Видроу-Хоффа.
Обозначим
значение синаптического веса
на шаге
.
Тогда, в соответствии с дельта правилом,
изменение веса
будет задаваться выражением:
,
(7.17)
где
- константа скорости обучения (обычно
выполняется неравенство
),
а
- компонент входного вектора
,
соответствующий синаптическому весу
.
Таким образом, значение синаптического
веса
после применения дельта правила будет
определяться выражением:
.
(7.18)
Дельта правило может быть сформулировано следующим образом: корректировка, применяемая к синаптическому весу нейрона, пропорциональна произведению сигнала ошибки на входной сигнал, его вызвавший.
Сформулированное дельта правило предполагает возможность прямого измерения сигнала ошибки, то есть наличие эталонного сигнала .
Следует отметить, что константа скорости обучения определяет эффективность и точность процесса обучения. Для обеспечения сходимости процесса обучения необходим тщательный подбор этого параметра.
Процесс, описанный выше, называется обучением, основанном на коррекции ошибок (errorcorrection leaming).
Гpаф прохождения сиrнала в процессе обучения, oснованного на коррекции ошибок, для выделенноro нейрона k. Входной сиrнал xk и индуцированное локальное поле Vk нейрона k представлены в виде предсинаптического (presynaptic) и постсинаптического (postsynaptic) сиrналов j-ro синапса нейрона k. На рисунке видно, что обучение на основе коррекции ошибок это пример замкнутой системы с обратной связью (closedloop feedback). Из теории управления известно, что устойчивость такой системы определяется параметрами обратной связи. В данном случае существует Bcero одна обратная связь, и единственным интересующим нас параметром является коэффициент скорости обучения t. Для обеспечения устойчивости или сходимости итеративноrо процесса обучения требуется тщательный подбор этоrо параметра. Выбор параметра скорости обучения влияет также на точность и друrие характеристики процесса обучения. Друrими словами, параметр скорости обучения t иrpает ключевую роль в обеспечении производительности процесса обучения на практике.
