05.03.12 Лекция №5

Обучение с учителем

При обучении нейронных сетей с учителем важную роль играет выбор меры ошибки, которая соответствует сути задачи.

Удачный выбор меры погрешности упрощает задачу обучения нейронной сети, так как обычно приводит к более гладкой поверхности невязки. Часта, в качестве меры погрешности берётся средняя квадратичная ошибка. Она определяется как сумма квадратов разности между желаемой величиной выхода “dk” и реально полученными на нейронной сети значениями “yk” для каждого примера K.

Где N- количество примеров в обучаемом множестве.

В качестве меры погрешности также широко используется расстояние Кульбака –Лейблера, которое связанно с критерием максимального правдоподобия.

Обучение без учителя

Альтернативная парадигма обучения без учителя, своим название говорит об отсутвии вмешательства внешнего учителя или корректора, который контролирует процесс обучения. Блочная диаграмма обучения без учителя имеет вид:

Обучение без учителя является более правдоподобной моделью обучения в биологической системе.

Искусственные нейронные сети, обучающиеся без учителя, служат средством для классификации, кластеризации, организации и визуального представления данных.

Процесс обучения без учителя, как и в случае обучения с учителем заключается в корректировки синоптических весов. Некоторые преобразования предусматривают изменения структуры нейронной сети, то есть количество нейронов и их связей. Такие преобразования называются более широким термином – самоорганизации.

Подстройка синоптических весов может проводиться только на основании информации доступной в нейроне, то есть его состояние уже имеющихся весовых коэффициентов.

Существует лишь независимые от задачи мера качества представления, которому должна научиться нейронная сеть. При этом свободные параметры сети оптимизируются по отношению к этой мере.

При обучении без учителя можно использовать правила конкурентного обучения.

Например: Если нейронная сеть состоит из 2 слоёв входного и выходного, то входной слой получает доступные данные, выходной слой состоит из нейронов, которые конкурирую друг с другом за право отклика на признаки, содержащиеся во входных данных. В каждый момент времени может быть активным только один нейрон. В простейшем случае нейронная сеть действует по принципу “Победитель получает всё”. При такой стратегии нейрон с наибольшим суммарным входным сигналом побеждает в соревновании и переходит в активное состояние. Такой нейрон называют нейроном-победителем, при этом все остальные нейроны отключаются.

Обучение без учителя является более чувствительным к выбору оптимальных параметров по отношению к обучению с учителем. Качества обучения без учителя сильно зависит от начальных значение синоптических коэффициентов. Обучение без учителя критично к выбору радиуса обучения и скорости его обучения. Важным является характер изменения коэффициента обучения.

Модели обучения нейронных сетей.

При создании нейронных сетей используют различные модели обучения. Существует 5 различных моделей обучения:

1. Обучение на основе коррекции ошибок;

2. Обучение с использование памяти;

3. Метод Хебба;

4. Конкурентное обучение;

5. Метод Больцмана.

Рассмотрим более подробно конкурентное обучение и обучение на основе ошибок.

1. (Хайки С. Нейронные сети. Полный курс;)

2. (Оссовский С.)

Обучение на основе коррекции ошибок

Рассмотрим нейронную сеть прямого распространения с одним или несколькими скрытыми слоями нейронов и единственным выходным нейроном “k”.

Нейрон “k” работает под управление вектора сигнала производимого одним или несколькими слоями нейронов, где “m” дискретное время (номер шага итерационного процесса настройки синоптических весов нейрона “k”)

Скрытые слои в свою очередь получают информацию из входного вектора (возбуждения),

передаваемого входному слою нейронной сети.

Выходной нейрона “k” обозначим . Этот сигнал является единственным выходом нейронной сети. Он будет сравниваться с желаемым выходом, который обозначим.

В результате получаем сигнал ошибки

Сигнал ошибки инициализирует механизм управления целью, которого является применение последовательности корректировок к синоптическим весам нейрона “k”.

Эти изменения нацелены на пошаговое приближение выходного сигнала к желаемому.

Эта цель достигается за счёт минимизации невязки (или функции стоимости или индекса производительности ) E(m), которая определяется в терминах сигнала об ошибке по формуле:

E(m) - это текущее значение энергии ошибки. Пошаговая корректировка синоптических весов нейрона “k” продолжается до тех пор, пока система не достигнет устойчивого состояния, при котором синоптические веса практически стабилизируются, в этой точке процесс обучения останавливается.

Процесс обучения, который мы описали, называется обучением, основанным на коррекции ошибок.

Минимизации функции стоимости E(m) выполняется по дельта правилу, которое также называется Видроу – Хоффа.

Обозначим текущее значение синоптического веса нейрона “k” соответствующего элементу векторана шаге дискредитации (m). Согласно дельта правилу изменение, изменение синоптического весана шаге дискредитации (m) задаётся ворожением:

Где, ЭТТА(знак)- некоторая положительная константа называемая параметром скорости обучения.

Ошибка ek(m) вычисляется через множители из последующих слоёв и передается в обратном направлении.

Вычислив изменения синоптического веса по формуле (5) можно определить его новое значение на следующем шаге дискредитации:

Граф прохождения сигнала в процессе обучения на основе коррекции ошибок для нейрона “k” имеет вид: (Рис 5)

Описание рисунка: Входной сигнал и потенциал активации нейрона “k” представляются в виде предсинаптического и постсинаптического сигнала j-го сигнала нейрона “N”.

Из рисунка (5) следует обучение на основе коррекции ошибок - это пример замкнутой системы обратной связи.

Устойчивость такой системы определяется параметрами обратной связи. В данном случае существует всего 1 обратная связь и единственный параметр – коэффициент скорости обучения .

Выбор параметра ЭТТА, влияет на точность процесса обучения, ему отводится ключевая роль в обеспечении производительности процесса обучения на практике.

Таким образом алгоритм обучения по дельта правилу состоит из 6 шагов. (Они рассмотрены в тетради по практике).