19.03.12 Лекция №6

Конкурентное обучение.

Конкурентным обучением выходные нейроны нейронной сети конкурируют между собой за право быть активизированными, при этом в каждой момент времени может быть активным только один нейрон. Благодаря этому свойству конкурентное обучение эффективно применяется для изучения статистических свойств, которые используются в задачах классификации или кластеризации входных образов. Правило конкурентного обучения основано на трех элементах:

1.Множество одинаковых нейронов со случайно распределенными синоптическими весами, приводящими к различной реакции нейронов на один и тот же входной сигнал.

2. Предельные значения «силы» каждого нейрона.

3. Механизм, который позволяет нейронам конкурировать за право отклика на данное подмножество входных сигналов и определяет единственный активный выходной нейрон. Нейрон, победивший в этом соревновании, называется нейроном победителем, а принцип конкурентного обучения формулируется в виде побудитель все. Такой нейрон называется нейроном типа – WTA (Winner Tolces All).

Таким образом, каждый отдельный нейрон нейронной сети соответствует группе близких образов. В этом случаи нейроны являются детекторами признаков различным классов входных образов.

Рассмотрим нейронную сеть, слой выходных нейронов, каждый из которых соединен с входными нейронами, прямыми синоптическими возбуждающими связями. В такой сети могут существовать обратные связи между нейронами в этой архитектуре «рис.1» обратная связь обеспечивает латеральное торможение, когда каждый нейрон стремится затормозить связанные с ним нейроны

Для того чтобы нейрон «К» победил в конкурентной борьбе, его потенциал для заданного входного образадолжен быть максимальным среди всех нейронов сети, в этом случае выходной сигналнейрона победителя «K» принимается равным 1, а остальные проигравшие переходят в состояние 0. Таким образом можно записать , где потенциалпредставляет собой свободное возбуждение нейрона К от всех входных сигналов и сигналов обратной связи. ОбозначимWkj синоптический вес связи входного нейрона j c нейроном к.

для всех «k».

Тогда обучение нейрона к состоит в смещении синоптических весов от неактивных к активным входным нейронам.

Если нейрон к не формирует отклика на конкретный входной образ, то он и не обучается.

Когда некоторый нейрон выигрывает в конкурентной борьбе, веса связи этого нейрона равномерно распределяются между его активными входными нейронами, а связи с не активными входными нейронами ослабляются. Следствием такой конкуренции становится самоорганизация процесса обучения. Нейроны уточняют свои синоптические веса так, что при предъявлении группы близких по значениям входных векторов, победителем становится один и тот же нейрон.

Согласно правилу конкурентного обучения изменения дельта Wkj

;

Параметры скорости обучения значения которого выбирается из интервала (0,1). Это правило отображает смешение синоптического веса победившего нейронаWk в сторону входного вектора. На функционирование нейрона победителя оказывает. Предполагает, что входные образыx имеют некоторую постоянную эвклидово-норму. Нормализация вектора выполняется по формуле; где (:= оператор присвоения). Рассмотрим иллюстрацию сущности конкурентного обучения.На (рис 2) в виде точек представляются входные точки, вероятные начальное состояние нейронной сети отмечено на (рис 2(а)) крестиками(синоптические веса). На (рис2 (б)) показано конечное состояние нейронной сети которое получено в результате конкурентного обучения, здесь синоптические веса, отмеченные крестиками каждого выходного нейрона смешены к центрам тяжести соответствующих кластеров. Для получения устойчивого решения этой задачи выходного образы должны формировать достаточно разрозненные группы векторов, в противном случаи в ответ на заданный входной образ будут формировать отклики от различным выходных нейронов и сеть может стать не устойчивой.

Задачи обучения.

(1) Апросимакция функции.

Рассмотрим не линейнные отображения типа «вход-выход» заданные соотношение ; (5) где, векторd-выход, вектор x- вход.

Векторная функция считается неизвестной.

Для аппроксимакции возьмем множество примеров:

Нейронная сеть выполняет роль аппроксиматора. К структуре нейронной сети предъявляются следующие требования, - которая описывает выражение векторного отображения должна быть близка в функциив смысле эвклидовой нормы на множестве всех входных векторов.

где «эпсилонт», некоторое малое положительно число. Когда количество n элементов обучающего множества достаточно велико и НС содержит достаточное количество свободных параметров(синоптических весов), то ошибка апросимакции «епсилонт» может быть достаточно малой. Постановка большого количества задач моделирования, идентификации систем, обработки сигналов, может быть сведена к апросикционнаму представлению. Рассмотрим задачу идентификации систем, допустим, что формула описывает соотношение в неизвестной системе имеющий несколько входов и выходов, которая инвариантна во времени(не меняется с течением времени), тогда множество примеров 6 можно использовать для обучения нейронной сети представляющей модель этой системы.

пусть выход нейронной сети соответствующий вектору. Разность

Он используется для корректировки свободных параметров нейронной сети с целью минимизации среднекравадратичной ошибки - Сумма квадратов разности между выходами неизвестной системы нейронной сети, вычисляемой на множестве всех примеров, т.е. в статистическом смысле.