Парадигмы обучение нс.

1. Обучение с учителем, контролируемое обучение.

Большинство моделей НС предусматривает присутствие учителя. Под учитилем может пониматся совокупность тренировочных данных обучающие множества, или внешний наблюдатель который определяет значение выхода. Нейронные сети обучаемые с учителем представляют средство для извлечении из набора данных о взаимосвязей между входа и выхода НС. Качество зависит от управляемых ей в процессе обучения набора учебных данных. При этом учебные данные должны быть типичными для задачи решения которой является нейронная сеть. Данные которые используются для обучения нейронной сети обычно разделяются на две категории, одни для обучения, другие для тестирования. По этому качетво обучения сети напрямую зависить от количества в обучаемей выборке и от того насколько полно они описывают решаемую задачу. Матимаческие написания процесса обучения с учителем.

2. Обучение без учителя, самообучение.

3. Смешанное.

Нейроная сеть в процесе функционирования формирует выходной сигнал у с входным х. При этом реализуется функции В случаи когда архитектура сети определяется значениями синаптических коффицеентов смешение сети. Допустим что решение некотрой задачи является функция Заданная парами входным-выходным данных. Дальше формулы, их нет .

Функция е называется не вязкой, или целевой, или стоимости. Если выбраны множества обучающих пар, то обучений нейронной сети эта задача многомерной оптимазицаии. График невязки Е рассматриваемые как функция синаптических весов представляет собой поверхность в многомерном пространстве весов. Эта поверхность из нелинейсти функции активации будет иметь плоские участки, локальные минумумы, седловые точки. Процедура оптимизации состоит в оптимазии глобального минимума, достижении называется сходимость процесса обучения. Поиск глобального минимума с помощью алгоритма итерационного процесса. Которое исследует поверхность функции ошибки Е и стремится найти точку глобального минимума.

Лекция №6 19.03.12г

Конкурентное обучение.

Конкурентным обучением выходные нейроны НС конкурируют между собой за право быть активизированными, при этом в каждой момент времени только один нейрон. Благодаря этому свойству конкурентное обучение эффективно применяется для изучения статистических свойств которые используются в задачах классификации или кластеризации входных образов. Правило конкурентного обучения основано за трех элементах:

1.Множество одинаковых нейронов со случайно распределенными синаптическими весами приводяшими к различной реакции нейронов на один и тот же входной сигнал.

2. Предельные значения «силы» каждего нейрона.

3. Механизм который позволяет нейронам конкурировать за право отклика на данное подмножество входных сигналов и определяет единственный активный выходной нейрон. Нейрон победивший в этом соревновании называется нейроном победителем, а принцип конкурентного обучения формулируется в виде побудитель все. Такой нейрон называется нейроном типа – WTA (Winner Tolces All).

Таким образом каждый отдельный нейрон нейросети соответствует группе близких образов. В этом случаи нейроны являются детекторами признаков различным классов входных образов.

Рассмотрим нейронную сеть слой выходных нейронов каждый из которых соеденён с входными нейронами прямыми синоптическими возбуждающими связями. В такой сети могут существовать оратные связи между неронами в этой архитектуре «рис.1» обратная связь обеспечивает латеральное торможение, когда каждый нейрон стремится затормозить связанные с ним нейроны (рис.1)

Для того чтобы нейрон «К» победил в конкурентной борьбе, его потенциал Vk для заданного входного образа x(->) долже быть максимальным среди всех нейронов сети, в этом случае выходной сигнал yk нейрона победителя K принимается равным 1, а остальные проигравшие переходят в состояние 0. Таким образом можно записать (формула 1), где потенциал Vk представляет собой свободное возбуждение нейрона К от всех входных сигналов и сигналов обратной связи. Обозначим Wkj синоптический вес связи входного нейрона j c нейроном к.

(фор 2)

Тогда обучение нейрона к состоит в смещении синоптических весов от неактивных к ативным входным нейронам.

Если нейрон к не формирует отклика на конкретный входной образ, то он и не обучается.

Когда некоторый нейрон выигрывает в конкурентной борьбе, веса связи этого нейрона равномерно распределяются между его активными входными нейронами, а связи с не активными входными нейронами ослабляются. Следствием такой конкуренции становится самоорганизация процесса обучения. Нейроны уточняют свои синоптические веса так, что при предъявлении группы близких по значениям входных векторов, победителем становится один и тот же нейрон.

Соглано правилу конкурентного обучения изменения дельта Wkj

(фор 3)

Параметры скорости обучения значения которого выбирается из интервала ⱨ = (0,1). Это правило отображает смешение синоптического веса победившего нейрона Wk в сторону входного вектора X(->). На функционирование нейрона победителя оказывает. Предполагает что входные образы X имеют некоторую постоянную эвклидово-норму. Нормализация вектора Х выполняется по (фор 5) где (:= оператор присвоения). Рассмотрим иллюстрацию сущности конкурентного обучения (рис 2). На (рис 2) в виде точек представляются входные точки, вероятные начальное состояние нейронной сети отмечено на (рис 2(а)) крестиками(синаптические веса). На (рис2 (б)) показано конечное состояние нейронной сети которое получено в результате конкурентного обучения, здесь синаптические веса, отмеченные крестиками каждого выходного нейрона смешены к центрам тяжести соответсвутвуюших кластеров. Для получения устойчевого решения жэой задачи выходного образы должны формировать достаточно разрозненные группы векторов, в противном случаи в ответ на заданый входной образ будут формировать отклики от различным выходных нейронов и сеть может стать не устойчевой.