6.4.2 Практики обучения

Обучение Хебба:

Алгоритм обучения Хебба назван так в честь нейрофизиолога, который в нейробиологическом контексте предложил следующее правило модификации синаптических весов:

Если аксон клетки А находится на достаточно близком расстоянии от клетки В и постоянно или периодически участвует в ее возбуждении, наблюдается процесс метаболических изменений в одном или обоих нейронах, выражающийся в том, что эффективность нейрона А как одного из возбудителей нейрона В возрастает.

В контексте искусственных нейронных сетей данное правило может быть переформулировано в виде двух утверждений:

1. если два нейрона, связанные синаптической связью возбуждаются одновременно (синхронно), то прочность этой связи (соответствующий синаптический вес) возрастает;

2. если два нейрона по обе стороны синапса возбуждаются асинхронно, такой синапс ослабевает (синаптический вес уменьшается).

Можно сформулировать следующие свойства синапса Хебба:

1. Зависимость от времени. Изменение синаптического веса зависит от точного времени возникновения предсинаптического и постсинаптического сигналов.

2. Локальность. На изменение синаптического веса оказывают воздействие сигналы, находящиеся в пространственно-временной близости.

3. Интерактивность. Изменение синаптического веса определяется сигналами на обоих его концах.

4. Корреляция. Механизм изменения синаптического веса определяется наличием корреляции между предсинаптическим и постсинаптическим сигналом.

Математические модели обучения Хебба

Рассмотрим синапс с синаптическим весом , который соединяет выходной сигнал некоторого нейрона kjwjyj с соответствующим входом нейрона . Выходной сигнал является kjy jkjw xj-ой компонентой вектора входного сигнала для нейрона . kk)k))>)

Таким образом, модификация веса нейрона , будет определяться парой предсинаптического и постсинаптического сигналов kjw(jyx,. Изменение синаптического веса в момент времени n будет определяться соотношением:

(),(()(nxnyFnwjkkj=Δ .

Это соотношение может быть записано в различных видах, каждый из которых все равно остается математической моделью алгоритма обучения Хебба.

Гипотеза Хебба. Является простейшей формой обучения Хебба. В соответствии с гипотезой Хебба выражение для модификации веса в момент времени записывается в виде: kjwn

)()()(nxnynwjkkjη=Δ,

где η – константа скорости обучения.

Недостатком данной модели является то, что при частом приложении входного сигнала наблюдается неограниченный рост синаптического веса , что приводит к потере избирательности связей и неспособности сети сохранить какую-либо информацию. jxkjw

Гипотеза ковариации. Недостаток гипотезы Хебба может быть устранен, если переписать выражение для модификации синаптического веса в виде: kjw

))()()(()(xnxynynwjkkj−−=Δη,

где x и y – это усредненные по времени значения предсинаптического и постсинаптического сигналов.

Синапс, вес которого изменяется в соответствии с гипотезой ковариации, обладает следующими свойствами:

1. синаптический вес увеличивается при высоком уровне предсинаптического и постсинаптического сигналов, то есть при и (; xnxj>)( ynyk

2. синаптический вес уменьшается при высоком уровне предсинаптического сигнала, который не вызывает существенной постсинаптической активности, то есть >)( и ; xnynyk<)(

3. синаптический вес уменьшается, если наблюдается существенная постсинаптическая активность при отсутствии значительного предсинаптического сигнала, то есть и . xnxj<)( ynyk>)(

Конкурентное обучение:

При конкурентном обучении, в отличие от, например, обучения Хебба, в фиксированный момент времени в возбужденном состоянии может находиться только один нейрон выходного слоя. В связи с этим конкурентные сети часто применяются для решения задач классификации входных образов.

Конкурентное обучение строится на основании следующих принципов:

1. Все нейроны выходного слоя одинаковы и имеют в начальный момент времени случайные значения весов.

2. Существует предельное значение выходного сигнала каждого нейрона.

3. Существует механизм, определяющий нейрон, победивший в борьбе за право генерировать выходной сигнал. Принцип конкуренции можно сформулировать как «победитель получает все».

Механизм конкуренции может формироваться за счет введения отрицательных обратных связей, обеспечивающих латеральное торможение, когда каждый нейрон стремится затормозить связанные с ним нейроны (рис.6).

Рисунок 6 - Сеть конкурентного обучения

Предлагаемая адаптивная АСР состоит из следующих блоков:

БОН ИДЕНТ. – блок обучения нейросети идентификации;

ИНС ИДЕНТ. – искусственная нейросеть идентификации, реализующая функциональную зависимость ординат переходного процесса и его импульсной переходной характеристики с параметрами объекта регулирования выбранной модели идентификации;

БОН АДАПТ. – блок обучения нейросети адаптации (в данном блоке

происходит формирование обучающих выборок для обучения нейросети,

расчет оптимальных настроечных параметров реализуемых регуляторов);

ИНС АДАПТ. – искусственная нейросеть, реализующая функциональную зависимость, связывающую настроечные параметры реализуемого регулятора с параметрами идентифицированной модели объекта.

Рисунок 1 – Структурная схема адаптивной АСР

На рисунке 1 пунктирной линией показана граница реализации

функциональных блоков в циклических программах программируемого

логического контроллера.

Передаточная функция предлагаемой аппроксимирующей модели для объекта с самовыравниванием записывается в следующем виде: