3.5. Нейроны типа wta

Нейроны типа WTA (WinnerTakesAll–Победитель получает все) имеют входной модуль в виде стандартного сумматора, рассчитывающего сумму входных сигналов с соответствующими весами [10, 14, 17]. Выходной сигнал i – го сумматора рассчитывается по формуле:

. (19)

Группа конкурирующих между собой нейронов получает одни и те же входные сигналы . В зависимости от фактических значений весовых коэффициентов суммарные сигналы отдельных нейронов могут отличаться. По результатам сравнения этих значений победителем признается нейрон, значение которого оказалось наибольшим. Нейрон-победитель вырабатывает на своем выходе значение 1, остальные 0.

Для обучения нейрона типа WTA не требуется учитель. На начальном этапе случайным образом выбираются весовые коэффициенты. После подачи первого входного вектора x определяется победитель этапа. Победивший в этом соревновании нейрон переходит в состояние 1, что позволяет ему произвести уточнение весов его входных линий по правилу Гроссберга. Проигравшие нейроны формируют на своих выходах состояние 0, что блокирует процесс уточнения весовых коэффициентов. Схема соединений нейронов типа WTA представлена на рисунке 18.

Рисунок 18 -Схема соединения нейронов типа WTA

Вследствие бинарности значений выходных сигналов конкурирующих нейронов (0 или 1) правило Гроссберга может быть несколько упрощено:

. (20)

Победителем этапа оказывается нейрон, вектор весов которого оказывается наиболее близким к текущему обучающему вектору x. В результате победы нейрона уточняются его весовые коэффициенты, значения которых приближаются к значениям текущего обучающего вектора x. Если на вход будет подаваться множество близких по значению векторов, побеждать будет один и тот же нейрон, поэтому его веса станут равными усредненному значениям тех векторов, благодаря которым нейрон стал победителем. Проигравшие нейроны не изменяют свои веса. Следствием такой конкуренции становится самоорганизация процесса обучения.

Проблемой при обучении нейронов типа WTA является проблема «мёртвых» нейронов, которые после инициализации ни одного раза не победили в конкурентной борьбе и остались в состоянии, сформированном в начальный момент времени. Каждый мертвый нейрон уменьшает эффективное количество элементов, проходящих обучение, и увеличивает общую погрешность распознавания данных.

Для решения этой проблемы предлагается модифицированное обучение, основанное на учете побед каждого нейрона и временной дисквалификации тех, которые побеждали чаще всего. Она может осуществляться либо по достижении предельного числа побед, либо уменьшением фактического значения числа при нарастании числа побед нейрона.

3.6. Модель нейрона Хебба

Д. Хебб в процессе исследования нервных клеток [12,13] заметил, что связь между двумя клетками усиливается, если обе клетки становятся активными в один и тот же момент времени. Если j-ая клетка с выходным сигналом связана с i-ой клеткой, имеющей выходной сигнал , связью с весом , то на силу связи влияют значения выходных сигналов и .

Д. Хебб предложил формальное правило, в котором отразились результаты его наблюдений. В соответствии с правилом Хэбба [12], вес нейронов изменяется пропорционально произведению входного и выходного сигналов

, (21)

где - это коэффициент обучения, значение которого выбирается в интервале (0,1). Правило Хебба может применяться для нейронных сетей различных типов с разнообразными функциями активации моделей отдельных нейронов. Структурная схема нейрона Хебба представлена на рисунке 19.

Рисунок 19 -Структурная схема нейрона Хебба

Связь с весом , способ подбора значения которой задается отношением (21), соединяет входной сигнал с сумматором i–го нейрона, вырабатывающего выходной сигнал .

Нейрон Хебба может обучаться как с учителем, так и без него. При обучении без учителя в правиле Хебба подставляется фактическое значение выходного сигнала нейрона. При обучении с учителем вместо выходного сигнала используется ожидаемая от этого нейрона реакция .

Правило Хебба характеризуется тем, что в результате его применения веса могут принимать произвольно большие значения, поскольку в каждом цикле обучения происходит суммирование текущего значения и некоторого приращения .

. (22)

Один из способов стабилизации обучения состоит в учете последнего значения , уменьшенного на коэффициент забывания . Тогда правило Хебба представится в виде

. (23)

Значение выбирается из интервала (0,1) и чаще всего составляет некий процент от коэффициента обучения . Применение больших значений приводит к тому, что нейрон забывает значительную часть того, чему он научился в прошлом. Рекомендуемые значения коэффициента забывания - , при которых нейрон сохраняет большую часть информации, накопленной в процессе обучения, и получает возможность стабилизировать значения весов на определенном уровне.