7.8. Самоорганизующиеся нейронные сети Кохонена
Одной из главных задач, решаемых системой интеллектуальной поддержки, является задача распознавания ситуаций (образов). Эти ситуации не всегда могут быть априори классифицированы и предоставлены системе в виде набора шаблонов. На этот случай в системе должны присутствовать механизмы разбиения воспринимаемых ситуаций на классы (кластеризации) и последующей классификации вновь поступающих образов. Основой для построения таких механизмов могут служить самоорганизующиеся нейронные сети.
Классическим примером самоорганизующейся нейронной сети является сеть Кохонена (самоорганизующаяся карта признаков) [11, 19].
Нейронная сеть Кохонена относится к классу сетей прямого распространения. Она имеет единственный скрытый слой нейронов, представленный в виде одномерной или двумерной решетки (в принципе размерность решетки может быть и выше, случай двумерной решетки показан на рис. 19). Каждому скрытому нейрону соответствует свой выход сети. Нейроны входного слоя, количество которых равно размерности воспринимаемого образа, осуществляют функции приема и ретрансляции входных сигналов на все нейроны скрытого слоя (на рис. 19 это показано только для нейрона ). Число нейронов в скрытом слое (и, соответственно, число выходов сети) определяет количество кластеров, на распознавание которых ориентируется нейронная сеть.
Алгоритм,
обеспечивающий процесс самоорганизации
нейронной сети Кохонена, подбирая
синаптические веса связей между нейронами
входного и скрытого слоев
,
преследует цель отобразить множество
-мерных
входных векторов в двумерную карту
распределения нейронных активностей.
Каждый нейрон такой карты соответствует
определенному кластеру, объединяющему
в себе сходные по критерию близости
вектора. В качестве критерия близости
векторов
и
можно использовать евклидово расстояние
между ними
или
их скалярное произведение
(в смысле его максимума).
В основу алгоритма положены три механизма [19]:
механизм конкуренции;
механизм кооперации;
механизм адаптации.
Механизм конкуренции реализует конкурсный (конкурентный) метод, суть которого состоит в следующем.
Входной
вектор
и вектора синаптических весов входных
связей всех нейронов скрытого слоя (
)
предполагаются нормализованными. Для
каждого скрытого нейрона оценивается
величина его активности
.
Между нейронами осуществляется конкурс
на максимальное значение этой величины.
Нейрон
,
имеющий наибольшее значение нейронной
активности
,
объявляется победителем и наиболее
подходящим для данного вектора
.
Механизм
кооперации реализует принцип, согласно
которому наиболее возбужденный нейрон
усиливает (через синаптические веса)
не только себя, но и пространственно
близкие к нему нейроны. В связи с этим
вводятся понятия топологической
окрестности победившего нейрона и
функции окрестности
,
определяющей меру соседства нейрона
с
нейроном-победителем
.
В качестве последней часто используется
функция Гаусса
,
(7.12)
где
,
и
— дискретные
вектора, определяющие, соответственно,
позиции нейрона-победителя
и его нейрона-соседа
в решетке;
— эффективная ширина топологической
окрестности, определяющая минимальный
уровень функции окрестности, до которого
нейроны из топологической окрестности
участвуют в процессе обучения вместе
с нейроном-победителем.
В процессе обучения эффективная ширина топологической окрестности постепенно уменьшается, например, по закону
,
(7.13)
где
— дискретное
время;
—
начальное значение величины
;
— некоторая временная константа
(настроечный параметр алгоритма).
Таким образом, функция окрестности приобретает зависимость от времени в виде
,
(7.14)
где
определяется по формуле (7.13).
Механизм адаптации реализует определенную стратегию изменения (коррекции) весов синаптических связей. В ее основу может быть положено правило Хебба с некоторой дополнительной составляющей, учитывающей эффект забывания.
Правило Хебба говорит о том, что если предсинаптический и постсинаптический нейроны активизируются одновременно, то сила этой связи возрастает. В противном случае синапс ослабляется.
Эффект
забывания учитывается слагаемым
(входящим в общую формулу с отрицательным
знаком) в виде
,
где
—
вектор синаптических весов нейрона
;
— положительная
скалярная функция, определенная на
дискретном наборе выходных сигналов
нейронов (функция забывания) и
принимающая нулевое значение для
.
С учетом вышесказанного изменение (коррекция) вектора синаптических весов нейрона представляется следующей формулой:
,
(7.15)
где
— параметр
скорости обучения.
Если
в качестве функции забывания использовать
линейную функцию
и оценивать выходы нейронов функцией
окрестности, т.е. принять
,
то формула адаптации векторов синаптических
весов (7.15), с учетом необходимости их
нормирования, примет следующий вид:
,
(7.16)
где
— вектор, поданный
на вход сети в момент времени
;
— меняющийся во времени (постепенно
уменьшаемый) параметр скорости обучения.
В основу изменения параметра скорости обучения может быть положена функция
,
,
(7.17)
где
— исходное
значение параметра (в момент
);
— некоторая временная константа
(настроечный параметр алгоритма).
Формула
(7.16) применяется ко всем нейронам, лежащим
в топологической окрестности
нейрона-победителя
и
кооперирующимся с ним в обучении. Из
формулы видно, что вектора синаптических
весов кооперирующихся нейронов
смещаются в сторону входного вектора
со скоростью, пропорциональной
соответствующему им значению функции
окрестности (наиболее интенсивно это
происходит у нейрона-победителя
,
имеющего максимальное значение
).
Помимо рассмотренных архитектур ИНС, существует множество других, с которыми можно ознакомиться, обратившись к источникам [11, 12, 19].