Рекуррентные ассоциативные сети. Машина Больцмана.
Это модификация сети Хопфилда, в которой используется так называемое стохастическое функционирование, в результате чего сеть приобретает возможность в большем количестве случаев достигать глобального экстремума энергетической функции находить правильное решение. Машина Больцмана и сеть Хопфилда имеют следующие общие характеристики:
предназначена для решения задач ассоциативной памяти;
однослойная, рекуррентная;
состояния принимают значения ±1;
весовая матрица межнейронных связей симметричная;
нейроны не имеют обратных связей к самим себе, т.е. значения диагональных элементов весовой матрицы равны нулю;
нейроны обновляют свое состояние по одному в единицу времени и выбираются случайно.
Они также имеют важное отличие: алгоритм обновления состояний нейронов машины Больцмана является вероятностным, а не детерминированным, как в сети Хопфилда, а сами нейроны называются стохастическими.
Стохастический нейрон j изменяет свое состояние sj в зависимости от значения его внутреннего выхода vj с вероятностью P(vj). Тогда состояние j-го нейрона определяется следующим образом:
Алгоритм функционирования машины Больцмана:
1. Вычисление весовых коэффициентов в соответствии с правилом Хебба;
2. Инициализация состояний sj значениями тестового вектора;
3. Выбор начального значения параметра T = T0 ;
4. Обновление состояний нейронов сети по (3);
5. Возвращение к этапу 4. После L итераций (количество итераций определяют эмпирически) уменьшение параметра T;
6. Возвращение к этапу 4 до тех пор, пока не будет найдено стабильное состояние, соответствующее минимуму энергетической функции.
Уменьшение значения параметра T предполагается медленным. Если это требование не соблюдать, то сеть игнорирует малые энергетические изменения и может не достичь глобального.
Сходимость алгоритма машины Больцмана слишком медленна.
Области применения. Распознавание образов, классификация.
Недостатки. Медленный алгоритм обучения.
Преимущества. Алгоритм дает возможность сети выбираться из локальных минимумов адаптивного рельефа пространства состояний.
Сеть Кохонена.
Множество пар не может быть использовано для обучения методом «с учителем», поскольку не является представительным и может возникнуть эффект недообучения сети. Тогда для решения задачи применяют обучение методом самоорганизации, а для реализации этого метода – сеть Кохонена.
Суть метода самоорганизации в том, что сеть, руководствуясь определенными правилами функционирования, определяет некоторую меру сходства между предъявляемыми ей данными и, на основании этого сходства, относит их к той или иной группе.
Наиболее эффективным является их использование при решении задач визуализации многомерных данных в пространстве меньшей размерности и кластеризации данных.
Решение этих задач предполагает отображение зависимостей между элементами многомерных данных в простые топологические отношения в пространстве меньшей размерности, обычно двумерном или одномерном. Весовые коэффициенты сети при этом настраиваются так, чтобы близко расположенные друг к другу нейроны выходного слоя активизировались при подаче на вход сходных в некотором смысле входных данных.
Поскольку нейроны выходного слоя сети обычно объединяются в двухмерные прямоугольные или гексагональные решетки, сети Кохонена называют также картами Кохонена.
Обучение и функционирование сети Кохонена
Пример структуры сети Кохонена представлен на рис. 4.11.
На вход данной сети поступает последовательность из p входных образов, представленных векторами
X = [x1 x2 … xN]T в N-мерном пространстве признаков. Входные образы предъявляются сети по одному в единицу времени.
Выходной слой организован в виде прямоугольной решетки нейронов, состоящей из M строк и K столбцов.
Весовые коэффициенты связей между нейронами входного и выходного слоев – это матрица из MK векторов Wj = [wj1 wj2 …wjN]T, где j – номер нейрона выходного слоя, j = 1, 2, …, MK.
Функционирование и обучение сети Кохонена связано с так называемой процедурой конкуренции. Основная идея конкуренции состоит в том, что при подаче на вход некоторого образа из входного множества, с помощью специальной процедуры конкуренции определяется единственный нейрон выходного слоя сети,
который принимает значение, отличное от нуля, т.е. активизируется. Такой нейрон называют нейроном-победителем.
Далее, если сеть еще не обучена, происходит модификация весовых коэффициентов сети, причем изменению подлежат не все весовые векторы сети, а только весовые векторы нейрона-победителя и, возможно, его соседей, которые определяются специальным образом.
Если сеть уже обучена, то положение нейрона-победителя в выходном слое интерпретируется как решение в зависимости от конкретной задачи.
Алгоритм обучения сети Кохонена
1. Инициализация весовых коэффициентов сети различными случайными значениями Wj(0), где j – индексы нейронов выходного слоя сети Кохонена;
2. Предъявление сети очередного входного образа X(t);
3. Поиск нейрона-победителя в процедуре конкуренции нейронов выходного слоя. Нейрон-победитель i(X) определяется как arg minj║X(t) – Wj║, где j – индекс нейрона выходного слоя;
4. Определение радиуса соседства Li(X) нейрона-победителя;
5. Обновление весов связей нейронов, принадлежащих радиусу соседства нейрона-победителя:
6. Wj (t +1) =Wj (t) + h(t)Li(X ) (t)(X (t) -Wj (t)) ;
7. Повторение с п.2, пока изменяются активации выходных нейронов.
Области применения. Кластерный анализ, распознавание образов, классификация.
Недостатки. Сеть может быть использована для кластерного анализа только в том случае, если заранее известное число кластеров.
Преимущества. Сеть Кохонена способна функционировать в условиях препятствий, так как число кластеров фиксировано, весы модифицируются медленно, настраивание весов заканчивается после обучения