Основы адаптивного резонанса

Идея ART заключается в том, чтобы при подаче входного образа определить, существует ли выходной нейрон, который связан с некоторым образом, наиболее схожим с входным. Если таких выходных нейронов нет, то создается новый нейрон. Явление совпадения входного и хранящегося в памяти сети образов называется адаптивным резонансом.

При обучении в сети ART используется два типа памяти:

1. Кратковременная (Short-term memory)

2. Долговременная (Long-term memory)

Во время процедуры обучения происходит сопоставление содержимого кратковременной и долговременной памятей и постепенное выделение шаблона критических черт, соответствующих входному образу.

Особенности реализации ART:

1. Адаптация входного образа к образам, хранящимся в сети, осуществляется на основе резонанса.

2. Резонанс в сети происходит тогда, когда образ максимально совпадает с образом, хранящимся в сети.

В процессе адаптации входного вектора к образам, хранящимся в сети, происходит контрастное население входного образа. Оно характеризуется тем, что только отличительные черты образа отображаются на весовые коэффициенты. Это явление аналогично биологической эволюции, когда одни признаки организма при его функционировании в данной среде усиливаются, а другие ослабляются.

Хранение информации осуществляется в кратковременной и долговременной памяти, что свойственно человеку. ART имеет биологические предпосылки.

Сходимость сети ART доказана С. Гроссбергом на основе дифференциальных уравнений и функции Ляпунова.

Разновидности сетей ART:

• ART-1 – ориентированна на обработку образов, содержащих двоичную информацию

• ART-2, ART-3 – могут работать с непрерывной информацией

• ART MAP

Для функционирования нейронных сетей имеет значение вид оценки сходства входных векторов с векторами, хранящимися в сети. Используются параметр ρ, характеризующий уровень сходства.

ρ выбирается на основе требования решения задач:

• При высоких значениях ρ сформируется большое число классов, к каждому из которых относятся только очень похожие вектора.

• При низком уровне ρ сеть формирует большое число классов с высокой степенью обобщения («грубая» классификация).

Для повышения гибкости работы ART необходима реализация стратегии динамического изменения критерия сходства ρ во время процедуры обучения, обеспечивающая грубую классификацию в начале обучения (при низких ρ) и увеличивающая ρ для выработки точной классификации в конце обучения.

Архитектура art

Слой В – слой сравнения (воспринимающий), слой Т – слой, хранящий образы сети (распознающий).

При обучении используется правило "победитель забирает всё" – конкурентное обучение. Определяется выигравший нейрон, устанавливается в "1". С каждым из классов (выходных нейронов) связаны веса , .

G₁ и G₂ – специализированные нейроны, которые управляют процессом обучения.

При подаче входного вектора вычисляется:

, , .

Выход k-ого нейрона равен "1", все остальные выходы равны "1".

Каждый входной нейрон имеет три входа:

1. компоненты входного вектора;

2. ;

3. от нейрона управления.

Входная активность i-ого нейрона равна единице, если хотя бы два из трёх входов являются активными.

В слое В модуль G₁ выполняет следующую функцию:

, где – выходное значение "победителя" в слое T.

Каждый нейрон слоя B содержит два выхода:

1. компонента вектора X, который через поступает на входной слой;

2. – сигнал, который является результатом сравнения обратного и входного сигналов и определяется следующим образом: .

Схема G₂ формирует сигнал сброса, который при определённых условиях нейтрализует активный нейронный элемент слоя Т.

Вычисляется степень отличия х от активного нейрона:

.

Вычисляется степень отличия входного образа от образа победившего нейрона.

На входе G₂ формируется сброс, если входной образ не соответствует кластеру, связанному с нейроном – победителем.

Сигнал сброса устраняет "победителя", так как он не соответствует критическим чертам входного образа:

.

Применительно к сети ART-1:

Если условие не выполняется, то происходит модификация весовых коэффициентов победившего нейрона. Иначе, переходим к следующему нейрону. Если при всех нейронов условие не выполняется, то создаётся новый нейрон.

Алгоритм:

1. Инициализация весовых коэффициентов:

.

2. Задание значения параметра ρ: .

3. WHILE (имеются входные вектора) DO

1. подача на вход сети нового входного вектора ;

2. вычисление значений выходов сети: ;

3. определение номера нейрона-победителя с наибольшей величиной выхода ;

4. определение сходства входного вектора X (образа) с прототипом , который соответствует нейрону-победителю :

IF (число "1" в выражении ) THEN GOTO (е)

ELSE

5. выход сбрасывается и возврат к (б);

6. входной вектор X ассоциируется с прототипом , поэтому производится изменение весовых коэффициентов прототипа:

7. веса также изменяются: .

4. Конец.

Все алгоритмы, рассмотренные ранее, реализовались в режиме off–line. В режиме on–line сеть одновременно обучается и работает в режиме распознавания.

Сеть ART может работать как в режиме off–line, так и в режиме on–line. Чаще сеть ART используют для работы в режиме реального времени (on–line), так как она позволяет на стадии обучения создавать новые классы.

Для режима on–line выше приведённый алгоритм претерпит следующие изменения:

пункт 3, подпункт в:

, где c – переменная, которая определяет, какое количество нейронов рассмотрено к данному моменту времени, m – число входных нейронов.

пункт 3, подпункт д:

количество просмотренных нейронов уменьшается на единицу и возврат к пункту c; если , то создаётся новый нейрон; для нового нейрона

пункт 3, подпункт е, ж:

обновляются весовые коэффициенты b и t в том случае, если взвешенная сумма , иначе переходим к подпункту д.

Пример.

Выводы:

Преимущество сети ART заключается в возможности её расширения, что особенно важно в динамических системах, работающих в режиме реального времени. Данное свойство сети создаёт предпосылки для создания эволюционных сетей, которые могут самоорганизовываться во времени (адаптироваться к среде).