1.Сети адаптивной резонансной теории

1.1.Проблема стабильности-пластичности

Восприятие внешнего мира человеком связано с решением определенной дилеммы. Зачастую требуется определить: является ли некоторый образ "новой" информацией, требующей сохранения в памяти, либо этот образ является "старой", уже знакомой картиной, и в этом случае запоминание этого образа не требуется. Таким образом, восприятие человека одновременно пластично, адаптировано к новой информации, и при этом оно стабильно, то есть не разрушает память о старых образах. Человеческая память, эффективно хранит и корректирует запоминаемые образы. Ни предъявление нового образа, ни изменение старых не приводит к уничтожению памяти или невозможности запоминания.

Большинство нейронных сетей не приспособлены к решению этой задачи. Например, многослойный персептрон, обучающийся методом обратного распространения, запоминает весь набор обучающей информации. Образы из обучающей выборки многократно предъявляются сети в процессе обучения. Если полностью обученный персептрон должен запомнить новый обучающий образ, он может изменить веса настолько, что потребуется полное переобучение сети. Таким образом, персептрон не способен к запоминанию новой информации без разрушения памяти о ранее запомненных образах.

Более того, в реальной ситуации ИНС может никогда не увидеть один и тот же обучающий образ дважды. При таких обстоятельствах сеть зачастую не будет обучаться; она будет непрерывно изменять свои веса, не достигая удовлетворительных результатов.

В сетях адаптивной резонансной теории (АРТ) предпринимается попытка приблизить механизм запоминания образов в ИНС к биологическому. Результатом работы АРТ является устойчивый набор запомненных образов и возможность выборки "похожего" образа по произвольному вектору, предъявленному на вход сети. Важное качество АРТ - динамическое запоминание новых образов без полного переобучения и отсутствие потерь уже запомненных образов при предъявлении новых.

Математическое описание APT является сложным, но основные идеи и принципы реализации достаточно просты для понимания. АРТ включает несколько моделей, каждая из которых определяется формой входных данных и способом их обработки. Модель АРТ-1 разработана для обработки двоичных входных векторов. Более поздние обобщения этой модели могут классифицировать как двоичные, так и непрерывные векторы. Здесь рассматривается только модель АРТ-1.

1.2.Архитектура арт

1.2.1.Упрощенная схема арт

Сеть APT представляет собой векторный классификатор. Входной вектор классифицируется в зависимости от того, на какой из множества ранее запомненных образов он похож. Свое классификационное решение сеть APT выражает в форме возбуждения одного из нейронов распознающего слоя. Если входной вектор не соответствует ни одному из запомненных образов, создается новая категория посредством запоминания образа, идентичного новому входному вектору. Если входной вектор похож, с точки зрения определенного критерия сходства, на один из ранее запомненных векторов, то этот запомненный вектор будет изменяться (переобучаться) таким образом, чтобы стать более похожим на новый входной вектор.

Запомненный образ не будет изменяться, если текущий входной вектор не окажется достаточно похожим на него. Таким способом решается дилемма стабильности-пластичности. Новый образ может создавать дополнительные классификационные категории, однако новый входной образ не может изменить существующую память.

На рис. 6.1 приведена упрощенная конфигурация сети APT, представленная в виде пяти функциональных модулей. Она включает два слоя нейронов - «слой сравнения» и «слой распознавания». Приемник 1 (Пр1), Приемник 2 (Пр2) и Сброс обеспечивают управляющие функции, необходимые для обучения и классификации. Рассмотрим функции каждого модуля.

Рис.6.1. Упрощенная сеть АРТ