Рекуррентные и рециркуляционные сети
Под рекуррентной сетью понимается такая сеть, в которой значения выходных сигналов сети в момент времени t зависят от значений этих сигналов в предыдущий момент времени.
Рециркуляционные сети характеризуются распространением сигнала как в прямом (feed forward), так и в обратном (back forward) направлениях.
К рекуррентным сетям (сетям с обратной связью) можно отнести следующие:
сеть Хопфилда
машина Больцмана
сеть Хемминга
Впервые нейронную сеть с обратной связью предложил Джордан в 1986 году.
НС Джордана имела следующий вид:
Первый слой выполняет распределительную функцию.
В промежуточном слое в качестве функции активации используется гиперболический тангенс th(s), в выходном – линейная функция активации.
Помимо входных нейронов в первом слое находятся контекстные нейроны, количество которых равно числу выходов НС. Через контекстные нейроны осуществляется вязь входа с выходом.
весовой коэффициент связи нейронов
входного и промежуточного слоев;
весовой коэффициент связи нейронов
промежуточного и выходного слоев.
Взвешенная сумма входов i-ого нейрона промежуточного слоя:
,
где
весовой коэффициент связи между j-тым
нейроном входного слоя и i-тым
нейроном промежуточного слоя;
порог i-того нейрона промежуточного
слоя.
.
Сеть Джордана используется для решения задач прогнозирования и управления.
Сеть Элмана (Elman, 1991).
В данной сети обратный сигнал берется
как с промежуточного, так и с выходного
слоев:
.
НС, в которой обратные сигналы берутся как с промежуточного, так и с выходного слоев, называется рекурсивной.
Сеть Хопфилда
Сеть Хопфилда относится к рекуррентным сетям и представляет собой разновидность сетей, которые могут быть рассмотрены как ассоциативная память.
Ассоциативная память (память с адресацией по содержанию) – запоминающее устройство, состоящее из ячеек, в которых хранятся данные. Выборка и запись в эти ячейки проводится в зависимости от содержащейся в ней информации. Поиск информации может осуществляться при не полностью заданном запросе.
Ассоциативной памяти человека присуще следующие особенности:
поиск информации в памяти основывается на некоторой мере, определяющей меру сходства с ключевым образом;
память способна хранить образы структурированных последовательностей;
выборка информации из памяти представляет собой динамический процесс.
На основе исследования ассоциативной памяти человека был построен Ассоциатрон (Накано, Амосов, Палм).
Ассоциатрон – упрощенная модель НС, состоящей из нейронов, каждый из которых связан со всеми остальными синоптическими связями, причем все нейроны работают параллельно. Ассоциатрон запоминает образы, представленные в виде бинарного вектора. По части входного образа сеть может восстановить полный образ, при этом может запоминаться любое количество образов, но точность и воспроизведение уменьшается с увеличением числа образов.
Количество образов, которое может одновременно хранить нейронная сеть, называется информационной ёмкостью сети. Это один из основных показателей работы НС.
Существует несколько разновидностей сети Хопфилда:
сеть работает в дискретном времени, сигналы сети могут принимать только дискретные значения;
сеть работает в дискретном времени, сигналы сети могут принимать непрерывные значения;
сеть работает в непрерывном времени, сигналы сети могут принимать только непрерывные значения.
Для дискретной сети Хопфилда используется
пороговая функция активации, для
непрерывной – гиперболический тангенс.
Сигналы сети могут быть биполярные
,
либо
.
Сеть Хопфилда состоит из одного слоя нейронов, число которых является одновременно числом входов и выходов сети. Каждый нейрон связан со всеми остальными нейронами (полносвязная сеть), а также имеет один вход, через который осуществляется ввод сигнала.
Нейроны принимают решение асинхронно,
связь между ними осуществляется
мгновенно и все связи симметричны:
.
Матрица весов по главной диагонали –
нулевая.
Все возможные состояния сети образуют некое подобие холмистой поверхности, а текущее состояние сети аналогично поведению тяжелого шарика, пущенного на эту поверхность: он движется вниз по склону в ближайший локальный минимум. Каждая точка поверхности соответствует некоторому сочетанию активностей нейронов в сети, а высота подъёма поверхности в данной точке характеризует "энергию" этого сочетания, называемую функцией Ляпунова:
.
Аттрактор – устойчивое состояние сети, соответствующее определенной стационарной точке, некоторому образу.
Чтобы обучить сеть, необходимо сформировать соответствующий профиль энергетической поверхности, т.е. выбрать веса таким образом, чтобы при фиксировании входного вектора сеть приходила к энергетическому минимуму, соответствующему нужному выходному вектору.
Алгоритм обучения основан на правиле Хебба (состояние, в которое приходит сеть на каждом следующем шаге, зависит от состояния сети в предыдущий момент времени) и сводится к следующей последовательности действий:
Инициализация сети; синаптические коэффициенты устанавливаются следующим образом:
,
где i и j – индексы, предсинаптического
и постсинаптического нейронов;
i-тый и j-тый
элементы вектора k-того
образа.
Подача на входы сети неизвестного сигнала, его распространение непосредственно устанавливает значение выходов:
.Расчет новых состояний нейронов:
и новых значений выходов:
,
где f – ступенчатая функция активации
с порогами {+1, –1}, t – номер текущей
итерации.
Проверка изменения выходного сигнала. Если да – переход к п.2, иначе (если выходной сигнал находится в зоне притяжения определенного аттрактора и не меняется) – конец. При этом выходной вектор представляет собой образец, наилучшим образом сочетающийся с входными данными.
Недостатки сети:
Тенденция "стабилизации" выходного сигнала в локальном, а не в глобальном минимуме.
Процесс сходимости является довольно длительным, поэтому необходимо подбирать примеры обучающей выборки.
Число запомненных образов m не должно превышать величины, приблизительно равной
.
В связи с данным ограничением сеть
иногда не может провести распознавание
и выдает на выходе несуществующий
образ.Если два образа А и Б сильно похожи, они, возможно, будут вызывать в сети перекрестные ассоциации: предъявление сети вектора А приведет к появлению на её выходах вектора Б, и наоборот.