- •Оглавление
- •Аналитические технологии
- •Формализация нейронных сетей
- •Принцип обучения искусственных нейронных сетей
- •Концепция обучения нейронной сети, предложенная Хэбом
- •Сбор данных для нейронной сети
- •Прикладные возможности нейронных сетей
- •Переобучение и обобщение
- •Персептрон
- •Алгоритм обратного распространения ошибки
- •Сигмоидальный нейрон
- •Нейрон типа «адалайн»
- •Инстар и оутстар Гроссберга
- •Нейрон типа wta (Winner Takes All)
- •08.10.2011 Модель нейрона Хэбба
- •Стохастическая модель нейрона
- •Стохастические алгоритмы обучения
- •Настройка числа нейронов в скрытых слоях многослойных сетей в процессе обучения
- •Алгоритмы сокращения
- •Конструктивные алгоритмы
- •Упрощенные алгоритмы расщепления
- •Радиальная базисная сеть
- •Вероятностные нейронные сети
- •Линейные нейронные сети
- •Обучение
- •Сети с самоорганизацией на основе конкуренции
- •12.11.2011 Модели ассоциативной памяти. Сети Хопфилда
- •Когнитивные карты
- •19.11.2011 Генетические алгоритмы Естественный отбор и генетическое наследование
- •Модель эволюции в природе, реализованная программно
- •Символьная модель простого генетического алгоритма
- •Работа простого генетического алгоритма
- •26.11.2011 Шима (Schema)
- •Применение аналитических технологий
- •03.12.2011
- •Бизнес-приложения
- •Программные реализации аналитических технологий
- •Список литературы
12.11.2011 Модели ассоциативной памяти. Сети Хопфилда
В нейронных сетях с обратной связью допускается передача выходных сигналов нейронов на входные нейроны сети. Это приводит к переходным процессам в сети, после которого сеть может устанавливаться в некоторое устойчивое состояние. Однако, возможна ситуация, при которой в сети никогда не наступит ситуация равновесия. В этом случае сеть является неустойчивой.
Будем рассматривать сети с обратными связями, устойчивость которых при определенных условиях может быть доказано. К таким сетям относится сеть Хопфилда.
Рисунок 31 Модель ассоциативной памяти
, где - синоптическая карта сети.
Сеть Хопфилда рассматривается как примитивная модель ассоциативной памяти, позволяющая по искаженному входному образу извлечь ближайший к нему эталонный. Для этого сеть предварительно должна быть обучена на выборке. Обучение осуществляется без учителя путем предъявления сети серии входных образов . Предъявляемые образы запоминаются в синоптической карте, которая формируется следующим образом.
Синоптические веса формируются путем вычисления корреляций между состояниями отдельных нейронов. Такое задание весов позволяет сети запомнить входные образы и обеспечить в дальнейшем возможность извлечения неполных или искаженных данных.
В процессе функционирования нейронной сети сеть активируется некоторым входным образом, а затем сети представляется возможность опуститься в ближайший энергетический минимум. Алгоритм функционирования сети Хопфилда можно представить состоящим из следующих шагов.
Формирование синоптической карты сети путем ее обучения на серии входных образов;
Начальная активация сети входным образом C;
Итерационное вычисление выходного сигнала сети, пока сеть не достигнет установившегося состояния;
Пример:
- исходный эталон
Емкость сети - образов.
Сеть Хопфилда является ассоциативной сетью, в которой входные образы ассоциируются сами с собой и не могут быть ассоциированы с другими образами.
Рассмотрим нейронную сеть, состоящую из двух слоев нейронов, называемой двунаправленной ассоциативной памятью.
Рисунок 32 Двунаправленная ассоциативная память
, где - входные образы,.
В данной сети в качестве функции активации нейронов используется ступенчатая пороговая функция. В ?? обучения сети предъявляются примеры , гдеи формируется синоптическая карта. В соответствии со структурой сети, прямым связям (от слояк) соответствует синоптическая картаW, а обратным - .
Функционирование сети осуществляется следующим образом:
Активация слоя сети входным образом С;
Вычисление сигналов на выходах нейронов слоя согласно выражению:или;
Подача на входы нейронов сигналов с выходовпо обратным связям и вычисление новых состояний нейронов слоя
Повторение шагов 2,3 пока сеть не достигнет стабильного состояния;
Двунаправленная ассоциативная память обладает способностью к исправлению и обобщению. Если искаженный и незавершенный образ подается на вход сети, то сеть способна выдать запомненный ранее выходной образ. Двунаправленная ассоциативная память имеет ограничение на количество образов.