3. Сеть Хопфилда

Сети прямого распространения (МСП) не обладают внутренним состоянием – значения выходов нейронов зависят только от входного вектора и не меняются во времени, если вход неизменен. Чтобы расширить диапазон решаемых задач, были предложены сети с обратными связями. Формализация их достаточно сложна, поэтому полное математическое описание пока создано только для простейших случаев для сетей с обратными связями. Дж. Хопфилд внес значительный вклад в развитие теории таких сетей.

Сеть Хопфилда представляет собой однослойную сеть с обратными связями (рис. 5.7). Таким образом, ее можно отнести к классу полносвязных сетей. Число нейронов сети соответствует числу входных сигналов. Все выходы нейронов являются выходами сети. Каждый нейрон связан синапсами со всеми остальными нейронами. Один синапс нейрона является входным, на него подается соответствующий элемент входного вектора.

В данной лекции будет рассмотрено использование сети Хопфилда в качестве ассоциативной памяти.

Сеть Хопфилда позволяет по искаженному входному образу извлечь ближайший «наиболее похожий» к нему эталон (адресация по содержимому). Критерий «похожести» образов (векторов, подлежащих запоминанию в сети) зависит от конкретной задачи и может быть весьма сложным.

Алгоритм обучения ассоциативной памяти на сети Хопфилда

Сеть должна быть предварительно обучена на некоторой обучающей выборке. Обучение осуществляется без учителя путем предъявления сети набора входных образов из множества А (А_i,i=1,…,m). Для обучения используется правило Хебба, согласно которому синаптические веса формируются путем вычисления корреляций между состояниями отдельных нейронов. Связь между нейронами положительная, если состояния нейронов одинаковы и отрицательная, если состояния противоположны. Такое задание весов позволяет сети запомнить входные образы и обеспечить в дальнейшем возможность их извлечения по неполным и искаженным данным.

При обучении сети считается, что активационная функция равна 1 и входные сигналы (образы) без изменения подаются на выход нейрона.

Хопфилд разработал ассоциативную память с непрерывными выходами, изменяющимися в пределах от +1 до –1, соответствующих двоичным значениям 1 и 0. Запоминаемая информация кодируется двоичными векторами и хранится в весах согласно следующей формуле:

(5.2)

где m– число запоминаемых выходных векторов;k– номер запоминаемого выходного вектора.

Это же выражение можно записать в матричном виде:

, (5.3)

где А_k–k-й вектор входных образов;A^T_k – транспонированныйk-й вектор входных образов;I- единичная матрица (она введена для того, чтобы обеспечить равенство нулю диагональных элементов синаптической картыw_ii=0).

Алгоритм работы ассоциативной памяти

Задача поиска ассоциации для входного вектора Х в сети Хопфилда совпадает с задачей поиска минимума энергии сети (формула 4.4). Таким образом, минимумы выступают как эталоны, сохраненные в памяти.

Функционирование сети заключается в том, что после выбора начальных состояний а(i,0) сеть «запускается» и после конечного числа итераций приходит в стабильное состояние с неизменными величинами а(i,t). Таким образом, любое изменение состояния элементов системы приводит к уменьшению энергии системы и за конечный промежуток времени система приходит в состояние равновесия с постоянными значениями активности а(i,t) и минимумом энергии. Причем элементы, состояние которых модифицируется в данный момент времени, могут выбираться случайным образом, либо в каждый момент времени одновременно модифицируются состояния всех элементов.

В качестве активационной функции чаще всего используют ступенчатую либо логистическую функцию. Если применяется ступенчатая функция, то правило вычисления активности элемента в момент t+1 имеет вид

(5.4)

Функционирование сети легко визуализируется геометрически. На рис. 5.8 показана трехнейронная система, представленная кубом (в трехмерном пространстве), имеющим восемь вершин, каждая из которых помечена трехбитовым бинарным числом. В общем случае система сNнейронами имеет 2^Nразличных состояний и представляетсяN-мерным гиперкубом.

Когда подается новый входной вектор, сеть переходит из вершины в вершину, пока не стабилизируется. Устойчивая вершина определяется сетевыми весами, текущими входами и величиной порога. Если входной вектор частично искажен или неполон, то сеть стабилизируется в вершине, ближайшей к желаемой. На стадии инициализации веса должны выбираться так, чтобы образовывать энергетические минимумы в нужных вершинах единичного куба.

В сети Хопфилда часто возникают «ложные» локальные минимумы и геометрия энергетической поверхности сети имеет сложную форму. Чтобы избежать попадания системы в локальный минимум используют алгоритм машины Больцмана.