1.5 Рекуррентные сети

Ранее рассмотренные сети не имели обратных связей, т.е. связей идущих от выходов нейронов к их входам. С одной стороны это хорошо, так как такие сети не могут войти в режим генерации, когда выходные сигналы все время изменяются и поэтому непригодны для использования. Но с другой стороны это плохо, потому что сети без обратных связей обладают более ограниченными возможностями по сравнению с сетями, имеющими обратные связи. Самой известной рекуррентной НС является сеть Хопфилда, которая была разработана в середине 80-х годов и открыла новое направление в теории нейронных сетей. Отличительной особенностью этих сетей являются динамические зависимости на каждом этапе функционирования. Здесь изменение состояния одного нейрона отражается на всей сети, поскольку он связан обратными связями со всеми нейронами. Если поведение многослойной сети прямого распространения можно описать системой нелинейных алгебраических уравнений, то поведение рекуррентных сетей описывается системой дифференциальных уравнений. Можно провести аналогию с цифровыми схемами: многослойный персептрон соответствует комбинационным схемам, а рекуррентные сети последовательностным схемам (с памятью).

Сеть Хопфилда

Эта сеть, как показано на рис.14, состоит из одного слоя нейронов, количество которых равно также числу входов и входов сети.

Рис.14 Сеть Хопфилда Поменять местами и откорректировать.

Каждый нейрон имеет один вход и его выход связан со всеми остальными нейронами. Поэтому эти сети часто также называют полносвязными и представляют в виде, показанном на рис.14 а). В своих ранних работах Хопфилд использовал обычную двоичную активационную функцию:

(14)

(15)

В последнее время часто применяется в качестве активационной функции следующая модификация

(16)

Состояние сети определяют множество текущих значений выходных сигналов y_j = 0, 1. Так как выходы нейронов с пороговой активационной функцией принимают значения 0 или 1, то текущее состояние сети является двоичным n-разрядным числом (вектором). В этом случае, очевидно, для n нейронов возможны 2ⁿ состояний, которые наглядно представлять вершинами двоичного (гипер) куба, что показано на рис.15.

При подаче нового входного набора сеть переходит из вершины в вершину до тех пор, пока не стабилизируется. Из всех 2ⁿ ­ состояний только часть состояний являются устойчивыми. Устойчивая вершина определяется сетевыми весами W, текущими входами X и величиной порога Т_к . Как и в других типах сетей веса между слоями можно рассматривать в виде матрицы W. Показано, что сеть Хопфилда является устойчивой, если матрица W имеет 0 на главной диагонали W_ii=0 и симметричной - W_ij = W_ji.

Рис.15 Двоичный куб состояний сети Хопфилда

При этих ограничениях можно представить, что всевозможные состояния образуют некоторую холмистую поверхность, где впадины (минимумы) соответствуют устойчивым состояниям (рис.16). Изменение текущего состояния при этом соответствует поведению тяжелого шарика, катящегося по этой поверхности – он движется вниз по склону в ближайшую впадину, представляющую локальный минимум.

Рис.16 Энергетические состояния сети Хопфилда

Добавить шарик

Каждая точка поверхности в этой интерпретации соответствует некоторому состоянию активности нейронов, а высота поверхности определяет “энергию” этого состояния, которую формально можно определить следующим образом:

, (17)

где Е - искусственная энергия сети;

W_ij - вес от выхода нейрона i ко входу j;

y_j - выход j-го нейрона;

х_j - вход j-го нейрона;

Т_j - порог j-го нейрона.

Можно показать, что любое изменение состояния одного нейрона (при фиксированных значениях входов), либо уменьшает энергию, либо оставляет её без изменения. Вследствие непрерывного стремления к уменьшению энергии в результате сеть должна достичь состояния, в котором функция энергии Е имеет min (хотя бы локальный) и прекратить изменение. Такое состояние сети является устойчивой. Таким образом, сеть устанавливается в устойчивое состояние, а не входит в режим генерации. Отметим, что если связь между некоторыми нейронами имеет большой положительный вес, то состояния, в которых данные нейроны активны, соответствуют низкому уровню энергии, и именно в такие состояния будет стремиться перейти сеть. Наоборот, активизация нейронов с отрицательной связью добавляет к энергии сети большую величину, поэтому сеть избегает таких состояний. Эта интерпретация основана на известной в физике модели Изинга, где совокупность взаимодействующих магнитных диполей (спинов) стремится перейти в такое энергетическое состояние, в котором суммарная энергия минимальна.

Следует отметить, что одна сеть (с одними и теми же значениями весовых коэффициентов) может хранить и воспроизводить множество различных образов – эталонов. При этом каждый эталон соответствует своему энергетическому минимуму и является атрактором, вокруг которого существует область притяжения. Систему с множеством атракторов, к которым она тяготеет, можно рассматривать как содержательно адресуемую память, т.е. ассоциативную память.

Ассоциативная память с успехом может быть реализована с помощью рекуррентных НС с обратными связями, например, сетью Хопфилда. Напомним, что ассоциативная память (associative memory) представляет собой распределенную память, которая обучается на основе ассоциаций (как это происходит в мозгу живых существ). Различают два типа ассоциативной памяти : 1) автоассоциативная (autoassociation), 2) гетероассоциативная (heteroassociation).

При обучении автоассоциативной ассоциативной памяти в НС запоминается множество эталонных (неискаженных) образов (например, изображения цифр 0,1, …,9). Затем в режиме распознавания на сеть подаются неполные или зашумленные образы (например, искаженное изображение цифры). При распознавании сеть по зашумленному образу должна найти наиболее близкий из запомненных эталонных образов и выдать его на выход сети. При этом фактически используется обучение без учителя. Это показано на рис.17, где в верхней части рисунка представлены эталонные изображения цифр, а в нижней - их искаженные изображения.

В случае гетероассоциативной памяти произвольному набору входных образов ставится в соответствие другой произвольный набор выходных сигналов. Настройка этой сети производится по методу обучения с учителем.

Обозначим - ключевой образ, используемый в ассоциативной памяти, а через- запомненный образ. Отношение ассоциации образов, которое реализуется НС можно представить следующим отношением:

,

где q определяет емкость сети (число хранимых образов). В автоассоциативной памяти , поэтому размерность входных и выходных данных должна совпадать. В гетероассоциативной памяти и размерность выходных векторов может отличаться от размерности входных.

Рис. 17 Эталонные (сверху) и искаженные (снизу) изображения цифр

Пусть является стимулом – зашумленной или искаженной версией ключевого образа . Данный стимул вызывает отклик (выходной сигнал)y. В идеале , гдепредставляет запомненый образ (эталон), который как бы ассоциируется с ключом. В случаеиговорят, что ассоциативная память при восстановлении образа сделала ошибку.

Число q эталонных образов, которые можно хранить в ассоциативной памяти, называется емкостью памяти. При проектировании ассоциативной памяти стремятся максимально увеличить ее емкость и проверить, чтобы большая часть запомненых образов восстанавливалась коректно.

Чтобы организовать ассоциативную память с помощью нейронной сети с обратными связями, на этапе обучения веса должны выбираться так, чтобы образовались энергетические min в запоминаемых эталонах - соответствующих вершинах единичного гиперкуба состояний сети.

Хопфилд разработал ассоциативную память для нейронов с непрерывными выходами. В общем случае любой сигнал может быть описан вектором . В этом случае каждый элемент х_i=(-1,+1). Обозначим вектор, описывающий k-й образец а его компонент, гдеm - число запоминаемых образцов. Когда сеть распознает (вспоминает) какой либо образец на основе предъявляемых ей идеальных данных её выходы будут содержать идеальный объект . Если, например сигналы представляют собой некоторые данные с выхода сети можно увидеть картинки полностью совпадающие с одним из идеальных образов.

Обучение сетей Хопфилда

До этого мы рассмотрели два способа обучения - с учителем и без него. Строго говоря, обучение сетей Хопфилда не попадает ни в один из них. В данном случае весовые коэффициенты W_ij рассчитываются один раз перед началом функционирования сети на основе информации о запоминаемых данных, и все обучение фактически сводится к этому расчету. Из компонент идеальных образцов вычисляется по несложным правилам значение всех коэффициентов сети. Итак, обучение сводится к инициализации весов коэффициенты, которые устанавливаются следующим образом:

(18)

Здесь суммирование выполняется по всем запоминаемым образцам, при этом из каждого образца выбирается i-я и j-я компонента, которые перемножаются между собой.

В векторном виде это можно представить так

(19)

Приведенное правило вычисления коэффициентов можно интерпретировать как правило обучения по Хеббу. Как только веса сети W_ij найдены, сеть "готова к употреблению". Она должна выдать на выходы идеальный образ по заданному входному вектору, который может быть частично неправильным (искаженным). Для этого выходам сети сначала придают значения входного вектора, который должен быть распознан. Затем он убирается и сети предоставляется возможность "расслабиться" опустившись при этом в ближайший min, который должен содержать соответствующий эталонный образ.

Алгоритм состоит из следующих этапов:

1. На входы сети подается неизвестный сигнал, который вводится непосредственно установкой выходов следующим образом:

2. Рассчитывается новое состояние нейронов и значение активационной функции:

3. Выполняется проверка, изменились ли выходные значения y_i за последнюю итерацию. Если да (неустановившееся состояние) то переход на п.2. Если сеть попала в устойчивое состояние, то она выдает выходной вектор, ближайший (но имеющий сходство не меньше определенного порога) из запомненных к эталонному сигналу. Если среди хранимых эталонов нет похожих образцов, то выдается соответствующее сообщение.

Важнейшим параметром ассоциативной памяти является ее емкость – максимальное количество запоминаемых эталонов, которые распознаются с допустимой погрешностью . Показано [7] (Осовский с.180), что при использовании для обучения приведенной выше методики (Хебба) длямаксимальная емкость памяти составляет 0.138n (от числа нейронов, образующих сеть). Таким образом, правило Хебба здесь не эффективно, поэтому разработаны другие методы [7] (Осовский с.181) обучения, которые позволяют повысить емкость памяти.

По окончанию вычисления синаптических весов их значения “замораживаются” и сеть может быть использована непосредственно для распознавания.

Существует три основных применения сетей этого типа:

1. Распознавание образов

2. Ассоциативная память

3. Решение задач комбинаторной оптимизации.

Последнее применение совершенно нестандартно для нейронных сетей. Оно основано на том, что из условий задачи формируется функция энергии E и после установки сети в необходимое начальное состояние она “отпускается” и стремится достичь состояния минимума энергии, которое и дает решение задачи. Таким образом, с успехом решаются многие проблемы, например, задача коммивояжера, которая является базовой задачей комбинаторной оптимизации и имеет большое практическое значение.

2. Прикладные аспекты использования нейросетей

Для решения некоторой задачи с применением нейросетевых технологий необходимо выполнить априорный анализ объекта исследования, который включает в себя обобщение опыта и специальных знаний о нем, крайне желательно получение предварительных рекомендаций экспертов в данной области, изучение специальной технической и патентной литературы и известных прототипов, сбор необходимых данных и формирование обучающей и тестовой выборки для проектируемой НС.

Специалист в данной предметной области, как правило, в состоянии самостоятельно поставить задачу, более того, никто, кроме него, не сможет сделать это лучше. Сбор материала желательно также осуществлять с помощью специалиста в этой области.