32. Нс с обратными связями (сеть Хопфилда и сеть Хемминга).

Сети, имеющие соединения от выходов к входам, называются сетями с обратными связями.

В некоторых конфигурациях сетей с обратными связями предыдущие значения выходов возвращаются на входы; выход, следовательно, определяется как текущим входом, так и предыдущими выходами. По этой причине сети с обратными связями могут обладать свойствами, сходными с кратковременной человеческой памятью, сетевые выходы частично зависят от предыдущих входов.

Сеть Хопфилда. Нейронная сеть Хопфилда решает задачу восстановления по искажённому образцу ближайшего к нему эталонного.

Класс сетей Хопфилда содержит только один слой нейронов, выход каждого нейрона соединен с входами всех остальных нейронов. Обратные связи с выхода нейрона на его же вход отсутствуют.

На рис. представлена структура сети Хопфилда общего вида, содержащая n нейронов.

Сети Хопфилда отличаются от других нейронных сетей следующими существенными признаками:

• наличие обратных связей, идущих с выходов сетей на их входы по принципу «со всех на все»;

• Расчёт весовых коэффициентов проводится на основе исходной информации перед началом функционирования сети

• Сеть не нуждается в обучении

• При предъявлении входного вектора сеть «сходится» к одному из заполненных в сети эталонов, представляющих множество равновесных точек, которые являются локальными минимумами функции энергии, содержащей в себе всю структуру взаимосвязей в сети.

Сеть Хопфилда может запомнить не более 0,15n образцов.

Теорема Кохена -Гроссберга, определяющая достаточное условие устойчивости сетей с обратными связями: сеть с обратными связями является устойчивой, если матрица ее весов симметрична и имеет нули на главной диагонали. (веса между слоями в этой сети могут рассматриваться в виде матрицы W, wij = wji(симметричность) и wii = 0 (нулевые элементы на диагонали)).

Для доказательства приведенной теоремы Кохена и Гроссберга используется функция энергии (функция Ляпунова):

где Е - искусственная энергия сети; wij - вес от выхода нейрона i к входу нейрона j; yj, yi - выходы нейрона I и j; xj - внешний вход нейрона j; θj – пороговое значение нейрона j.

Главное свойство энергетической функции состоит в том, что в процессе эволюции состояний нейронной сети согласно уравнению она уменьшается. Благодаря такому непрерывному стремлению к уменьшению энергия в конце концов должна достигнуть локального минимума и прекратить изменение. По определению такая сеть является устойчивой.

Сеть Хемминга. Искусственная нейронная сеть Хэмминга представляет собой сеть с двумя обрабатывающими слоями: первый слой - слой Хэмминга, второй слой - немного изменённая сеть Хопфилда.

Рис. Структурная схема сети Хэмминга.

В сети Хемминга два слоя – первый и второй слои состоят из m нейронов и m равно числу образцов. Нейроны первого слоя имеют по n входных синапсов, где - n размерность входных векторов. Нейроны второго слоя связаны между собой обратными, отрицательными связями. Обратная связь от аксона на владельца нейрона равен +1. Суть работы состоит в нахождении расстояния Хемминга от тестируемого образца до всех образцов. Расстоянием Хемминга называется число отличающихся битов в двух бинарных векторах (например, - расстояние Хемминга равно 2).

Сеть должна выбрать образец с минимальным расстоянием Хемминга до поданного входного сигнала – в результате активируется один выход, отвечающий за данный эталонный образец.

При инициализации сети весовым коэффициентам первого слоя и порогу активационной функции присваиваются следующие значения:

, i=0...n-1, k=0...m-1, где xik – i-ый элемент k-ого образца.

Tk = n / 2, k = 0...m-1

Весовые коэффициенты тормозящих синапсов во втором слое берут равными некоторой величине 0 < e < 1/m. Синапс нейрона, связанный с его же аксоном имеет вес +1.