Сеть Хэмминга

Сеть Хемминга – это одна из наиболее многообещающих распознающих и классифицирующих нейронных сетей. Она используется для решения задач классификации бинарных входных векторов. В основе ее работы лежат процедуры, направленные на выбор в качестве решения задачи классификации одного из эталонных образов, наиболее близкого к поданному на вход сети зашумленному входному образу, и отнесение данного образа к соответствующему классу (черно-белые изображения представляются в виде m-мерных биполярных векторов). Свое название она получила от расстояния Хемминга (количество различающихся переменных у зашумленного и эталонного входных образов), которое используется в сети в качестве критерия оценки меры близости к каждому классу сходства R изображений входного и эталонных, хранимых с помощью весов связей сети.

Сеть используется для того, чтобы соотнести бинарный вектор x = (x₁, x₂, x₃, … x_m), где x_i = {-1,1} с одним из эталонных образов (каждому классу соответствует свой образ), или же решить, что вектор не соответствует ни одному из эталонов. В отличии от сети Хопфилда, выдаёт не сам образец, а его номер.

Сеть предложена Ричардом Липпманном в 1987 году. Она позиционировалась как специализированное гетероассоциативное запоминающее устройство.

Мера сходства определяется соотношением

R = m – Rx, где

m – число компонент входного и эталонных векторов;

Rx - расстояние Хемминга между векторами.

Определение: Расстоянием Хемминга между двумя двоичными векторами X и Y длины n называется число позиций, в которых векторы различны.

В общем виде расстояние Хэмминга   для объектов   и   размерности   задаётся функцией:

Расстояние Хэмминга обладает свойствами метрики, удовлетворяя следующим условиям:

Сеть Хэмминга — трёхслойная нейронная сеть (один слой входной и два классифицирующих) с обратной связью.

Общая постановка задачи, которая решается с помощью нейронной сети Хэмминга, следующая. Имеется исходный набор эталонных образов, представленных в виде бинарных векторов. Каждому из них соответствует свой класс. Требуется для поданного на входы сети неизвестного образа произвести его сопоставление со всеми известными эталонными образами и отнесение к соответствующему классу либо сделать заключение о несоответствии ни одному из классов.

Количество нейронов во втором и третьем слоях равно K ‑ количеству классов классификации. Синапсы нейронов второго слоя соединены с каждым входом сети, нейроны третьего слоя связаны между собой отрицательными связями, кроме синапса, связанного с собственным аксоном каждого нейрона — он имеет положительную обратную связь.

Число входов M соответствует числу бинарных признаков, по которым различаются образы. Значения входных переменных принадлежат множеству {–1; 1}. Выходные значения подаются по обратным связям на входы нейронов второго слоя, в том числе свой собственный.

ОБУЧЕНИЕ:

На стадии обучения выполняется следующая последовательность действий:

1. Формируется матрица эталонных образов   размера K x M (табл. 1)

Таблица 1. Матрица эталонных образов нейронной сети Хэмминга

№образа	№ входной бинарной переменной
	1	2	…	i	…	M
1	x11	x12	…	x1i	…	x1M
2	x21	x22	…	x2i	…	x2M
…	…	…	…	…	…	…
j	xj1	xj2	…	xji	…	xjM
…	…	…	…	…	…	…
K	xK1	xK2	…	xKi	…	xKM

2. Рассчитывается матрица весовых коэффициентов нейронов первого слоя:

или в матричной форме записи: .

3. Определяются настройки активационной функции:

– вид – линейная пороговая функция:

– параметр:

Таким образом, очевидно, что выходы нейронной сети могут принимать любые значения в пределах [0, T].

4. Задаются значения синапсов обратных связей нейронов второго слоя в виде элементов квадратной матрицы размераK x K:

где 

или в матричной форме:

Синапсы обратных связей нейронной сети Хэмминга, имеющие отрицательный вес, называются ингибиторными, или тормозящими.

5. Устанавливается максимально допустимое значение нормы разности выходных векторов на двух последовательных итерациях E_max, требующееся для оценки стабилизации решения. Обычно достаточно принимать E_max = 0,1.

РАСПОЗНАВАНИЕ:

На стадии практического использования выполняются следующие действия:

1. На входы сети подается неизвестный, в общем случае, зашумленный вектор сигналов .

2. Рассчитываются состояния и выходные значения нейронов первого слоя.

Для расчета состояний нейронов используется соотношение:

или в матричной форме:

Для расчета выходов нейронов первого слоя   к полученным значениям состояний применяется активационная функция f(s).

3. Выходам нейронов второго слоя в качестве начальных величин присваиваются значения выходов нейронов первого слоя, полученные на предыдущем шаге:

.

Далее первый слой нейронов на стадии практического использования больше не задействуется.

4. Для каждой итерации q рассчитываются новые значения состояний и выходов нейронов второго слоя.

Состояния нейронов определяются по соотношению:

или в матричной форме записи:

Новые выходные значения   определяются в результате применения линейной пороговой активационной функции (2) к соответствующим состояниям нейронов  .

5. Цикл в п.4 повторяется до стабилизации выходного вектора в соответствии с условием:

В идеальном случае после стабилизации должен получиться выходной вектор с одним положительным и всеми остальными нулевыми элементами. Индекс единственного положительного элемента непосредственно указывает на класс неизвестного входного образа.

Если данные входного образа сильно зашумлены или в обучающей выборке отсутствовал подходящий эталон, в результате остановки цикла в п..4 могут быть получены несколько положительных выходов, причем значение любого из них окажется меньше, чем Emax. В этом случае делается заключение о невозможности отнесения входного образа к определенному классу, однако индексы положительных выходов указывают на наиболее схожие с ним эталоны.

74