5.6 Нейронная сеть Хэмминга

Когда на выходе НС достаточно получать номер образца, ассоциативную память успешно реализует сеть Хэмминга. Данная разновидность нейросети характеризуется, что видно по ее структуре, изображенной на рис. 5.4, в сравнении с чаще используемой сетью Хопфилда, снижением затрат на память и также снижением общего объема вычислений.

Рис. 5.4 - Структура нейронной сети Хемминга.

Идея данной конфигурации сети состоит в нахождении расстояния Хэмминга от тестируемого образца до всех образцов. При этом, расстоянием Хэмминга принято считать число отличающихся битов в двух бинарных векторах.

Сеть выбирает образец с минимальным расстоянием Хэмминга до неизвестного входного сигнала, в результате чего будет активизирован только один выход сети, соответствующий этому образцу.

На стадии инициализации весовым коэффициентам первого слоя и порогу активационной функции присваиваются следующие значения:

w_ik = 0,5x_i^k, i = 0,..., N-1, k = 0, ..., m-1,

θ_k = N / 2, k = 0, ..., m-1,

где x_i^k – i-ый элемент k-го образца, n - количество признаков, m – количество нейронов в слое.

Весовые коэффициенты тормозящих синапсов во втором слое берут равными некоторой величине 0 <  < 1/m. Синапс нейрона, связанный с его же аксоном имеет вес +1.

Алгоритм функционирования сети Хэмминга следующий:

1. На входы сети подается неизвестный вектор x = {x_i}, i = 0, ..., N-1, исходя из которого рассчитываются состояния нейронов первого слоя (верхний индекс указывает номер слоя):

, j=0, ..., m-1.

После этого полученными значениями инициализируются значения аксонов второго слоя:

y^(2,j) = y^(1,j), j = 0, ..., m-1.

2. Вычислить новые состояния нейронов второго слоя:

и значения их аксонов:

.

Активационная функция имеет вид порога, причем границы порога должны быть достаточно велики, чтобы любые возможные значения аргумента не приводили к насыщению.

3. Проверить, изменились ли выходы нейронов второго слоя за последнюю итерацию. Если да – перейди к шагу 2. Иначе – завершение алгоритма.

При внимательной оценке алгоритма видно, что роль первого слоя весьма условна: воспользовавшись один раз на шаге 1 значениями его весовых коэффициентов, сеть больше не обращается к нему, поэтому первый слой может быть вообще исключен из сети (заменен на матрицу весовых коэффициентов).

5.7 Машина Больцмана

Машина Больцмана задается четверкой{N,Е, x₀,w}, где N - число нейронов, E = {(i, j)} -множество связей между нейронами, i, j= l,...,Nпри этом все автосвязи принадлежат этому множеству, то есть {(i,i)} - подмножество Е. Каждый нейрон может иметь состояние 0или 1. Состояние x_kмашины Больцмана определяется состояниями нейронов x_k= (x_k1, ...,x_kN), x₀ -начальное состояние.

Каждая связь (i, j)имеет весw_ij —ве­щественное число, множество весов связей обозначаетсяw. Связь (i, j)называется активной в состоянии x_k,если x_kix_kj = 1Вес свя­зи (i, j)интерпретируется как количественная мера желательности, чтобы эта связь была активной. Если w_ij>>0,то считается, что активность связи очень желательна, еслиw_ij<<0, то очень не желательна. Как и в модели Хопфилда связи в машине Больцмана симметричны, то естьw_ij = w_ji.

Для состояния x_ijмашины Больцмана вво­дится понятие консенсуса:

.

Консенсус С_kинтерпретируется как количественная мера желательности, чтобы все связи (i, j)в состоянии x_kбыли активными.

Для состояния x_kопределяется множество соседей x(k).Соседнее состояниеx_k(i), принадлежащееx(k), получается из x_kпри изменении состояния нейрона i:

Разница консенсусов соседних состояний x_k и x_k(i) равна:

,

где Е(i) - множество связей нейрона i.

Эволюция состояний от начальногоx₀с максимизацией консенсуса приводит машину к финальному состоянию, имеющему локальный или глобальный максимум консенсуса и соответствую­щему решению задачи, близкому к оптимальному или оптимальному.

Переход машины Больцмана из состояния в состояние с максимизацией консенсуса происходит путем выполнения пошаговой процедуры. На каждом шаге ее выполняется испытание, состоящее из двух частей:

1)для данного состояния x_kгенерируется соседнееx_k(i),

2)оценивается, может ли быть принято состояниеx_k(i), если может, то результат испытания—x_k(i), иначе x_k.

Состояниеx_k(i) принимается с вероятностью:

,

где t - управляющий параметр (положительное вещественное число).

Процесс максимизации консенсуса начинается с высокого значения t₀параметра tи случайно выбранного начального состоянияx₀. В течение процесса параметр tуменьшается от t₀до 0.По мере того как tприближается к нулю нейроны все реже изменяют свои состояния и, наконец, машина Больцмана стабилизируется в финальном состоянии.

Асимптотически машина Больцмана способна прийти к финальному состоя­нию, соответствующему оптимальному решению задачи. Но практически сходимость машины к состоянию с максимальным консенсусом гарантирована быть не может, машина Больцмана стабилизируется в состоянии, соответствующем локальному максимуму консенсуса, который близок (или равен) глобальному.

Сходимостью машины Больцмана управляют следующие параметры:

1)начальное значение параметра tдля каждого нейрона i:

,

2)правило затухания t:

,

где - положительное число меньшее единицы, но близкое к ней;

3)число Lиспытаний, которые проводятся без изменения t (L -функция от N),

4)число М последовательных испытаний, не приводящих к изменению состояния машины (М - также функция отN),как критерий завершения процесса.

Описанный процесс максимизации консенсуса является после­довательным. Максимизация может быть выполнена параллельно синхронным или асинхронным способом.

Для выполнениясинхронного процессавсе множество нейронов разбивается на непересекающиеся подмножества {W₁, ..., W_m},такие, что нейроны, попавшие в одно подмножество, не связаны один с другим. Тогда на каждом такте син­хронизации элементы случайно выбранного подмножества W_iмогут одновре­менно изменить свои состояния в соответствии с вероятностью.

Васинхронномпараллельном процессе все нейроны могут изменять свои состояния только в зависимости от величины вероятности.Практически асинхронный параллелизм может быть выполнен следующим образом. Случайно выбирается подмножество W,содержащее qнейронов. Для каждого нейрона из этого подмножества устанавливается состояние в соответствии с выраже­нием.Получившееся в результате состояние x_iесть результат одного асин­хронного шага. Число qвыбирается равным 2/3.