14.Нейронная сеть Хэмминга

Разработана Липпманом в 1987 г. [3].

Рисунок 10. Сеть Хэмминга

Сеть Хэмминга (как и Хопфилда) используется, если необходимо определить номер эталона, ближайший к предъявленному входному вектору. При этом активизируется только один выходной нейрон, соответствующий этому эталону. Расстояние между входным и эталонными векторами определяется одновременно как расстояние Хэмминга:

.

(35)

Тип входных сигналов – бинарные векторы, тип выходных сигналов – целые числа.

По сравнению с сетями Хопфилда, сети Хэмминга требуют меньших затрат памяти и объемов вычислений.

Сеть состоит из входного, скрытого и выходного слоев нейронов. Скрытый и выходной слои содержат по K нейронов, где K – число эталонов.

Выходы нейронов выходного слоя подаются на входы всех нейронов этого же слоя, причем на этот же нейрон – с коэффициентом 1, а на остальные – с отрицательным ослабляющим (ингибиторным) коэффициентом.

На этапе настройки сети Хэмминга устанавливаются значения весов нейронов скрытого слоя:

,

(36)

где –i-й компонент k-го эталона,

и пороги их активационных функций:

.

(37)

Коэффициенты отрицательных обратных связей нейронов выходного слоя задают равными некоторой величине из интервала 0<<1/K.

Алгоритм функционирования сети Хэмминга:

Шаг 1. На нейроны входного слоя подается вектор X, после чего с весовыми коэффициентами распределяется по нейронам скрытого слоя. На их выходах формируются значения:

.

(38)

В соответствии с этим устанавливаются значения на выходах нейронов выходного слоя:

.

(39)

Шаг 2. На каждой (t+1)-й итерации выходы нейронов выходного слоя корректируются:

.

(40)

В результате последовательности итераций максимальный выход должен увеличиться до 1, а остальные – убыть до 0. Активационная функция f – линейная с насыщением.

Шаг 3. Проверка изменения состояний нейронов выходного слоя за последнюю итерацию. В случае наличия изменений – переход к шагу 2. Иначе – окончание процедуры.

Входной слой необходим только в качестве хранилища весовых коэффициентов.

Недостатком сети является ограниченность самой метрики Хэмминга. Область применения ограничивается возможностью использования только бинарных сигналов. Достоинством сети является простота. Емкость сети точно равна количеству нейронов скрытого и выходного слоев и не зависит от размерности входа.

15. Классический генетический алгоритм

Основной (классический) генетический алгоритм (также называемый элементарным или простым генетическим алгоритмом) состоит из следующих шагов [7]:

1. Инициализация, или выбор исходной популяции хромосом.

2. Оценка приспособленности хромосом в популяции.

3. Проверка условия остановки алгоритма.

4. Селекция хромосом.

5. Применение генетических операторов.

6. Формирование новой популяции.

7. Выбор «наилучшей» хромосомы.

Блок-схема основного генетического алгоритма изображена на рисунке 31. Рассмотрим конкретные этапы этого алгоритма более подробно с использованием дополнительных подробностей, представленных на рисунке 32.

Инициализация, т.е. формирование исходной популяции, заключается в случайном выборе заданного количества хромосом (особей), представляемых двоичными последовательностями фиксированной длины.

Оценивание приспособленности хромосом в популяции состоит в расчете функции приспособленности для каждой хромосомы этой популяции. Чем больше значение этой функции, тем выше «качество» хромосомы. Форма функции приспособленности зависит от характера решаемой задачи. Предполагается, что функция приспособленности всегда принимает неотрицательные значения и, кроме того, что для решения оптимизационной задачи требуется максимизировать эту функцию. Если исходная форма функции приспособленности не удовлетворяет этим условиям, то выполняется соответствующее преобразование (например, задачу минимизации функции можно легко свести к задаче максимизации).

Рисунок 31. Блок-схема генетического алгоритма

Рисунок 32. Схема выполнения генетического алгоритма

Проверка условия остановки алгоритма. Определение условия остановки генетического алгоритма зависит от его конкретного применения. В оптимизационных задачах, если известно максимальное (или минимальное) значение функции приспособленности, то остановка алгоритма может произойти после достижения ожидаемого оптимального значения, возможно – с заданной точностью. Остановка алгоритма также может произойти в случае, когда его выполнение не приводит к улучшению уже достигнутого значения. Алгоритм может быть остановлен по истечении определенного времени выполнения либо после выполнения заданного количества итераций. Если условие остановки выполнено, то производится переход к завершающему этапу выбора «наилучшей» хромосомы. В противном случае на следующем шаге выполняется селекция.