6. Обучение нейронных сетей методом искусственной теплоемкости.

Несмотря на улучшение, достигаемое с помощью метода Коши, время обучения может оказаться все еще слишком большим. Для дальнейшего ускорения этого процесса может быть использован способ, уходящий своими корнями в термодинамику. В этом методе скорость уменьшения температуры изменяется в соответствии с искусственной "теплоемкостью", вычисляемой в процессе обучения.

Во время отжига металла происходят фазовые переходы, связанные с дискретными изменениями уровней энергии. При каждом фазовом переходе может происходить резкое изменение величины, называемой теплоемкостью. Теплоемкость определяется как скорость изменения температуры в зависимости от изменения энергии. Изменения теплоемкости происходят из-за попадания системы в локальные энергетические минимумы.

Искусственные нейронные сети проходят аналогичные фазы в процессе обучения. На границе фазового перехода искусственная теплоемкость может скачкообразно измениться. Эта псевдотеплоемкость определяется как средняя скорость изменения температуры с целевой функцией. В примере шарика в коробке, приведенном выше, сильная начальная встряска делает среднюю величину целевой функции фактически не зависящей от малых изменений температуры, т. е. теплоемкость близка к константе. Аналогично, при очень низких температурах система замерзает в точке минимума, так что теплоемкость снова близка к константе. Ясно, что в каждой из этих областей допустимы сильные изменения температуры, так как не происходит улучшения целевой функции.

При критической температуре небольшое уменьшение ее значения приводит к большому изменению средней величины целевой функции. Возвращаясь к аналогии с шариком, при "температуре", когда шарик обладает достаточной средней энергией, чтобы перейти из в , но не достаточной для перехода из в , средняя величина целевой функции испытывает скачкообразное изменение. В этих критических точках алгоритм должен изменять температуру очень медленно, чтобы гарантировать, что система не "замерзнет" случайно в точке , оказавшись пойманной в локальный минимум. Критическая температура может быть обнаружена по резкому уменьшению искусственной теплоемкости, т.е. средней скорости изменения температуры с целевой функцией. При достижении критической температуры скорость изменения температуры должна замедляться, чтобы гарантировать сходимость к глобальному минимуму. При всех остальных температурах может без риска использоваться более высокая скорость снижения температуры, что приводит к значительному снижению времени обучения.

6. Архитектура сетей Хопфилда и Хэмминга.

В таких сетях веса синаптических связей рассчитываются в начале работы и больше не изменяются. С одной стороны у таких сетей есть большие ограничения по количеству запоминаемых образцов.

Сеть Хопфилда

С труктурная схема сети Хопфилда представлена на рисунке. Сеть состоит из единственного слоя нейронов, число которых одновременно равно количеству входов и количеству выходов. Каждый нейрон связан синапсами остальными нейронами и имеет один вход. Выходные сигналы формируются как обычно на аксонах.

Рисунок 1. Сеть Хопфилда

Задача ассоциативной памяти, решаемая с помощью данной сети, обычно выглядит следующим образом – есть некоторый набор двоичных сигналов, которые считаются эталонными. Сеть должна уметь из произвольного входного сигнала выделить тот эталонный образец, который наиболее похож на поданный сигнал или же выдать сообщение о том, что поданный сигнал ни с чем не ассоциируется. Входной сигнал, в общем случае, может быть описан вектором . - число нейронов в сети и размерность входных и выходных векторов. Каждый элемент вектора равен либо +1, либо -1.

При инициализации сети коэффициенты устанавливаются следующим образом:

и - коэффициенты предсинаптического и постсинаптического нейронов. x_i^k, x_j^k – i-ый и j-ый элементы вектора k-ого образца.

Алгоритм работы сети следующий:

1. На входы сети подается неизвестный сигнал. Практически его ввод происходит за счет установления аксонов y_i(0) = x_i , i = 0...n-1. То есть входы нужны лишь формально.

2. Рассчитывается новое состояние нейронов:

, j=0...n-1

и новое состояние аксонов

При этом - функция единичного скачка.

3. Проверяется – изменились ли состояния аксонов за последнюю итерацию. Если да, то переход на пункт 2, если нет, то работа сети завершилась. На выходе получается эталонный образец наиболее похожий на входной вектор.

Отметим, что иногда сеть не может сопоставить эталонный образец и входной сигнал, при этом на выходе получается произвольный сигнал. Это связано с ограниченностью сети – сеть Хопфилда может запомнить не более образцов. Также – если эталонные образцы и похожи, то обычно происходят перекрестные ассоциации.