Архитектура сети

Архитектура модифицированной сети Хопфилда представлена на рис. 8.5.

Рис. 8.5

Вход p устанавливает значения начальных условий. В сети используется линейная функция активации с насыщением satlins, которая описывается следующим образом:

(8.3)

Эта сеть может быть промоделирована с одним или большим количеством векторов входа, которые задаются как начальные условия. После того как начальные условия заданы, сеть генерирует выход, который по обратной связи подается на вход. Этот процесс повторяется много раз, пока выход не установится в положение равновесия. Можно надеяться, что каждый вектор выхода в конечном счете сойдется к одной из точек равновесия, наиболее близкой к входному сигналу.

Рассмотрим следующий пример. Предположим, что требуется разработать сеть с двумя устойчивыми точками в вершинах трехмерного куба:

T = [–1 –1 1; 1 –1 1]'

T =

–1 1

–1 –1

1 1

Выполним синтез сети:

net = newhop(T);

gensim(net)

Структура сети представлена на рис. 8.6.

a	б
в

Рис. 8.6

Читателю следует обратить внимание, что на схеме рис. 8.6, а вход и выход слоя совпадают; на рис. 8.6, б показаны используемые в рекуррентном слое элементы. Обратимся к информации о структуре слоя:

net.layers{1}

ans =

dimensions: 3

distanceFcn: 'dist'

distances: [33 double]

initFcn: 'initwb'

netInputFcn: 'netsum'

positions: [0 1 2]

size: 3

topologyFcn: 'hextop'

transferFcn: 'satlins'

userdata: [11 struct]

Из этого списка следует, что в слое используется функция инициализации initwb, функция суммирования входов netsum и функция активации satlins.

На рис. 8.6, в показан блок, описывающий матрицу весов, которая определяет переходную матрицу динамической модели рекуррентного слоя.

Динамическая модель рекуррентного слоя модифицированной сети Хопфилда описывается следующим образом:

. (8.4)

При внимательном анализе приведенного соотношения можно действительно убедиться, что матрица весов LW¹¹ равносильна переходной матрице динамической системы, а вектор смещений b¹ – вектору передачи единичного входа. Необходимо сформировать эти элементы, если заданы точки равновесия системы t в вершинах гиперкуба.

Синтез сети

Метод проектирования модифицированных сетей Хопфилда описан в работе [25], на основе этого метода разработан алгоритм синтеза, который реализован в ППП NT в виде подфункции solvehop2(t) М-функции newhop.

Если задано множество целевых точек равновесия, представленных матрицей T, то функция newhop возвращает матрицу весов и вектор смещений для рекуррентного слоя сети Хопфилда. При этом гарантируется, что точки устойчивого равновесия будут соответствовать целевым векторам, но могут появиться и так называемые паразитные точки. В процессе синтеза сети число таких нежелательных точек сводится к минимуму.

Пусть задано Q целевых векторов, образующих матрицу T размера SQ:

(8.5)

Образуем новую матрицу Y размера SQ–1 следующего вида:

(8.6)

Вычислим разложение матрицы Y по сингулярным числам:

(8.7)

Далее образуем матрицы

(8.8)

где K – ранг матрицы Y.

Построим динамическую систему

, (8.9)

где T_ – матрица вида ТР – ТМ;  – динамический параметр (в алгоритме принят равным 10); E – единичная матрица.

Вычислим дискретную модель для системы (8.9):

, (8.10)

где Ф – переходная матрица вида ; F – матрица передачи входа вида с₁ = e^h –1, c₂ = (1–e^–h)/; h – такт дискретности (в алгоритме принят равным 0.15 c).

Соответствующая матрица весов рекуррентного слоя и вектор смещения вычисляются следующим образом:

(8.11)

Когда сеть спроектирована, она может быть проверена с одним или большим числом векторов входа. Весьма вероятно, что векторы входа, близкие к целевым точкам, равновесия найдут свои цели. Способность модифицированной сети Хопфилда быстро обрабатывать наборы векторов входа позволяет проверить сеть за относительно короткое время. Сначала можно проверить, что точки равновесия целевых векторов действительно принадлежат вершинам гиперкуба, а затем можно определить области притяжения этих точек и обнаружить паразитные точки равновесия, если они имеются.

Рассмотрим следующий пример. Предположим, что требуется создать модифицированную сеть Хопфилда с двумя точками равновесия, заданными в трехмерном пространстве:

T = [–1 –1 1; 1 –1 1]'

T =

–1 1

–1 –1

1 1

Выполним синтез сети, используя М-функцию newhop:

net = newhop(T);

Удостоверимся, что разработанная сеть имеет устойчивые состояния в этих двух точках. Выполним моделирование сети Хопфилда, приняв во внимание, что эта сеть не имеет входов и содержит рекуррентный слой; в этом случае целевые векторы определяют начальное состояние слоя Ai, а второй аргумент функции sim определяется числом целевых векторов:

Ai = T;

[Y,Pf,Af] = sim(net,2,[],Ai);

Y

Y =

–1 1

–1 –1

1 1

Действительно, устойчивые положения равновесия сети находятся в назначенных точках.

Зададим другое начальное условие в виде массива ячеек:

Ai = {[–0.9; –0.8; 0.7]};

Ai{1,1}

ans =

–0.9000

–0.8000

0.7000

Эта точка расположена вблизи первого положения равновесия, так что можно ожидать, что сеть будет сходиться именно к этой точке. При таком способе вызова функции sim в качестве второго параметра указываются такт дискретности и количество шагов моделирования:

[Y,Pf,Af] = sim(net,{1 5},{},Ai);

Y{1}

Y =

–1

–1

1

Действительно, из заданного начального состояния сеть вернулась в устойчивое положение равновесия. Желательно, чтобы сеть вела себя аналогичным образом при задании любой начальной точки в пределах куба, вершины которого составлены изо всех комбинаций чисел 1 и –1 в трехмерном пространстве. К сожалению, этого нельзя гарантировать, и достаточно часто сети Хопфилда включают нежелательные паразитные точки равновесия.

Пример:

Рассмотрим сеть Хопфилда с четырьмя нейронами и определим 4 точки равновесия в виде следующего массива целевых векторов:

T = [1 –1; –1 1; 1 1; –1 –1]'

T =

1 –1 1 –1

–1 1 1 –1

На рис. 8.7 показаны эти 4 точки равновесия на плоскости состояний сети Хопфилда.

plot(T(1,:), T(2,:),'*r') % Рис.8.7

axis([–1.1 1.1 –1.1 1.1])

title('Точки равновесия сети Хопфилда')

xlabel('a(1)'), ylabel('a(2)')

Рис. 8.7

Рассчитаем веса и смещения модифицированной сети Хопфилда, использую М-функ­цию newhop:

net = newhop(T);

W= net.LW{1,1}

b = net.b{1,1}

W =

1.1618 0

0 1.1618

b =

3.5934e–017

3.5934e–017

Проверим, принадлежат ли вершины квадрата к сети Хопфилда:

Ai = T;

[Y,Pf,Af] = sim(net,4,[],Ai)

Y =

1 –1 1 –1

–1 1 1 –1

Pf = []

Af =

1 –1 1 –1

–1 1 1 –1

Как и следовало ожидать, выходы сети равны целевым векторам.

Теперь проверим поведение сети при случайных начальных условиях:

plot(T(1,:), T(2,:),'*r'), hold on

axis([–1.1 1.1 –1.1 1.1])

xlabel('a(1)'), ylabel('a(2)')

new = newhop(T);

[Y,Pf,Af] = sim(net,4,[],T);

for i =1:25

a = {rands(2,1)};

[Y,Pf,Af] = sim(net,{1,20},{},a);

record = [cell2mat(a) cell2mat(Y)];

start = cell2mat(a);

plot(start(1,1), start(2,1), 'kx', record(1,:), record(2,:))

end

Результат представлен на рис. 8.8.

Рис. 8.8

Читатель может продолжить изучение модифицированных сетей Хопфилда, обратившись к демонстрационным примерам. Пример двумерной сети можно найти в демонстрации demohop1, пример неустойчивой точки равновесия – в демонстрации demohop2. Демонстрация demohop3 дает пример трехмерной модифицированной сети Хопфилда. Демонстрация demohop4 иллюстрирует появление устойчивых паразитных точек равновесия.

9. Применение нейронных сетей

В настоящее время многие задачи, имеющие важное практическое значение и которые не имели приемлемого решения в прошлом, могут быть решены с использованием нейронных сетей. Ниже рассматривается решение таких задач, связанных с аппроксимацией и фильтрацией сигналов, моделированием динамических систем, распознаванием образов и проектированием систем управления.

9.1. Аппроксимация и фильтрация сигналов

9.1.1. Предсказание стационарного сигнала

Постановка задачи

Задан гармонический сигнал с круговой частотой 4 1/с (2 Гц) и длительностью 5 с. Дискретный сигнал T получен в результате квантования исходного сигнала по времени с частотой 40 Гц (такт дискретности 0.025 с):

time = 0:0.025:5;

T = sin(time*4*pi);

stairs(time,T);

axis([0 5 –1 1]), xlabel(‘time, с’), ylabel(‘T’)

На рис. 9.1 показан график дискретного сигнала Т.

Рис. 9.1

Требуется предсказать значение сигнала y_k на выходе сети в момент времени t_k, используя 5 последних значений сигнала Т в качестве входа, т. е.

(9.1)

где y_k = sin(4t_k ) = sin(4kh), t_k = t₀ : h: t_f = 0 : 0.025 : 5.

В математическом смысле это задача экстраполяции сигнала на 1 шаг вперед. С позиции теории нейронных сетей это задача настройки параметров и обучения сети. Сформируем обучающее множество следующим образом. Входная последовательность Р1 определена на интервале от 0 до 1 c и имеет длину Q1, а каждый вектор входа состоит из пяти компонент, соответствующих запаздывающим значениям сигнала T; целевой вектор Т1 сформирован из значений сигнала Т, начиная с шестого; контрольное подмножество T2 формируется из значений сигнала Т на интервале от 3 до 5 с:

Q = length(T);

h = 0.025;

Q1 = 1/h;

P1 = zeros(5,Q1);

P1(1,1:Q1) = T(1,1:Q1);

P1(2,2:Q1) = T(1,1:(Q1–1));

P1(3,3:Q1) = T(1,1:(Q1–2));

P1(4,4:Q1) = T(1,1:(Q1–3));

P1(5,5:Q1) = T(1,1:(Q1–4));

T1 = T(1,6:(Q1+5));

T2 = T(1,3/h:Q);