Систолические массивы для многослойных нейронных сетей. Структура систолического массива, объединяющего различные систолические процессоры. Эффективность.
Рис. 50.
Рис. 51. Схемы объединения различных систолических процессоров
Систолические массивы для многослойных нейронных сетей. Структура систолического массива, объединяющего идентичные систолические процессоры. Эффективность.
Рис. 52. Схема объединения однородных систолических процессоров
Рис. 53. Схема объединения матричных систолических процессоров
Рис. 54. Схема систолического массива для многослойных нейронных сетей
Систолические процессоры для реализации релаксационных нейронных сетей (сети Хопфилда).
Рис. 55.Систолический процессор с обратными связями
для реализации сети Хопфилда
Логика работы процессорного элемента в этом процессоре проиллюстрирована ниже:
Рис. 56. Процессорный элемент процессора для реализации сети Хопфилда
Методы обеспечения отказоустойчивости. Скользящее резервирование.
Различают два подхода к обеспечению отказоустойчивости:
•секционированное резервирование (дублируются секции),
•скользящее резервирование (дублируется каждый элемент).
Секция, сводящаяся к одному элементу схемы (дублируется каждый элемент),
– большая надежность, но и большее число переключателей. Уменьшение числа переключателей достигается за счёт укрупнения секций.
Методы обеспечения отказоустойчивости. Секционированное резервирование. Схема для неоднородного потока входных данных.
Архитектура разбивается на секции, каждая из которых дублируется.
Рис. 57. Схема отказоустойчивого систолический процессора для реализации сети Хопфилда
Рис. 58.Схема переключателя отказоустойчивого процессора
Нечёткие нейронные сети. Структура, функционирование, обучение.
Модели нечеткого вывода позволяют описать выходной сигнал многомерного процесса как нелинейную функцию входных переменных xi, i = 1, 2, …, N и параметров нечеткой системы, например, при использовании в качестве агрегатора оператора алгебраического произведения с последующей
дефазификацией относительно среднего центра. В модели Мамдани-Заде каждое из M правил определяется уровнем активации условия
M |
|
μ(yi )−∏μAi (xj ) |
(193) |
j=1
где yi - значение y, при котором значение μ(yi) максимально. Пусть yi — центр Ci нечеткого множества заключения i-го правила вывода. Тогда дефазификация относительно среднего центра дает
|
M |
N |
|
|
|
∑Ci ∏μAi (xj |
) |
|
|
y − |
i=1 |
j=1 |
|
(194) |
M |
N |
|
||
|
∑∏μAi (xj ) |
|
|
|
|
i=1 |
j=1 |
|
|
Приведенные формулы модели Мамдани-Заде имеют модульную структуру, которая идеально подходит для системного представления в виде многослойной структуры, напоминающей структуру классических нейронных сетей. Такие сети мы будем называть нечеткими нейронными сетями. Характерной их особенностью является возможность использования нечетких правил вывода для расчета выходного сигнала. Обучение таких сетей сводится к расчету параметров функции фазификации.
Нечеткие сети TSK (Такаги-Сугено-Канга)
Схема вывода в модели TSK при использовании M правил и N переменных xi, i = 1, 2, …, N имеет вид
if (x1 is A1(i) )(x2 |
is A2(i) )...(xN is AN (i) ) |
(195) |
|||||||
|
|
|
N |
|
|
|
|
||
then yi = pi0 +∑pij xj |
|
|
|
||||||
|
|
j=1 |
|
|
|
|
|
||
Условие (xi |
is Ai(i) ) |
реализуется функцией фазификации |
|
||||||
μA (xi)= |
|
|
|
1 |
|
|
|
(196) |
|
|
|
xi |
−ci |
|
2bi |
||||
|
|
||||||||
|
1+ |
|
|
||||||
|
|
|
|
||||||
|
|
σi |
|
|
|||||
|
|
|
|
||||||
При M правилах агрегированный выходной результат сети имеет вид
|
M |
|
(x) |
|
y (x)= |
∑wi yi |
|||
i=1 |
|
|
(197) |
|
|
N |
|
||
|
|
∑wi |
||
i=1
N |
|
yi (x)= pi0 +∑pij xj |
(198) |
j=1 |
|
Веса wi интерпретируются как значимость |
компонентов μA(i) (x). Тогда |
формуле (197) можно поставить в соответствие многослойную нейронную сеть рис. 59.
Рис. 59. Нечёткая нейронная сеть TSK
1.Первый слой выполняет фуззификацию каждой переменной. Это параметрический слой с параметрами cj(i), σj(i), bj(i), подлежащими адаптации в процессе обучения.
2.Второй слой выполняет агрегирование отдельных переменных, определяя
результирующее значение коэффициента принадлежности wi = μi A (x) для вектора
x(непараметрический слой).
3.Третий слой – генератор функции TSK, рассчитывает значения
N |
|
yi (x)− pi0 +∑pij xj |
(199) |
j=1
Вэтом слое также производится умножение yi(x) на wi, сформированные в предыдущем слое. Здесь адаптации подлежат веса pij, i = 1,2,…,M j = 1,2,…,N, определяющие функцию следствия модели TSK.
4.Четвертый слой составляют два нейрона-сумматора, один из которых
рассчитывает взвешенную сумму сигналов yk(x), а второй – сумму весов wi, i = 1,2,…,M (непараметрический слой).
5.Пятый слой из одного нейрона – это нормализующий слой, в котором выходной сигнал сети агрегируется по формуле (197).
Таким образом, в процессе обучения происходит уточнение параметров только первого (нелинейного) и третьего (линейного) слоев.
Гибридный алгоритм обучения нечетких сетей.
Параметры, подлежащие адаптации, разделяются на две группы:
•первая состоит из параметров pij линейного третьего слоя;
•вторая состоит из параметров нелинейной функции принадлежности первого слоя.
Уточнение параметров проводится в два этапа.
На первом этапе при фиксации определенных значений параметров функции принадлежности путем решения системы линейных уравнений рассчитываются параметры pij полинома TSK.
При известных значениях функции реализуемое сетью, можно представить в виде
|
|
|
M |
|
|
N |
|
yi (x)= ∑wi pi0 |
+∑pij xj |
||||||
|
|
|
i=1 |
|
|
j=1 |
|
|
|
|
N |
|
|
|
|
|
|
∏μA(i) (xj |
) |
|
|||
w |
= |
j=1 |
|
|
= const |
||
N |
N |
|
|
||||
i |
|
|
|
|
|
||
|
|
∑∏μA(k ) (xj ) |
|
||||
|
|
k =1 |
j=1 |
|
|
|
|
принадлежности преобразование,
(200)
(201)
При p обучающих выборках (x(l), d (l) ), l =1,2,..., p и замене выходного сигнала сети ожидаемым значением d (l) получим систему из p линейных уравнений вида
W * P = d , где |
(202) |
|
|
|
|
|
w' |
w' x (1) |
... |
|
|
|
w' |
x |
(1) |
... |
w' |
w' |
x (1) |
... |
w' |
x |
N |
(1) |
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||
|
|
|
|
|
|
11 |
|
|
11 1 |
|
|
|
|
|
|
11 |
|
N |
|
|
1M |
|
1M |
1 |
|
|
1M |
|
|
|
|
|
|
||
W = |
w' |
|
w' |
|
x (2) |
... |
|
|
|
w' |
|
x |
(2) |
... |
w' |
|
w' |
|
x (2) |
... |
w' |
|
x |
|
(2) |
|
|
|
(203) |
||||||
|
21 |
|
|
21 |
1 |
|
... |
|
|
|
|
21 |
|
N |
|
|
2M |
|
2M |
1 |
... |
|
2M |
|
N |
|
|
|
|
||||||
|
|
|
|
|
... |
|
|
... |
|
|
|
|
|
... |
|
... ... |
|
... |
|
... |
|
|
|
|
|
|
|||||||||
|
|
|
|
|
w' |
p1 |
w' |
p1 |
x (p) |
... |
|
|
|
w' |
p1 |
x |
(p) |
... |
w' |
pM |
w' |
pM |
x (p) |
... |
w' |
pM |
x |
N |
(p) |
|
|
|
|
||
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
N |
|
|
|
1 |
|
|
|
|
|
|
|
|
|||||||
P = |
|
|
|
p |
...p |
|
...p |
M 0 |
...p |
MN |
|
|
|
T , |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(204) |
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||
|
|
|
|
|
10 |
1N |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
w’ki – уровень активации (вес) i-го правила при предъявлении k-го входного вектора x(k).
Размерность матрицы W равна p ×(N +1)M , при этом обычно количество
строк (количество выборок) значительно больше количества столбцов. Решение этой системы уравнений можно получить за один шаг при помощи псевдоинверсии матрицы W:
P =W +d |
(205) |
Псевдоинверсия матрицы заключается в решении задачи минимизации
min |
W +W − E |
, |
(206) |
где E – единичная матрица. |
|
||
На втором этапе (линейные параметры pij, i = 1,2,…,M – фиксированы) рассчитываются фактические выходные сигналы pk, k = 1,2,…,p:
y =Wp , |
(207) |
вектор ошибки |
|
ε = y −d |
(208) |
и градиент целевой функции E(n) по параметрам первого слоя. Если применяется метод наискорейшего спуска, то формулы адаптации принимают вид
cj(i) (n +1)= cj(i) (n)−αc ∂∂E ((ni)) cj
σ j(i) (n +1)=σ j(i) (n)−ασ ∂E (n(i))
∂σ j
bj(i) (n +1)= bj(i) (n)−αb ∂∂E ((ni)) bj
(209)
(210)
(211)
где n обозначает номер очередной итерации.