Классификация и свойства нейронных сетей

Нейронная сеть представляет собой совокупность соединенных друг с другом нейронов, связанных с внешней средой. В нейронных сетях тип нейрона связан с его расположением в сети. Различают следующие три типа нейронов:

1. Входные нейроны, на которые подается входное воздействие. Они предназначены для придания определенного веса каждому входному воздействию.

2. Промежуточные нейроны, осуществляют преобразование (6.1).

3. Выходные нейроны, представляют собой выходы нейронной сети, также осуществляют преобразование (6.1).

В процессе функционирования НС осуществляет преобразование входного вектора в выходной. Сам вид преобразования определяется не только характеристиками нейронов, но и архитектурой (топологией) сети. Различают три основных типа НС:

1. Полносвязные.

2. Многослойные.

3. Слабосвязные.

В полносвязных сетях каждый нейрон передает свой выходной сигнал всем остальным нейронам, в том числе и самому себе. Все входные сигналы подаются всем нейронам. Выходными же сигналами сети могут быть все, или некоторые выходные сигналы нейронов.

В многослойных сетях нейроны объединены в слои. Слой представляет собой совокупность нейронов с едиными входными сигналами. Внешние входные сигналы подаются на входы нейронов первого слоя. Нумерация слоев идет слева направо. Выходами сети являются выходные сигналы выходного слоя. Кроме входного и выходного слоев в многослойной нейронной сети есть один или несколько промежуточных (скрытых) слоев. Вход нейронной сети можно рассматривать как выход «нулевого слоя» вырожденных нейронов.

В слабосвязных нейронных сетях нейроны располагаются в узлах прямоугольной или гексагональной решетки. Если каждый нейрон связан с четырьмя ближайшими нейронами, то это сеть фон Неймана, если с шестью – сеть Голея, а с восемью – сеть Мура.

Наибольшее распространение получили многослойные нейронные сети. Частный случай многослойной сети – однослойная сеть, изображена на Рис.3.

Рис.3.

На n входов сети поступают сигналы, которые с определенными весами подаются на k сумматоров, выходные сигналы которых претерпевают одинаковые для каждого нейрона нелинейные преобразования, в конечном счете, образуя выходные сигналы сети

, . (6.8)

В этом уравнении определяет вес связи -го входа и -го нейрона.

Запишем в матричном виде процесс преобразования нейронной сетью входного сигнала в выходной

, (6.9)

где - вектор выходных сигналов нейронной сети, W – матрица весовых коэффициентов

, (6.10)

X – вектор входных сигналов, B – вектор смещений.

Обобщенная структурная схема однослойной нейронной сети представлена на Рис.4.

Рис.4.

Расположенные в одном слое нейроны функционируют независимо друг от друга, поэтому и возможности такой сети ограничиваются свойствами отдельных нейронов [7].

Трехслойная нейронная сеть приведена на Рис.5. Сеть имеет n входов, k нейронов в первом слое, m нейронов во втором и l нейронов в третьем слое. На нейроны в слоях подаются смещения, например на нейроны второго слоя подаются смещения , . Необходимо отметить, что выходы каждого промежуточного слоя, включая первый, являются входами для последующего слоя. Такая нейронная сеть называется многослойным перцептроном.

Каждый слой сети имеет свое назначение. Так, слой, образующий выход сети, называется слоем выхода. Первые два слоя трехслойной сети называются скрытыми слоями. В общем случае, количество скрытых слоев на один меньше общего количества слоев в сети.

Рис.5.

Для рассмотренной сети можно записать

, ;

, ; (6.11)

, .

Или в векторно-матричном виде

, , . (6.12)

Обобщенная структурная схема трехслойной нейронной сети представлена на Рис.6.

Рис.6.

Теоретическим обоснованием применения многослойных нейронных сетей для аппроксимации непрерывных функций являются работы Стоуна-Вейерштрасса, Колмогорова А.Н., Арнольда В.И., Хехт-Нильсена. В них показано, что любая непрерывная функция может быть аппроксимирована с помощью нейронной сети с любой заданной точностью, зависящей от числа слоев.

Нейронные сети, рассмотренные выше, являются сетями с прямой передачей сигналов от входа к выходу. Такие сети обычно имеют один и более скрытых слоев нейронов, обычно с сигмоидальными функциями активации. Выходной слой содержит линейные функции активации. Сети с такой архитектурой могут воспроизводить весьма сложные нелинейные зависимости между входом и выходом сети.

Сети могут быть статическими и динамическими. В статической нейронной сети отсутствуют элементы запаздывания и обратные связи. Приведенные выше однослойная и трехслойная нейронные сети являются статическими.

Динамические нейронные сети в отличие от статических приобретают ряд новых свойств, которые не могут быть получены на статических сетях. Рассмотрим два типа динамических сетей: сети с запаздываниями и сети с обратными связями. Сначала остановимся на сетях с запаздываниями.

В нейронных сетях с запаздываниями входные сигналы проходят через линии задержки в соответствии со схемой, изображенной на Рис.7.

Рис.7.

На схеме - элемент задержки. Количество элементов задержки определяет число учитываемых дискретных значений входного вектора

(6.13)

Как видно из этой схемы, с помощью однослойной нейронной сети с запаздываниями (не считая входного слоя), содержащей один нейрон и линейную функцию активации, несложно реализовать дискретный динамический фильтр с конечной памятью - нерекурсивный цифровой фильтр, описываемый линейным разностным уравнением

. (6.14)

Путем введения нелинейной функции активации с помощью нейронной сети можно реализовать нелинейный цифровой фильтр

. (6.15)

Обобщенная структурная схема нейронной сети с запаздываниями и нелинейной функцией активации представлена на Рис.7.8.

Рис.8.

Рассмотренные динамические нейронные сети являются устойчивыми, что является положительным. В то же самое время сети с прямым распространением сигналов обладают ограниченными возможностями по сравнению с сетями, имеющими обратные связи. Так, например, с помощью сетей с прямым распространением сигналов невозможно реализовать рекурсивный цифровой фильтр. В то же самое время введение обратных связей в сети может вызвать ее неустойчивость.

Рассмотрим сети, в которых в отличие от нейронных сетей с прямым распространением сигналов, имеются каналы, по которым информация распространяется в обратном направлении. Эти нейронные сети относятся к классу рекуррентных сетей. В рекуррентных сетях сигналы с выходного или скрытого слоя передаются во входной слой.

Остановимся более подробно на рекуррентной сети Хопфилда, которая выполняет функции ассоциативного запоминающего устройства. Ассоциативная память играет роль системы, определяющей взаимную зависимость векторов. В этом случае сеть запоминает входные обучающие векторы и, сравнивая их с предъявляемым новым вектором дает ответ, на какой из ранее запомненных больше похож вновь поступивший вектор. Каждый обучающий вектор переводит нейронную сеть в положение устойчивого равновесия, что позволяет ассоциировать обучающий вектор с состоянием объекта. Такое состояние устойчивого равновесия называется аттрактором. Количество аттракторов определяет объем ассоциативной памяти нейронной сети.

Сеть Хопфилда состоит из одного слоя, который охвачен динамической обратной связью. Обобщенная структура сети изображена на Рис.9.

Рис.9.

Особенностью сети является отсутствие как таковых входных сигналов. Выходные сигналы нейронов являются одновременно входными сигналами сети.

Уравнение, описывающее поведение такой нейронной сети имеет вид

. (6.16)

В процессе обучения на основе множества известных обучающих векторов рассчитывается множество матриц весовых коэффициентов . В процессе классификации, при фиксированной матрице весов , вводится идентифицируемой вектор . В результате функционирования нейронной сети в ней в соответствии с уравнением (6.16) возникает переходный процесс, завершающийся в аттракторе при достижении равенства

.

В сетях Хопфилда в качестве функции активации обычно берется функция типа signum

Развитием сети Хопфилда является двухслойная нейронная сеть, получившая название сети Хемминга. Структура сети представлена на Рис.10.

Рис.10.

Эта сеть минимизирует расстояние Хемминга между тестовым вектором, подаваемым на вход сети, и векторами обучающих выборок, закодированными в структуре сети. Отметим, что расстоянием Хемминга называется количество отличающихся битов в двух бинарных векторах.

Одним их важнейших направлений создания рекуррентных нейронных сетей являются рекуррентные сети на базе перцептрона. Рассмотрим такую нейронную сеть.

Это динамическая нейронная сеть, в которой имеет место запаздывание как входных, так и выходных сигналов.

Входной скалярный сигнал , пройдя через элементов задержки, поступает на вход нейронной сети в виде вектора

.

Выходной скалярный сигнал по цепи обратной связи, также пройдя через элементов задержки, поступает на вход нейронной сети в виде вектора

.

Будем предполагать, что в скрытом слое находится нейронов. Тогда нейронная сеть будет функционировать в соответствии со следующим выражением

. (6.17)

В этом выражении - матрица весовых коэффициентов скрытого слоя, - матрица весовых коэффициентов обратной связи, - вектор смещений нейронов скрытого слоя, - вектор весовых коэффициентов выходного слоя, - смещение нейрона выходного слоя, - функция активации, например сигмоидальная.

С помощью рекуррентной сети на базе перцептрона можно решить целый ряд задач, связанных с вопросами идентификации, цифровой фильтрации, управления и т.п.