Методическое пособие 314

31

Если блок f сужает диапазон изменения величины у так, что при любых значениях s значения у принадлежат конечному интервалу, то f называется сужающей функцией. Пороговая, знаковая, полулинейная с насыщением, сигмоидальная (логистическая) и сигмоидальная (гиперболический тангенс) функции являются сужающими.

Одной из распространенных является нелинейная функция с насыщением – логистическая функция, или сигмоид (то есть функция S-образного вида):

Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне [0, 1]. Одно из ценных свойств сигмоидальной функции – простое выражение для ее производной:

которое используется в некоторых алгоритмах обучения. Кроме того, данная функция обладает свойством «усиливать» слабые сигналы лучше, чем большие, и предотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон.

2.1.3. Классификация нейронных сетей

На основе единичных нейронов строятся нейронные сети, которые по своей архитектуре разделяются на полносвязные, слоистые (многослойные) и слабосвязные (рис. 2.2).

Вполносвязных сетях все нейроны связаны между со-

бой (рис. 2.2, а).

Вмногослойных сетях нейроны располагаются отдельными слоями, и передача сигналов выполняется последовательно от слоя к слою (рис. 2.2, б). Все слои нумеруются, обычно начиная с 0. Нулевой слой называется входным, последний – выходным, остальные – скрытыми или решающими слоями.

32

Поскольку сигналы в такой сети распространяются строго в одном направлении, то они называются сетями прямого распространения [6].

В слабосвязных сетях устанавливаются отдельные связи между нейронами (рис. 2.2, в).

Рис. 2.2. Основные структуры нейронных сетей: а) полносвязные сети; б) многослойные сети; в) слабосвязные сети

Нейронные сети классифицируются также по другим признакам. Если в сетях используются нейроны с одинаковыми функциями активации, то называются гомогенными (однородными по составу). В противном случае сети называются гетерогенными (разнородными по составу).

Сети, которые обрабатывают аналоговые сигналы, называются аналоговыми, сети для обработки цифровой информации – бинарными.

Нейроны в сети возбуждаются в определенные временные такты. Если каждый нейрон имеет собственное время возбуждения, то сеть называется асинхронной. Если нейроны в сети тактируются по группам, то сеть называется синхронной. В частности, в многослойных сетях тактирование выполняется по слоям.

33

2.1.4.Области применения нейронных сетей

1.Распознавание образов. При этой операции нейронная сеть должна из набора входных данных сделать вывод о принадлежности этого набора конкретному объекту. Соответственно такая сеть должна иметь число входов, равное разрядности представления входной информации и число выходов, равное количеству объектов.

2.Кластеризация. Эта операция заключается в разбиении области признаков на отдельные подмножества – классы со схожими признаками (кластеры). Сети для этой цели не обучаются по образцам. Для них применяются алгоритмы самообучения (обучение без учителя). При работе такой сети набор входных данных, находящихся в определенном диапазоне, вызывает одинаковые состояния выходов сети. Набор данных из другого диапазона приводит сеть в другое, отличное от первого состояние и т. д.

3.Использование сетей в задачах управления. Цель такого использования – на основании входной информации сформулировать управляющие воздействия для объекта. Такие сети могут обучаться на основании образцов, а могут быть необучаемыми, реализующими выбор решения в силу своей архитектуры.

В большинстве своем нейронные сети обучаются с использованием образцов. При обучении для каждого образца выбирается выходное состояние сети, и далее в процессе обучения параметры сети подстраиваются таким образом, чтобы на ее выходах при заданном образце получилось выбранное значение с некоторой погрешностью.

Настройка сети под образец выполняется изменением синоптических весов. Для следующего образца процесс обучения аналогичен. После каждого переобучения сеть проверяется на правильность работы по ранее проведенным циклам обучения.

34

2.2.Персептроны

2.2.1.Однослойный персептрон

персептронами. Они состоят из слоя искусственных нейронов, соединенных с помощью синапсов со множеством входов. Персептрон – математическая модель процесса восприятия.

35

Все весовые коэффициенты синапсов одного слоя нейронов можно свести в матрицу W, в которой каждый элемент wij задает величину i-й синоптической связи j-го нейрона. Таким образом, процесс, происходящий в нейронной сети, может быть записан в матричной форме:

где X и Y – соответственно, входной и выходной сигнальные векторы (здесь и далее под вектором понимается вектор-строка); f(S) – активационная функция, применяемая поэлементно

к компонентам вектора S.

2.2.2. Двухслойный, многослойный персептрон

На рис. 2.5 представлен двухслойный персептрон, полученный из персептрона, изображенного на рис. 2.4, путем добавления второго слоя, состоящего из двух нейронов.

Рис. 2.5. Двухслойный персептрон [9]

Необходимо отметить важную роль нелинейности активационной функции. Если бы она не обладала данным свойством, результат функционирования любой Q-слойной нейронной сети с весовыми матрицами W(q) для каждого слоя

36

q =1...Q сводился бы к перемножению входного вектора сигналов X на матрицу:

Фактически такая Q-слойная нейронная сеть эквивалентна сети с одним скрытым слоем и с весовой матрицей единственного слоя W( ):

2.2.3. Разбиение гиперпространства гиперплоскостями

Работа персептрона сводится к классификации (обобщению) входных сигналов, принадлежащих n-мерному гиперпространству, по некоторому числу классов. С математической точки зрения это происходит путем разбиения гиперпространства гиперплоскостями.

Одновходовый персептрон позволяет разделить одномерное пространство признаков на две области. Граница раздела области признаков задается величиной порога актива-

Для того, чтобы в одномерном пространстве выделить внутреннюю область (рис. 2.6, а), нужно использовать два персептрона П1 и П2 (рис. 2.6, б), каждый из которых задает свою границу разделения пространства.

Рис. 2.6. Пример построения границ разделов в одномерном пространстве признаков

37

Для случая однослойного персептрона

Каждая полученная область является областью определения отдельного класса. Число таких классов для персептрона не превышает 2n, где п – число его входов.

Однослойный персептрон, состоящий из одного нейрона с двумя входами, способен разделить плоскость (двумерное гиперпространство) на две полуплоскости.

Уравнение границы раздела для этого случая

С увеличением размерности пространства (увеличением количества входов) персептронная сеть конструируется по принципу: все входы соединяются со всеми входами персептронов решающего (скрытого) слоя.

признаков разделяется на две области с границей раздела более сложной конфигурации. Если в решающий слой добавить третий персептрон, то организуется третья граница раздела, которая в сочетании с первыми двумя может организовать замкнутую область (рис. 2.8).

Если взять n-мерное пространство, то персептронная сеть, имеющая n входов, разделяет это пространство гиперповерхностями соответствующей размерности. В частности, для трехмерного пространства границы выделяемых областей – гипершары.

38

7. Определяется новое состояние Y;

Определяется погрешность состояния . Если она не превышает некоторой установленной границы, то обучение заканчивается, если же превышает, то повторяется цикл коррекции весов.

2.3.Разновидности и применение нейронных сетей

2.3.1.Сеть Хопфилда

формулируется следующим образом. Известен некоторый набор двоичных сигналов (изображений, звуковых оцифровок, прочих данных, описывающих некие объекты или характеристики процессов), которые считаются образцовыми. Сеть должна уметь из произвольного неидеального сигнала, поданного на его вход, выделить («вспомнить» по частичной информации) соответствующий образец (если такой есть) или «дать заключение» о том, что входные данные не соответствуют ни одному из образцов. В общем случае любой сигнал

40