Алгоритмы нечеткого нейронного и нейро-нечеткого управления в систем

вационная функция; Kп – коэффициент положительного модуля.

Рассмотрим разновидности функций активаций (рис. 2.5). Широко применяемой на практике является сигмоидная функция с насыщением и без смещения, которую предложил Мамдани:

f(x) 1 1e x .

Суменьшением параметра а сигмоид становится более пологим, в пределе при а= 0 вырождаясьвгоризонтальнуюлиниюнауровне0,5.

При увеличении а сигмоид приближается по внешнему виду к функции единичного скачкаспорогомТвточкех= 0.

Из формулы сигмоида очевидно, что выходное значение нейрона лежит в диапазоне [0,1]. Одно из ценных свойств сигмоидной функции – простое выражение для ее производной, применение которого будет рассмотрено в дальнейшем,

f (x) f (x) 1 f (x) .

Следует отметить, что сигмоидная функция дифференцируема на всей оси абсцисс, что широко используется во многих алгоритмах обучения. Кроме того, она обладает свойством усиливать слабые сигналы лучше, чем сильные, и предотвращает насыщение от сильных сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон. Другой широко используемой активационной функцией является гиперболический тангенс. В отличие от логистической функции гиперболический тангенс принимает значения различных знаков, что для ряда сетей оказывается выгодным.

Для смещенной симметричной функции с насыщением выражение имеет вид

91

Вслучае когда функция активации одна и та же для всех нейронов сети, сеть называют однородной (гомогенной). Если же активационная функция зависит еще от одного или нескольких параметров (значения, которые меняются от нейрона к нейрону), то сеть называют неоднородной (гетерогенной).

Говоря о возможной классификации ИНС, важно отметить существование бинарных и аналоговых сетей. Первые из них оперируют с двоичными сигналами, и выход каждого нейрона может принимать только два значения; логический ноль («заторможенное состояние») и логическая единица («возбужденное состояние»).

Ваналоговых сетях выходные значения нейронов способны принимать непрерывные значения. Еще одна классификация делит ИНС на синхронные и асинхронные ИНС. В первом случае в каждый момент времени свое состояние меняет лишь один нейрон. Во втором – состояние меняется сразу у целой группы нейронов, как правило, у всего слоя. Для программных имитаторов нейронных сетей на цифровых ЭВМ вопросы, связанные с синхронизацией, решаются компьютером, на котором реализуются ИНС. Рассмотренная простая модель искусственного нейрона существенно упрощает ряд свойств биологического двойника. Например, она не принимает во внимание задержки во времени, которые воздействуют на динамику системы. Входные сигналы сразу же порождают выходной сигнал и, что более важно, эта модель не учитывает воздействия синхронизирующей функции биологического нейрона, которую ряд исследователей считают решающей. Несмотря на эти ограничения, сети, построенные из этих нейронов, обнаруживают свойства, сильно напоминающие биологическую систему. Только время и дальнейшие исследования могут дать ответ на вопрос, являются ли подобные совпадения случайными или это следствие того, что в данной модели верно схвачены основные черты биологического нейрона.

Итак, мы дали описание основных элементов, из которых составляются нейронные сети. Перейдем теперь к вопросу, как составлять эти сети, как их конструировать. Строгих ограничений здесь нет. Как угодно. Лишь бы входы получали какие-нибудь сигналы. Возможности безграничны, но обычно используют несколько стандартных архитектур,

93

из которых при некоторых небольших модификациях строят большинство используемых сетей.

2.3.Теоремы Колмогорова–Арнольда

иХехт-Нильсена и их следствия

Построить многомерное отображение Х Y – это значит представить его с помощью математических операций над не более чем с двумя переменными [4]. Доказано следующее:

– непрерывные функции нескольких переменных можно представить суперпозициями непрерывных функций меньшего числа переменных (теорема 1);

– любую непрерывную функцию трех переменных можно представить в виде суммы функций не более двух переменных (теорема 2);

– любые непрерывные функции нескольких переменных можно представить в виде суперпозиций непрерывных функций одного переменного и сложения (терема 3).

Теорема была переложена для нейронных сетей в работах ХехтНильсена. Теорема доказывает представимость функций многих переменных общего вида с помощью двухслойной нейронной сети с n нейронами входного слоя, 2n 1 нейронами скрытого слоя с заранее из-

вестными ограниченными функциями активации (например, сигмоидальными) и m нейронами выходного слоя с неизвестными функциями активации.

Основанием для построения нейронов и ИНС явилась теорема существования, предложенная У.С. Мак-Каллоком и У. Питтсом (1943), и две конструктивных теоремы.

Теорема существования утверждает, что любую функцию нервной системы можно описать с помощью конечного числа слоев из искусственных нейронов, т.е. реализовать ИНС.

Первая конструктивная теорема говорит, что логические функции «И», «ИЛИ», «НЕ» можно вычислить с помощью двухслойной нейронной сети.

Вторая конструктивная теорема говорит, что любую логическую функцию относительно n бинарных элементов можно вычислить с помощью нейронной сети (которая использует в качестве компонентов элементы «И», «ИЛИ», «НЕ»).

94

2.4. Разновидности и классификация нейронных сетей

Нейрон есть элемент, выполняющий взвешенное суммирование значений координат входного вектора с последующим нелинейным / линейным преобразованием суммы. Входные сигналы x1… xn через блоки весовых коэффициентов wn (синапсы) подаются на сумматор вместе со смещающим сигналом x0. Результирующий сигнал r подается на вход активационной функции F, единственный выход которого в нейрофизиологии называют аксоном. Степень «интеллекта» одиночного нейрона очень незначительна. Ощутимый эффект в обработке данных может быть достигнут только использованием множества взаимодействующих между собой адаптивных нейронов. Нейроны группируются в нейронные слои и образуют искусственные нейронные сети (ИНС). ИНС индуцированы биологией, так как в некоторой степени соответствуют анатомии мозга, которому присущи [13]:

–массовый параллелизм, т.е. параллельная обработка информации одновременно всеми нейронами, что допускает обработку сигналов в реальном времени;

–способность к обучению и обобщению;

–адаптивность;

–толерантность (нечувствительность) к ошибкам;

–низкое энергопотребление.

Классификация стандартных нейронных сетей

Многослойные ИНС делятся на сети без обратной связи (ОС), ИНС с ОС и гибридные.

По типам структур нейронов ИНС делятся на однородные (гомогенные) и гетерогенные (неоднородные) структуры.

По выходному сигналу ИНС делятся на системы с бинарным и аналоговым выходами.

По времени срабатывания ИНС делятся: на синхронные и асинхронные системы.

В общем случае ИНС рассматривается как направленные графы сигналов, у которых узлами являются искусственные нейроны, а ветви – коэффициенты между узлами. По архитектуре связей ИНС разделяются на два класса:

–сети прямого действия, или статические сети;

–сети с обратными связями, или динамические сети.

95

Комплекты нейронов, разделенные на слои, образуют многослойную ИНС.

Многослойная ИНС состоит:

–из входного слоя (входные сигналы) с весовыми коэффициентами, устанавливаемыми с целью масштабирования входных величин;

–скрытых (промежуточных) слоев, определяемых эвристическим путем, исходя из объема области знаний и сложности задачи регулирования;

–выходного слоя.

Рассмотрим построение стандартных нейронных сетей на примере искусственных нейронов Мак-Каллока и Питтса, каждый из которых выполняет арифметические операции умножения и сложения.

Нейронные сети без обратных связей

Сети прямого распространения (Feedfoeward) применяются для распознавания образов, решения задачи предсказания временных рядов, финансовых рисков, адаптивного управления, цифровой обработки и сжатия сигналов и т.д. Многослойные нейронные сети способны с различной точностью аппроксимировать любую из существующих логических функций.

От архитектуры межнейронных связей зависит интеллект, класс решаемых задач, сложность технической реализации, принципы построения алгоритмов обучения и т.д. Одной из первых предложенных моделей структурной организации нейронной сети был персептрон Розенблатта, который представлял собой однослойную сеть, построенную из формальных нейронов. Все связи направлены строго от входных нейронов к выходным нейронам.

2.5. Алгоритмы обучения с учителем

Алгоритм обратного распространения ошибки

Обучение с помощью обратного распространения ошибки (ОРО) требует выполнения следующих действий [4, 12]:

–выбрать очередную обучающую пару обучающего множества и подать на вход сети;

–вычислить выход сети;

96

–вычислить разность между выходом сети и требуемым выходом (целевым вектором обучающей пары);

–подкорректироватьвесасети так, чтобыминимизировать ошибку;

–повторять предыдущие шаги для каждого обучающего вектора до тех пор, пока на всем множестве не достигнут приемлемый уровень.

Пример 2.1. Рассмотрим вариант НС, содержащий входной (распределительный) слой НС, который отражает вектор степеней принадлежностей терм фаззификатора по отклонению; 1 – соответствует терме ПМ; 2 – терме Н, 7 – терме ОМ и по скорости отклонения, 8 – соответствует терме ПМ, 9 – терме Н, 10 – терме ОМ. Внутренний слой НС состоит из нейронов 4 и 5 с обучаемым смещением, выходной слой – из нейрона 6 с обучаемым смещением. Обучение НС выполним методом ОРО. Примем целевое значение выхода НС: tj = 0,9. Условие сходимо-

сти 0,01. Начальные значения коэффициентов матриц НС принять в диапазоне от –0,3 до + 0,3, а скорость обучения НС 0, 25 (рис. 2.6).

0,1

0,0

d 0,2 dt

Рис. 2.6. Исходное состояние ИНС

97

Примем матрицу коэффициентов внутреннего слоя НС

0,1 0,10,2 0,1 0,1 0,3

w1 0,15 0,2 0,0 0,0 0,0 0,0 0,0 0,0 .

Примем матрицу коэффициентов выходного слоя НС

0,1

Х0,0,92 0,8 .

Рассмотрим порядок расчета текущей эпохи НС

1. Определяем выходы элементов скрытого и выходного слоев по формулам

net j xi wij ,

x 0

Oj 1 exp1 net j .

Для нейрона 4

98

net4 0,1 1 0,1 0, 2 0,9 0,1 0,17, O4 1 exp1 0,17 0,542.

Для нейрона 5

net5 0,1 1 0,9 0,3 0,1 0,1 0,36; O4 1 exp1 0,36 0,589.

Для нейрона 6

net6 0, 2 1 0,542 0, 2 0,589 0,3 0, 485, O6 1 exp 1 0, 485 0,619.

2. Проверяем разность между реальным и целевым выводами ИНС:

t j Oj 0,619 0,9 0,281, 0,01 0,281.

3. Определяем ошибку выходного нейрона 6 по формуле

j t j Oj Oj 1 Oj

или

6 к 0,9 0,619 [0,619 1 0,619 ] 0,066 .

4. Определяем ошибку нейронов 4 и 5 закрытого слоя по формуле

к 1 Ok Ok j wkj ,

где индекс k соответствует предыдущему слою при обратном движении

вИНС.

5.Для нейрона 4

4 1 0,542 0,542 0,066 0,2 0,003.

Для нейрона 5

99

5 1 0,589 0,589 0,066 0,3 0,005.

6. Определяем для всех слоев приращение значений весов каждого нейрона по формуле

wij jOj ,

где – коэффициент скорости обучения; = 0,01 – 1,0. Для нейрона 6

w46 0,25 0,066 0,542 0,009,

w56 0,25 0,066 0,589 0,01,w36 0,25 0,066 1 0,017 .

Для нейрона 4

w84 w94 w24 w14 0,25 0,003 0,542 0,0004 ,w34 0,25 0,005 1 0,00125.

Для нейрона 5

w95 w85 w25 w15 0,25 0,005 0,585 0,00073 ,w35 0,25 0,003 1 0,00075 .

7. Определяем значения коэффициентов каждого элемента ИНС для выполнения расчетов следующей эпохи по формуле

wiji wij wij .

Для нейрона 6

w146 w46 w46 0,3 0,01 0,31, w561 w56 w56 0,2 0,009 0,209 , w361 w36 w36 0,2 0,017 0,217 .

Для нейрона 4

100