41. Структура интеллектуальной системы управления.

42. Многослойная нейронная сеть. Многослойная нейронная сеть

Многослойная нейронная сеть включает в себя один или несколько скрытых слоев, нейроны которых называют скрытыми нейронами (рис. 1). Граф на рис. 6 изображает многослойную сеть с одним скрытым нейроном. Когда мы говорим, что сеть состоит из N слоев, мы учитываем лишь скрытые слои и выходной слой. Входной слой при этом не учитывается, т.к. его узлы не отражают никаких действий вычислительного характера. Однослойная нейронная сеть таким образом состоит из одного выходного слоя.

Рис. 6

Найдем математическую модель двухслойной сети, полагая, что в каждом слое используется одна и та же активационная функция (функция активации f) и что число входов n и число выходов m. Считаем, что скрытый слой содержит c нейронов. Для двухслойной нейронной сети, представленной на рис. 6, n=m=2, c=3.

В нейронах скрытого слоя, во-первых, вычисляется взвешенная сумма входных сигналов u₁ и u₂ , так что внутренний сигнал i-го нейрона этого слоя определяется как

. (4a)

Затем используется нелинейная активационная функция f, чтобы вычислить выходной сигнал i-го нейрона скрытого слоя

. (4b)

Заметим, что активационные функции вводят в нейронную сеть нелинейности и при этом придают ей устойчивость в работе.

Выходной сигнал активационной функции в общем случае проходит непосредственно на выход i-го нейрона (хотя имеются исключения, когда используется динамический фильтр), после чего он поступает на входы нейронов следующего слоя посредством весовых коэффициентов. Для двухслойной сети следующим слоем является выходной слой, так что внутренний сигнал j-го нейрона этого слоя определяется как

. (4c)

Затем с помощью активационной функции выходного слоя окончательно формируется выходной сигнал j-го нейрона, другими словами, j-й выходной сигнал нейронной сети

. (4d)

Несмотря на простоту рассмотренной структуры, эта модель нейронной сети весьма универсальна. Показано, что нейронная сеть с одним скрытым слоем, может аппроксимировать любую непрерывную функцию с любой степенью точности (если имеется достаточное число нейронов в скрытом слое). Следует сказать, что нейронная сеть с двумя скрытыми слоями может аппроксимировать всецело любую функцию.

Различают два режима работы нейронной схемы рабочий режим и режим обучения.

В рабочем режиме имеет место прямое распространение сигнала от входа к выходу. Хотя применяются нейронные сети с обратной связью, мы ограничимся лишь изучением многослойной сети с однонаправленным распространением входного сигнала (персептрона). В режиме обучения используется как прямое, так и обратное распространение сигнала, которое сводится к тому, что сигнал ошибки e=d-y=(e₁,…,e_m) между желаемым d=(d₁,…,d_m) и действительным y=(y₁,…,y_m) значениями выхода используется для подстройки весов и смещений выходного и скрытого слоев.

43. Нечеткое моделирование с помощью метода проб и ошибок.

44. Нейросетевое управление с адаптивной линеаризацией обратной связью.

45. Нечеткое моделирование на основе шаблонов.

46. Нейронные сети с радиальными базисными функциями. Структура и методы обучения.

47. Обучение нейронных сетей. Общие сведения.

4.5. Обучение нейронной сети

Большая часть прикладных задач, решаемых нейронной сетью, может быть сведена к реализации некоторого сложного многомерного преобразования. В результате отображения вектора входа u=(u_1, …,u_n) в вектор выхода y=(y₁,…,y_m) необходимо обеспечить формирование правильных выходных сигналов в соответствии:

• со всеми примерами обучающей выборки (образцовых данных);

• со всеми возможными входными сигналами, которые не вошли в обучающую выборку.

Второе требование в значительной степени усложняет задачу формирования обучающей выборки.

В общем виде эта задача в настоящее время еще не решена, однако во всех известных случаях может быть найдено частное решение. Очевидно, что процесс функционирования нейронной сети, сущность действий, которые она способна выполнять зависит от величин синаптических (весовых коэффициентов усиления) связей между нейронами сети. Поэтому, задавшись определенной структурой сети (количеством слоев и нейронов, числом входов и выходов), соответствующей поставленной задаче, необходимо найти оптимальные или приемлемые значения всех весовых коэффициентов.

Этот этап называется обучением нейронной сети и от того, насколько качественно он будет выполнен, зависит способность сети решать во время функционирования, поставленные перед ней проблемы.

В процессе работы нейронная сеть формирует выходной векторный сигнал y в соответствии с входным векторным сигналом u, реализуя некоторую функцию g:

y=g(u).

Если структура (архитектура) сети задана, то вид функции g определяется значениями весовых коэффициентов связей и смещений сети. Обозначим через G множество всех возможных функций g, соответствующих заданной структуре сети.

Пусть решение некоторой задачи есть функция r: d = r(u), заданная парами входных-выходных векторных данных (обучающей выборки), для которых

.

Здесь N число обучающих пар (выборок).

Пусть также задана функция ошибки (критерий качества, целевая функция) E как правило, сумма квадратов ошибки

, (5)

показывающая для каждой из допустимых функций g степень близости к r. Здесь

e_j,k=d_j^k-y_j^k

представляет собой ошибку (разность) между скалярными желаемым d_j^k и

действительным y_j^k выходами j –го нейрона выходного слоя нейросети для

обучающей пары векторов .

Решить поставленную задачу с помощью нейросети заданной структуры – это, значит, построить (синтезировать) функцию , подобрав параметры нейронов (весовые коэффициенты синаптических связей и смещения) таким образом, чтобы критерий качества (сумма квадратов ошибок по всем выборкам)

обращался в минимум для всех пар .

Уточнение весов может проводиться после предъявления каждой обучающей выборки (так называемый режим «онлайн») либо однократно после предъявления всех выборок, составляющих цикл обучения, другими словами, эпоху (режим «офлайн»). В дальнейшем изложении используется критерий качества обучения вида (5), которому соответствует оценка весов после предъявления каждой выборки.

Для упрощения можно считать, что цель обучения состоит в таком определении весовых коэффициентов нейронов каждого слоя сети, чтобы при заданном входном векторе получить на выходе значения сигналов y_j , совпадающие с требуемой точностью желаемыми значениями d_j при j=1,2,…,m.

Итак, задача обучения нейросети определяется совокупностью пяти компонентов:

<u,d,r,G,E>

Обучение состоит в поиске (синтезе) функции g , минимальной по E или по E_N. Оно требует длительных вычислений и представляет собой итерационную процедуру. Число итераций может составить от 10³ до 10⁸.

Рассмотрим один из самых распространенных алгоритмов обучения – алгоритм обратного распространения ошибки.

48. Пример использования генетических алгоритмов для функции приспособленности 1+sinA.

49. Синтез нечеткой обратной связи.

50. Генетические нечеткие системы.

51. Нечеткое моделирование. Определение атрибутов. Нормализация данных.

52. Синтез нейронных нечетких систем. Структура ANFIS.

Синтез нечетких нейронных сетей