П1.3. Обучение методами спуска
Процедура обучения исправлению ошибок представляет собой всего лишь концепцию. Данная процедура состоит в следующем: в течение обучения входная информация поступает в сеть, где по возможным путям проходит преобразование, выдавая множество выходных значений.
Далее полученные экспериментально выходные значения сравниваются с теоретическими значениями и вычисляется несоответствие. Если экспериментальные и теоретические значения совпадают, то параметры сети не изменяются. Однако если эти значения расходятся, необходимо произвести изменения соединений в соответствии с полученным несоответствием.
Пусть функция: R-R дифференцируемая, всегда возрастает в направлении своей производной и убывает в противоположном направлении.
В методе спуска для минимизации функции следующий шаг Wт+l должен удовлетворять условию:
То есть значение функции в точке Wт+l должно быть меньше значения функции на предыдущем шаге W.
В процедуре обучения исправлению ошибок на каждой итерации метода спуска рассчитывается направление спуска (противоположное направление производной) от точки W, следовательно, при достаточно малых п > 0 должно выполняться неравенство:
Пусть функция/: R" — R вещественная.
В методе спуска последующая итерация w"+1 должна удовлетворять условию:
То есть значение функции в точке w меньше, чем ее значение в предыдущем приближении W.
На каждой итерации метода спуска рассчитывается направление спуска в точке W (направление, противоположное направлению производной), это означает, что при достаточно малых tj > 0 должно выполняться неравенство
УПРАЖНЕНИЕ 1. Минимизировать функцию ошибки, заданную формулой:
Найти аналитически вектор градиента:
Найти аналитически вектор весовых коэффициентов, который минимизируй функцию ошибок так, что E'(w) = 0.
Применить метод наискорейшего спуска для минимизации функции Е.
РЕШЕНИЕ 1. Вектор градиента функции Е
и единственное решение уравнения:
Метод наискорейшего спуска для минимизации функции Е:
П1.4. Нечеткие схемы рассуждений
Пусть экспертная система на основе продукционных правил имеет вид:
где At и Bj — нечеткие множества, i = 1,..., п.
Процедура получения нечеткой выходной информации такой базы знаний включает следующие три этапа:
-
найти границы применения каждого правила;
-
найти выходные параметры каждого правила;
-
объединить отдельные выходные параметры правил для получения полной выходной информации системы.
Суджено и Такаги используют следующие правила:
Границы применения правил вычисляются по формулам:
затем выходная информация каждого отдельного правила выводится из отношения (см. рис. П1.6):
действие четкого управления выражается как:
ПРИМЕР 1. Проиллюстрируем метод рассуждений Sugeno на следующем примере:
где функции принадлежности SMALL и BIG определяются так:
Предположим, что имеются следующие входные параметры Хо = 3 и уо =3 Каковы будут при этом выходные параметры системы?
Граница применения первого правила:
а, = min{SMALL(3), BIG(3)} = min{0,5, 0,5} =0,5, характерный выходной параметр первого правила:
Oi =х0-уо= 3-3 = 0. Граница применения второго правила:
а, = min{BIG(3), SMALL(3)} = min{0,5, 0,5} = 0,5, характерный выходной параметр второго правила:
о2 = х0+уо='3 + 3 = 6.
Граница применения третьего правила:
а, = min{BIG(3), BIG(3)} = min{0,5, 0,5} = 0,5, характерный выходной параметр третьего правила:
Гибридная нейронная сеть, по вычислительным алгоритмам идентичная механизму Суджено, отражена на рис. П.7.
Рис. П1.7. Гибридная нейронная сеть
Для простоты будем учитывать только два правила и два лингвистических значения для каждого входного параметра.
Уровень 1. Выходной параметр узла представляет собой степень соответствия данного входного параметра лингвистической метке, связанной с этим узлом. Обычно выбираются колоколообразные функции принадлежности:
определяющие лингвистические термины, где {ai1, ai2, b i1 b i2 } — -множествово параметров.
По мере изменения значений этих параметров соответственно меня» колоколообразные функции, принимая таким образом, различные форт функций принадлежности для лингвистических меток А, и В.
На самом деле, любые такие непрерывные функции принадлежности, трапециевидные и треугольные, также являются квантифицируемыми вариантами узловых функций данного уровня. Параметры этого уровня носятся к исходным параметрам
Уровень 2. Для каждого узла вычисляется мощность действия соответствующего правила:
Оба узла данного уровня имеют метку Т, потому что можно выбрать другие нормы для моделирования логического оператора и. Узлы этого уровня называются узлами правил.
Уровень 3. Каждый узел данного уровня имеет метку N, указывая на нормированность границ применения правил.
Выходная информация вершины нейрона нормализует (при этом осуществляется операция сложения и нормализации нормированности границ) границу применения первого правила:
Уровень 4. Выходная информация вершины нейрона является результатом нормированной границы применения и отдельного выходного п: метра первого правила:
Уровень 5. Для отдельного узла данного уровня рассчитывается полная выходная информация как сумма всех входных сигналов, т. е.:
то параметры гибридной нейронной системы (которая определяет форму функций принадлежности исходных условий) могут быть изучены с помощью метода спуска.
Внимание! Данная архитектура и процедура обучения называются ANFIS (нечеткая интерфейсная система на основе адаптивной сети Jang).
Функция ошибок для модели к может быть задана следующим образом
где у — желаемый результат, а о'— экспериментальное значение, полученное при расчете гибридной нейронной сети.
Имеем упрощенную нечеткую схему рассуждений; если характерная выходная информация правил задана crisp-числами, то можно использовать их весовую сумму (где веса представляют собой firing-мощность соответствующих правил) для определения полной выходной информации системы:
где A — нечеткие множества.
Получаем значение z0 из начального содержания базы данных {иь и2} и из базы правил нечеткой логики, используя упрощенную нечеткую схему рассуждений как среднее из выходной информации отдельно взятых правил:
