
- •Содержание
- •3.2. Многослойный персептрон 34
- •12.1. Обоснование выбора темы и области применения разработки 142
- •12.2. Оценка ожидаемой экономической целесообразности разработки, изготовления и использования проектируемой системы 144
- •12.3. Выводы 151
- •7. Работа с сетью Кохонена. 170
- •Введение
- •Глава 1. Введение в искусственные нейронные сети
- •1.1. Проблемы, решаемые в контексте инс
- •1.2. Краткий исторический обзор
- •1.3. Модель технического нейрона
- •Математическая модель нейрона:
- •1.4. Архитектура нейронной сети
- •1.5. Обучение нейронных сетей
- •1.6. Многослойные сети прямого распространения
- •1.6.1. Многослойный персептрон
- •1.6.3. Нерешенные проблемы
- •1.7. Самоорганизующиеся карты Кохонена
- •1.8. Модели теории адаптивного резонанса
- •1.9. Сеть Хопфилда
- •1.9.1 Ассоциативная память
- •1.9.2. Минимизация энергии
- •Глава 2. Основные функциональные возможности программ моделирования нейронных сетей
- •2.1. Формирование (создание) нейронной сети.
- •2.2. Обучение нейронной сети
- •2.3. Имитация функционирования (тестирование) обученной нейронной сети
- •Глава 3. Персептроны
- •3.1. Однослойный персептрон
- •3.2. Многослойный персептрон
- •3.2.1. Архитектура сети
- •3.2.2. Алгоритм обратного распространения
- •3.2.3. Модификации алгоритма обратного распространения и rprop-алгоритма
- •3.3. Применение многослойных персептронов
- •3.3.1. Решение конкретных задач
- •3.3.2. Естественные координаты
- •3.3.3. Репликативные нейронные сети
- •3.3.4. Практическое использование репликативных нейронных сетей
- •Глава 4. Сети Кохонена
- •4.1. Основной принцип работы сети Кохонена
- •4.2. Сходимость алгоритма самообучения
- •Глава 5. Сети радиальных базисных функций
- •5.1. Архитектура сетей
- •5.2. Интерполяция при помощи центральных функций
- •5.3. Интерполяция с помощью центральных функций и полиномов
- •5.4. Аппроксимация с помощью центральных функций
- •5.5. Вариационное исчисление для решения проблемы аппроксимации с помощью rbf-сетей
- •5.6. Расширение на случай многих функций
- •5.7. Расширение линейной частью
- •5.9. Итеративное дополнительное обучение rbf- и hbf-сетей
- •5.10. Выбор центров и радиусов в rbf-сетях
- •5.10.1. Итеративный алгоритм кластеризации
- •5.10.2. Выбор параметра
- •5.10.3. Расчет выходной весовой матрицы c
- •Глава 6. Нейронные сети и генетические алгоритмы
- •6.1. Эволюция как способ оптимизации.
- •6.2 Генетические алгоритмы
- •6.3. Нейро-генетические способы
- •Глава 7. Система моделирования нейронных сетей Trajan 2.0
- •7.1. Создание сети и обучающей последовательности
- •7.1.1. Создание сети
- •7.1.2. Количество и размерность слоев в сети
- •7.1.3. Создание обучающей последовательности
- •7.1.4. Редактирование набора образцов
- •7.2. Обучение сети
- •7.2.1. Типы сетей
- •7.2.2. Создание обучающей и проверочной последовательностей образов
- •7.2.3. Создание сокращенной обучающей последовательности
- •7.2.4. Визуализация процесса обучения
- •7.2.5. Оптимизация процесса обучения
- •7.2.6. Обучение с перекрестной проверкой
- •7.3. Работа с сетью
- •7.3.1. Возможности сети по работе с образцами
- •7.3.2. Интерпретация классификации
- •7.3.3. Работа с сетью Кохонена.
- •7.4. Генетический алгоритм выбора входных атрибутов
- •7.5. Сохранение результатов работы
- •Глава 8. Экспериментальное исследование эффективности применения нейронных сетей
- •Глава 9. Методика представления, архивирования и обработки обучающей последовательности для алгоритмов обучения нейросетей
- •Глава 10. Возможности использования среды www для дистанционного обучения
- •Глава 11. Создание программ для среды www
- •Глава 12. Технико-экономический анализ и обоснование разработки адаптивного обучающего и контролирующего курсов по нейросетям
- •12.1. Обоснование выбора темы и области применения разработки
- •12.2. Оценка ожидаемой экономической целесообразности разработки, изготовления и использования проектируемой системы
- •12.2.1. Расчет затрат на разрабоку и изготовление предлагаемого курса
- •12.2.2. Расчет экономического эффекта от создания и использования обучающего курса
- •12.3. Выводы
- •Глава 13. Обучение контролирующей системы
- •Глава 14. Дистанционный обучающий и контролирующий курс
- •Содержание обучающего курса
- •Заключение
- •Литература
- •Приложение 1. Лабораторная работа «Кластеризация образов с помощью системы моделирования нейросетей Trajan 2.1»
- •1. Цель работы
- •2. Знания и умения, формируемые данной лабораторной работой
- •3. Постановка задачи
- •4. Принципиальные особенности сетей Кохонена.
- •5. Создание сети Кохонена
- •6. Обучение сети Кохонена
- •7. Работа с сетью Кохонена.
- •8. Задание
- •9. Контрольные вопросы
- •Приложение 2. Вопросы контролирующего курса.
- •Приложение 3. Обучающие последовательности для контролирующей системы
- •Приложение 4. Листинг контролирующей программы.
5.3. Интерполяция с помощью центральных функций и полиномов
В общем случае при интерполяции с помощью RBF-сетей в представлении искомой функции f учитываются дополнительно полиномы p(x). Соответственно общая форма представления функции f имеет вид:
N m
f (X) = ci hi (|| X - Xi ||) + di pi (X), m n 14)
i=1 i=1
Полиномы pi образуют при этом пространство полиномов k-1(Rn) из Rn в R с максимальной степенью k-1, причем значение k задается. Для определенных центральных функций это дополнение полиномами является необходимым для решения проблемы интерполяции. Кроме того, введение полиномов способствует дополнительному сглаживанию функции f, т.е. таким способом могут быть существенно уменьшены колебания функции между опорными точками, следует однако учитывать, что это не относится к RBF-сетям, в которых в качестве центральных функций используются функции Гаусса. При этом можно показать, что проблема интерполяции разрешима и без циклических полиномов.
В общем случае для решения проблемы интерполяции необходимо определить коэффициенты ci и di, т.е. N+m неизвестных. Условия интерполяции
f(Xj) = yj, j = 1, 2, … , N
образуют первые N уравнений для определения параметров ci и di
N m
ci hi (|| Xj - Xi ||) + di pi (Xj) = yj, j = 1, 2, … , N (15)
i=1 i=1
Остальные m условий могут быть выбраны свободно. Для упрощения вычислений однако 2-е слагаемое в (15) обычно полагается равным нулю.
На основе теории аппроксимации можно утверждать, что система уравнений (15) имеет решение, если функции hi положительно определены и имеют порядок k в Rn.
Для более простой системы из N уравнений (9) центральные функции hi положительно определены, а, следовательно, система уравнений разрешима. Приведем примеры классов допустимых центральных функций:
h (z) = exp (- (z/)2 )
h (z) = 1 / (c2 + z2) , > 0 (16)
______
h (z) = z2 + c2
До сих пор рассматривалось решение задачи интерполяции, когда искомая функция f(X) должна пройти точно через опорные точки. Она может быть решена с помощью RBF-сети с радиальными базисными функциями без дополнительных полиномов (рис. 1), содержащей входной слой, один скрытый слой и один входной нейрон.
Однако этим сетям присущ ряд недостатков:
График функции между опорными точками может содержать большие колебания, хотя условия интерполяции выполнены. Этот эффект может усиливаться при дополнительном использовании полиномов;
Точная интерполяция при обычно зашумленных (искаженных) результатах измерения не имеет особого смысла. Вместо точной интерполяции более обоснована аппроксимация неизвестной функции с помощью гладкой функции.
Порядок линейной системы уравнений пропорционален числу N применяемых опорных точек (образов обучающей последовательности). Размерность скрытого слоя соответствующей RBF-сети, которая идентична числу образов обучающей последовательности, также увеличивается при использовании каждого нового образа. Желательно однако, чтобы размер сети и затраты на решение линейной системы уравнений были бы по возможности независимы от числа образов или длины обучающей последовательности.
Эти требования фиксированного размера сети приводит к первому расширению RBF-сетей - так называемым обобщенным RBF-сетям (generalized radial basis function networks). С математической точки зрения мы сталкивается при этом не с задачей интерполяции, а с задачей аппроксимации. При этом не требуется, чтобы искомая функция f проходила через все опорные точки. Необходимо лишь минимизировать суммарную ошибку по всем опорным точкам при выполнении некоторых условий гладкости аппроксимирующей функции.