МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ

ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

«САМАРСКИЙ ГОСУДАРСТВЕННЫЙ АЭРОКОСМИЧЕСКИЙ УНИВЕРСИТЕТ

ИМЕНИ АКАДЕМИКА С.П.КОРОЛЕВА

(НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ)» (СГАУ)

Факультет информатики

Кафедра программных систем и технологий

Отчет по лабораторной работе №2

по курсу

«Интеллектуальные системы»

Выполнил: студент группы 6413

Мартынов М.А

Проверил:

к.т.н., доцент Солдатова О. П.

САМАРА 2012

Задание №5

Цель работы. Целью данной лабораторной работы является демонстрация способности нейронной сети решать задачи прогнозирования. Сеть необходимо обучить прогнозированию на основе стохастических рядов и рядов реальных данных на 1-3 шага.

Используемая модель: гипер радиально-базисная сеть.

Задание. Данная лабораторная работа выполняется в несколько этапов:

1. Необходимо выбрать вид стохастического ряда (по одному из законов распределения случайной величины) и тип реальных данных. Примеры реальных данных приведены ниже.

2. Сгенерировать стохастический временной ряд размерностью от 100 до 300 отсчётов, найти реальные данные той же размерности (1 занятие).

3. Написать программу, имитирующую работу радиально-базисной сети и провести первичное обучение сети по одному из градиентных алгоритмов (наискорейшего спуска или наискорейшего спуска с моментом) с использованием метода обратного распространения ошибки.

4. Продемонстрировать работу радиально-базисной сети преподавателю (2 занятие).

5. Исследовать эффективность алгоритма обучения от значения коэффициента обучения.

6. Исследовать зависимость погрешности прогнозирования от способа разделения обучающей выборки на три части: обучающую, тестирующую, контрольную и от дальности прогноза.

7. Исследовать зависимость погрешности прогнозирования от числа нейронов в скрытом слое и от типа функции активации.

8. Составить отчёт, который должен содержать постановку задачи, обучающие выборки, результаты исследований по пунктам 5, 6 ,7 (3 занятие).

Предметная область:

Метеонаблюдения.

Структура гипер радиально-базисной сети

Гипер радиально-базисная сеть сходна по структуре с RBF-сетью, усиленной путем применения масштабирования входных сигналов. Если принять во внимание, что многомерная функция может иметь различный масштаб по каждой оси, с практической точки зрения оказывается полезным уточнить норму масштабирования путем ввода в определение эвклидовой метрики весовых коэффициентов в виде матрицы Q.

Масштабирующая матрица при N-мерном векторе x имеет вид:

При обозначении произведения матриц матрицей корреляции C в общем случае получим:

Так как будет использоваться функция Гаусса с центром в точке и масштабирующей взвешенной матрицы , связанной с i-й базисной функцией, получим обобщенную форму функции Гаусса:

(4.34),

где матрица играет роль скалярного коэффициента стандартной многомерной функции Гаусса, заданной выражением (4.5).

В нашем случае возьмем диагональную матрицу Q.

Структура HRBF-сети с одним выходом представлена на рисунке 1.

Рис. 1 Детальная структура радиальной сети HRBF с произвольной масштабирующей матрицей Q

Обучение сети

Для обучения сети был использован метод обратного распространения ошибки, который относится к классу градиентных алгоритмов обучения с учителем.

Их основу составляет целевая функция, которая для одного обучающего примера имеет вид:

Для нахождения вектора градиента по всем параметрам сети применялась формула:

Тогда аналитические выражения для частных производных описывается, как:

где

i- индекс нейрона скрытого слоя, i=1,2,…,K;

j- индекс компонента входного вектора x, j=1,2,…,N;

r- индекс переменной в компоненте входного вектора , r=1,2,…,N;

– элементы масштабирующей матрицы Q.

При использовании метода наискорейшего спуска формулы для корректировки параметров гипер радиально-базисной сети примут следующий вид:

;;.