9

Лабораторная работа №1

ИССЛЕДОВАНИЕ МНОГОСЛОЙНОГО ПЕРСЕПТРОНА

С ОБУЧЕНИЕМ ВР-АЛГОРИТМОМ

Занятие 3

Тестирование нейронной сети

Оптимизация структуры многослойного персептрона

1. Цель работы

Изучение режима функционирования нейронной сети (НС), определение качества обобщения сети по тестовой выборке. Изучение принципов построения оптимальной структуры многослойного персептрона (МСП) для заданного класса задач. Изучение влияния модели нейрона на качество обучения нейронной сети. В результате выполнения работы студент знакомится с режимом функционирования НС, на основе полученных экспериментальных данных обучается определять оптимальную по нескольким параметрам структуру МСП, оценивать экспериментальные зависимости.

2. Задание

2.1. Сформировать множество входных данных для определения качества обобщения НС – тестовое множество (ТМ).

2.2. Протестировать нейронную сеть в режиме функционирования на тестовом множестве. Оценить качество обобщения НС.

2.3. Исследовать зависимость времени и качества обучения МСП от параметров структуры нейронной сети.

2.4. На основе полученных экспериментальных зависимостей определить оптимальную конфигурацию МСП.

2.5. Построить оптимальную структуру МСП и обучить ее. Оценить качество обучения НС.

2.6. Сравнить полученные результаты с результатами обучения исходной нейронной сети (построенной в лабораторной работе 2.2).

2.7. Протестировать оптимальную нейронную сеть в режиме функционирования на тестовом множестве. Оценить качество обобщения оптимальной НС.

2.8. Сравнить полученные результаты с результатами тестирования исходной нейронной сети (построенной в лабораторной работе 2.2).

3. Рабочее место

Работы выполняются на ПЭВМ. При выполнении работы используется программа NeuroPro 0.25.

4. Теоретическая часть

4.1. Тестирование многослойного персептрона

Качество обобщения данных нейронной сетью можно определить, наблюдая за величиной ошибки, вычисленной на тестовом множестве. Пусть существует множество данных, подчиняющихся правилу R. Тогда при обучении НС на данных из этого множества возникает задача разделения данного множества на обучающее L, тестовое V и проверочное G подмножества. Пример разделения приведен на рис. 1.

Элементы L и G должны быть типичными элементами множества R. Способность отображения сетью элементов L является показателем ее обученности и характеризуется ошибкой (погрешностью) обучения. Способность распознавания данных подмножества G показывает ее возможности обобщения знаний и описывается ошибкой (погрешностью) обобщения. Для верификации качества обучения НС в составе L выделяется определенное подмножество контрольных (тестовых) данных V.

Тестовое множество составляется чаще всего на основе обучающего множества. Его мощность составляет от 20% до 50% от обучающего множества.

Тестирование НС выполняется в нейроэмитаторе на тестовом множестве в режиме тестирования (без обучения). По результатам тестирования вычисляется ошибка обобщения для проведения сравнения с результатами обучения сети.

4.2. Оптимизации мсп

Результаты тестирования исходной сети, как правило, оказываются не удовлетворительными. Необходимо наилучшим образом подобрать параметры сети. Это достигается в процессе ее оптимизации.

Для решения какой-либо задачи с применением НС нужно, прежде всего, создать структуру сети, адекватную поставленной задаче (аналогично составлению соответствующей программы для универсальной ЭВМ). Это предполагает выбор количества слоев НС и числа нейронов в каждом слое, а также задание параметров модели нейрона и алгорима обучения сети.

Количество точек ветвления на входе сети определяется размерностью N входного вектора А_i , количество нейронов выходного слоя – размерностью M ожидаемого (целевого) вектора D_i. Определение минимального числа скрытых слоев основано на использовании свойств аппроксимирующих функций.

Для непрерывного преобразования XY достаточно иметь один скрытый слой с K=(2N + 1) нейронами, в случае дискретного преобразования необходимое число скрытых слоев возрастает до двух. В практических реализациях ИНС как количество скрытых слоев, так и число нейронов в них могут отличаться от теоретически предлагаемых. За немногими исключениями, чаще всего используются НС, имеющие один (максимум – 2) скрытый слой, в котором от N до 3N нейронов.

Определение оптимального числа нейронов основано на способности НС обобщению полученных знаний, то есть выдаче правильных результатов при подаче на ее вход данных, не входящих непосредственно в обучающую выборку.

При обучении НС оказывается, что количество весов T_w сети (число степеней свободы) и число примеров из обучающей выборки р тесно связаны. Например, если бы целью обучения НС было только запоминание входных векторов А_i, тогда достаточно было бы p=T_w. Однако такая сеть не будет обладать свойством обобщения и сможет только восстанавливать данные. Для обретения обобщающих свойств НС необходимо выполнение p > Tw, чтобы веса сети адаптировались не к уникальным выборкам, а к их статистически усредненным совокупностям.

Наглядная графическая иллюстрация способности НС к обобщению показана на рисунке 2 на примере аппроксимации одномерной функции двухслойной НС. При избыточном числе нейронов и весов проявляется эффект гиперразмерности НС (или переобучения), когда минимизация ошибки обучения на относительно малом числе обучающих примеров провоцирует случайный характер значений многих весов, что при переходе к тестовым векторам обусловило значительное отклонение фактических значений Y_i от ожидаемых D_i (рис. 2, а). Уменьшение количества скрытых нейронов до оптимального значения (рис. 2, б) обеспечивает и малую погрешность обучения, и высокую степень обобщения. Дальнейшее уменьшение К привело к потере НС способности восстанавливать обучающие данные (рис. 2, в).

Методика оптимизации МСП

Параметров, по которым можно проводить оптимизацию МСП очень много. Сюда относятся не только параметры структуры сети, но также параметры формального нейрона, алгоритма обучения, алгоритмов пред и пост обработки обучающей выборки. В данной работе предлагается учитывать при оптимизации следующие параметры структуры МСП и формального нейрона:

 количество слоев нейронной сети;

 число нейронов в скрытых слоях (для каждого слоя);

 характеристику активационной функции с для каждого слоя (диапазон изменения параметра с – от 0,01 до 1.).

Оптимизацию следует проводить комплексно. При этом необходимо последовательно фиксировать параметры оптимизации, исследуя все возможные их комбинации. Результаты экспериментов удобнее сводить в единую таблицу (см. табл. 1).

Порядок фиксирования параметров следующий: 1) количество слоев сети, 2) количество нейронов в каждом слое, 3) характеристика активационной функции с. Текущие значения параметров оптимизации образуют комплексный показатель (х_i). Исследование начинают с однослойной сети, где число нейронов определяется длиной целевого вектора (n)

В результате необходимо построить три графика:

- первый – зависимость  количества правильно решенных примеров от комплексного показателя;

- второй – зависимость времени обучения от комплексного показателя;

- третий – зависимость количества циклов обучения от комплексного показателя.

Значение количества циклов обучения используют для обоснования выбора равнозначных экстремумов. Если обучение сети происходит меньше, чем за 1 минуту, то зависимость времени обучения от комплексного показателя исследовать нет необходимости.

После проведения экспериментов с однослойной сетью по графикам определяется оптимальное значение характеристики активационной функции с для данного слоя. При исследовании 2-х слойной сети этот показатель фиксируется (для последнего слоя) и т.д. Если наблюдается тенденция нахождения экстремума характеристики с в более узком, чем предлагаемый диапазон значений (0,01-1), то можно существенно сократить количество опытов.

Таблица 1

количество слоев	число нейронов	хар-ка активационной функции с (для нейронов первого слоя)	комплексный показатель
1	n	0,01	х1
		0,05	х2
		0,2	х3
		0,3	х4
		0,4	х5
		0,5	х6
		0,6	х7
		0,7	х8
		0,8	х9
		0,9	х10
		1	х11
2	1/n	0,01	х12
		0,05	х13
		0,2	х14
		0,3	х15
		0,4	х16
		0,5	х17
		0,6	х18
		0,7	х19
		0,8	х20
		0,9	х21
		1	х22
	2/n	0,01	х23
		0,05	х24
		0,2	х25
		0,3	х26
		0,4	х27
		0,5	х28
		0,6	х29
		0,7	х30
		0,8	х31
		0,9	х32
		1	х33
…	…	…	…	…

После определения оптимальной конфигурации НС на каждом шаге выполняется тестирование НС для вычисления ошибки обобщения и определения направления оптимизации.