4.3. Оценка качества обучения нейронной сети

Ошибка обучения является средним показателем качества обучения. Поэтому только по значениям средней и максимальной ошибки невозможно оценить, на каких классах сеть обучается лучше, а на каких хуже. Для более точной оценки качества обучения можно использовать гистограмму распределения вероятностей относительной ошибки предсказания сети. Она строится для каждого класса (образа) отдельно. Гистограмма показывает распределение относительной ошибки в заданных диапазонах (классах). Конкретные значения диапазонов и их количество выбираются исходя из специфики задачи. При выполнении данной лабораторной работы рекомендуется использовать следующие диапазоны для значений вероятностей:

I - ошибка меньше 0,001%;

II - ошибка в пределах 0,001%-0,01%;

III - ошибка в пределах 0,01%-0,1%;

IV - ошибка в пределах 0,1%-1%;

V - ошибка в пределах 1%-5%;

VI - ошибка в пределах 5%-10%;

VII - ошибка в пределах 10%-30%;

VIII - ошибка в пределах 30%-50%;

IX - ошибка в пределах 50%-100%;

Относительная ошибка рассчитывается, учитывая способ интерпретации целевого вектора, т.е. его формат:

метод вероятностей		ошибка рассчитывается только для ненулевых элементов целевого вектора Di
метод номеров классов (образов)		M – число классов (образов)
метод корректных образов		k – число несовпадений целевого вектора и выходного вектора; m – длина целевого вектора. Рассчитывается расстояние Хемминга
метод знаковой интерпретации		k – число несовпадений целевого вектора и выходного вектора; m – длина целевого вектора. Рассчитывается расстояние Хемминга
метод значений

5. Порядок выполнения работы

5.1. Изучить теоретически материал по основам построения структуры многослойного персептрона.

5.2. С помощью программы-эмулятора НС NeuroPro 0.25 определить значимость входной информации в подготовленной на предыдущем занятии обучающей выборке (кроме обучающих выборок для распознавания образов). Результаты оформить в виде таблицы и гистограммы. Сделать вывод о качестве подготовки обучающего множества. На данном занятии в качестве компонент вектора входных значений НС выбрать все параметры из обучающего множества вне зависимости от значимости входной информации.

5.3. Сформировать структуру многослойного персептрона. Значение характеристики с активационной функции на данном этапе следует выбрать 0,1. Тип значений полей в векторах обучающей выборки целесообразнее устанавливать количественный (непрерывный) с точностью не больше 0,1. Для задач распознавания образов с методом интерпретации целевого вектора "метод корректных образов" тип значений выходного поля можно установить качественный (дискретный). При этом надежность должна быть не больше 0,001.

5.4. Установить параметры обучения НС и произвести обучение МСП. При этом момент окончания процесса обучения НС определить самостоятельно. В отчете зафиксировать время обучения (если оно существенно), количество циклов обучения МСП, последнее значение скорости обучения (шаг обучения), значения средней и максимальной ошибки (оценки) и количество правильно распознанных примеров.

5.5. Сохранить все результаты обучения нейронной сети на отдельном листе xls-файла, где находится Ваша обучающая выборка.

5.6. Построить гистограммы распределения вероятностей относительной ошибки предсказания сети на этапе обучения по каждому классу (образу). По гистограммам сделать вывод о качестве обучения НС.

5.7. Построить гистограмму распределения средней относительной ошибки предсказания сети на этапе обучения (средняя ошибка для каждого класса (образа). По гистограмме сделать вывод о качестве обучения НС.