Методическое пособие 701

Кривая для подмножества

тестирования

Среднеквадрати-

ческая ошибка

Точка раннего останова Кривая для обучающей

выборки

Количество эпох

Рис. 2.32. Процесс обучения с ранним остановом на основе перекрестной оценки

показывает их различное поведение. Функция обучения на подмножестве оценивания монотонно убывает с увеличением количества эпох, в то время как кривая обучения на проверочном подмножестве монотонно убывает до некоторого минимума, после чего при продолжении обучения начинает возрастать. Если учитывать только кривую, построенную на подмножестве оценивания, то возникает соблазн продолжать обучение и после прохождения точки минимума на кривой, построенной на проверочном подмножестве. Однако на практике оказалось, что после прохождения этой точки сеть обучалась только посторонним шумам, содержащимся в обучающей выборке. Поэтому было принято решение об использовании точки минимума кривой тестирования в качестве критерия останова сеанса обучения. Когда ошибки на подмножествах оценивания и проверки не одинаково стремились к нулю (что характерно для данных, не содержащих шума), емкости сети оказывалось не достаточно для точного функционирования модели. В этом случае минимизировалась интегрированная квадратичная ошибка, что (приблизительно) эквивалентно минимизации обычной глобальной среднеквадратической ошибки при равномерном распределении входного сигнала.

Для повышения эффективности обучения ИНС использовалось комбинирование последовательного и пакетного режимов обучения. В рамках последовательного режима обучения корректировка весов проводилась после подачи каждого примера. Для примера рассмотрим эпоху, состоящую из N обучающих примеров, упорядоченных следующим образом: ((x1),d(1)),.., (x(N),d(N)). Сети предъявлялся первый пример (x(l),d(l)) этой эпохи, после чего выполнялись описанные выше прямые и обратные вычисления. В результате проводилась

121

корректировка синаптических весов и уровней порогов в сети. После этого сети предъявлялась вторая пара (x(2),d(2)) в эпохе, повторялись прямой и обратный проходы, приводящие к поледующей коррекции синаптических весов и уровня порога. Этот процесс повторялся, пока сеть не завершала обработку последнего примера (пары) данной эпохи - (x(N), d(N)). В пакетном режиме обучения корректировка весов проводилась после подачи в сеть всех примеров обучения (всей эпохи). Для каждой эпохи функция стоимости определялась как среднеквадратическая ошибка, представленная в составной форме:

где сигнал ошибки ej (n) соответствует нейрону j для примера обучения n. Ошибка ej (n) равна разности между dj(n) и уj(n) для j-гo элемента вектора желаемых откликов d(n) и соответствующего выходного нейрона сети. В выражении (2.65) внутреннее суммирование по j выполняется по всем нейронам выходного слоя сети, в то время как внешнее суммирование по п выполняется по всем образам данной эпохи. При заданном параметре скорости обучения

корректировка, применяемая к синаптическому весу wji ,связывающему нейроны i и j, определялась следующим дельта-правилом:

Согласно (2.66), в пакетном режиме корректировка веса wji (n) выпол-

няется только после прохождения по сети всего множества примеров. Процесс комбинирования данных режимов обучения состоял в следую-

щем. В случае наличия избыточных данных использовался последовательный режим обучения. Его применение позволяло использовать меньший объем внутреннего хранилища для каждой синаптической связи. Более того, путем предъявления обучающих примеров в случайном порядке (в процессе последовательной корректировки весов) достигался стохастический поиск в пространстве весов. Это, в свою очередь, сокращало до минимума возможность остановки алгоритма в точках локальных минимумов. Во всех остальных случаях использовался пакетный режим обучения. Он обеспечивал более точную оценку вектора градиента при «обедненных» данных и позволял распараллелить вычисления.

Для обоснования критерия прекращения (останова) обучения рассматривались уникальные свойства локального и глобального минимумов поверхности ошибок. Обозначим символом w вектор весов, обеспечивающий минимум, будь то локальный или глобальный. Необходимым условием минимума является достижение вектора градиента g(w) (т.е. вектора частных производных первого порядка) для поверхности ошибок в точке нулевых значений. На практике это означает, что алгоритм обратного распространения ошибок сошелся, если

122

Евклидова норма вектора градиента достигла достаточно малых значений. Недостатком этого критерия сходимости является то, что для сходимости обучения может потребоваться довольно много времени. Кроме того, необходимо постоянно вычислять вектор градиента g(w). Другим уникальным свойством минимума является то, что функция стоимости (или мера ошибки) Eav (w) в точке w = w* стабилизируется. Отсюда можно вывести еще один критерий сходимости. Критерием сходимости алгоритма обратного распространения ошибок является достаточно малая абсолютная интенсивность изменений среднеквадратической ошибки в течение эпохи. Практические результаты показали, что интенсивность изменения среднеквадратической ошибки можно считать достаточно малой, если она лежит в пределах от 0,1-1 % за эпоху. В процессе функционирования алгоритма обратного распространения ошибок использовался еще один критерий сходимости. После каждой итерации обучения сеть тестировалась на эффективность обобщения. Процесс обучения останавливался, когда эффективность обобщения становилась удовлетворительной или когда оказывалось, что пик эффективности уже пройден.

Блок-схема алгоритма обратного распространения ошибок представлена на рис. 2.33.

Блоки 1,10 используются для пуска и остановки алгоритма обратного распространения ошибок.

В блоке 2 реализован ввод исходных данных, таких как:

-элементы обучающей выборки (как правило они должны быть нормализованы);

-значения весов (начальные значения весов могут быть случайными или детерминированными);

-вектор выходных значений сигналов.

Блок 3 обеспечивает расчет выходного сигнала.

В блоке 4 рассчитывается значение среднеквадратичной ошибки.

Блок 5 реализует определение производных сложной функции (сигнала и функции активации).

В блоке 6 фиксируется значение производной.

Блок 7 обеспечивает проверку изменения знака производной. Если он не изменился, то управление передается в блок 9. В противном случае управление передается в блок 8.

Блок 9 вывод результатов. В качестве результатов выступает набор весовых коэффициентов при которых достигается значение минимума функции ошибки.

Ниже приведен фрагмент программного кода, реализующий алгоритм обратного распространения ошибок:

procedure TNSet.MTeach; var

i, //слой

123

j, //нейрон k:Integer; // вход xsum:Double; begin

//формирование массива ошибок // расчет фактических ошибок нейронов выходного слоя

for j:=1 to fConfig[LayerCount-1] do Osh[LayerCount-1,j]:=(outputm[LayerCount-1,j]-

inputm[LayerCount,j])*Posh[LayerCount-1,j]; //расчет суммарной ошибки

xsum:=0;

for j:=1 to fConfig[LayerCount-1] do xsum:=xsum+Osh[LayerCount-1,j]; Sosh:=xsum/fConfig[LayerCount-1];

//расчет фактических ошибок нейронов скрытых слоев приращений весов и новых весов

//начинаем от предпоследнего (последний скрытый) до 1-го for i:=LayerCount-2 downto 1 do

for j:=1 to fConfig[i] do begin

xsum:=0;

for k:=0 to fConfig[i+1] do xsum:=xsum+Osh[i+1,j]*w[i,j,k]; Osh[i,j]:=xsum*Posh[i,j];

//Osh[i,j]:=xsum*outputm[i,j]*(1-outputm[i,j]);

//находим приращение веса и новое значение веса

for k:=0 to fConfig[i+1] do begin

//WT[i,j,k]:=-Osh[i+1,j]*fMiu*outputm[i,j]; WT[i,j,k]:=-Osh[i+1,j]*fTS*outputm[i,j]+fMiu*WT[i,j,k];

w[i,j,k]:=w[i,j,k]+WT[i,j,k];

end;

end;

end;

Модуль «Алгоритм имитации отжига» реализует одноименный алгоритм в интересах оптимизации поиска глобального экстремума целевой функции. Метод имитации отжига представляет собой алгоритмический аналог физического процесса управляемого охлаждения. Предложенный Н. Метрополисом в 1953 г. [57] и доработанный многочисленными последователями, он в настоящее время считается одним из немногих алгоритмов, позволяющих оперативно находить глобальный минимум функции нескольких переменных. Метод ими-

125

таций отжига основан на идее, заимствованной из статической механики. Он отражает поведение материального тела при отвердевании с применением процедуры отжига. Для получения качественного материала из расплава, при отвердевании, его температура должна уменьшаться постепенно, вплоть до момента полной кристаллизации. Если процесс остывания протекает слишком быстро, образуются значительные нерегулярности структуры материала, которые вызывают внутренние напряжения. В результате общее энергетическое состояние тела, зависящее от его внутренней напряженности, остается на гораздо более высоком уровне, чем при медленном охлаждении. Быстрая фиксация энергетического состояния тела на уровне выше нормального аналогична сходимости оптимизационного алгоритма к точке локального минимума. Энергия состояния тела соответствует целевой функции, а абсолютный минимум этой энергии – глобальному минимуму. В процессе медленного управляемого охлаждения, называемого отжигом, кристаллизация тела сопровождается глобальным уменьшением его энергии, однако допускаются ситуации, в которых она может на какое–то время возрастать (в частности, при подогреве тела для предотвращения слишком быстрого его остывания). Благодаря допустимости кратковременного повышения энергетического уровня возможен выход из ловушек локальных минимумов, которые возникают при реализации процесса. Только понижение температуры тела до абсолютного нуля делает невозможным какое– либо самостоятельное повышение его энергетического уровня. В этом случае любые внутренние изменения ведут только к уменьшению общей энергии тела.

Вреальных процессах кристаллизации твердых тел температура понижается ступенчатым образом. На каждом уровне она какое-то время поддерживается постоянной, что необходимо для обеспечения термического равновесия. На протяжении всего периода, когда температура остается выше абсолютного нуля, она может как понижаться, так и повышаться. За счет удержания температуры процесса поблизости от значения, соответствующего непрерывно снижающемуся уровню термического равновесия, удаётся обходить ловушки локальных минимумов, что при достижении нулевой температуры позволяет получить и минимальный энергетический уровень [173].

Блок-схема алгоритма имитации отжига, который использовался для обучения многослойного персептрона, приведен на рис. 2.34.

Блоки 1,14 используются для пуска и остановки алгоритма.

Вблоке 2 реализован ввод исходных данных, таких как: значения входных параметров и соответствующего им отклика ИНС из обучающей или тестирующей выборок либо реальных данных.

Блок 3 обеспечивает генерацию начальных значений весов нейронных связей и температуры Tmax.

Вблоке 4 рассчитывается значение энергии в соответствии с соотноше-

нием E (Y1 Y1)2 (Y2 Y2)2 (Y3 Y3)2 ...(Yn Yn)2.

126

14

Конец

Рис. 3.34. Блок-схемаалгоритма имитации отжига

127

Вблоке 5 реализована проверка условия наличия положительной температуры тела. Если данное условие выполнено, то управление передается в блок 6, в противном случае вычислительный процесс завершается и управление передается в блок 13.

Блок 6 обеспечивает генерациюзначений приращений весов w’.

Вблоке 7 рассчитывается обновленное значение энергии E’.

Блок 8 предназначен для проверки условия превышения предыдущего значения энергии над текущим значением. Если данное условие выполняется, то управлениепередаетсявблок11,впротивномслучаеуправлениепередаетсявблок9.

В блоке 9 реализована генерация случайных чисел в диапазоне от 0 до 1. Блок 10 предназначен для проверки условия exp(- 2/T2)>R. Если данное условие выполняется, то управление передается в блок 11. В противном случае

управление передаетсявблок12.

Вблоке11весам присваиваютсяновые значения. Блок12обеспечиваетснижениетемпературы.

Вблоке 13 осуществляется вывод полученных результатов – оптимальных значений весов ИНС.

Вданном алгоритме обучения реализован стохастически управляемый метод повторных рестартов. Для оценки его эффективности был проведен сравнительный анализ функционирования данного алгоритма, генетического алгоритма и алгоритма прямого перебора.

На рис. 2.35 приведена экранная форма интерфейса пользователя при исследовании данных алгоритмовобучения ИНС.

Рис. 2.35. Экранная форма интерфейсаисследования алгоритмов обучения ИНС

128

Данное окно имеет блочную структуру. В верхней части окна располагаются блоки заданий параметров трех алгоритмов обучения (генетического, имитации отжига и прямого перебора). Кроме того, в каждом блоке имеется окно, в котором отображается время выполнения соответствующего алгоритма обучения, а также кнопка его запуска – «Старт». В нижней левой части экранной формы находится компонент задания обучающих примеров. В нижней правой части экранной формы находится таблица, в которой отображаются значения весов нейронных связей и ошибки соответствующих ИНС. В центре экранной формы имеется окно задания параметра α. Данный параметр определяет крутизну функции активации. При функция вырождается в пороговую. При 0 функция активации становится линейной функцией с пороговым значением - 0,5. При 1 данная функция является плавной сигмоидальной функцией (вариант, представляющий интерес в данной работе).

В табл. 2.12 и 2.13 приведены экспериментальные значения основных параметров функционирования (времени работы и значений ошибки) для трех алгоритмов обучения.

Таблица 2.12 Результаты работы генетического алгоритма и алгоритма имитации отжига

В табл. 2.12 приведены результаты работы двух алгоритмов обучения, при постоянных исходных данных. В табл. 2.13 представлены результаты функционирования алгоритма прямого перебора для 5 вариантов исходных данных:

1)Max значение веса – 1, Min значение веса – -1, Шаг – 0,2;

2)Max значение веса – 1, Min значение веса – -1, Шаг – 0,1;

3)Max значение веса – 2, Min значение веса – -2, Шаг – 0,2;

129

4)Max значение веса – 2, Min значение веса – -2, Шаг – 0,1;

5)Max значение веса – 3, Min значение веса – -3, Шаг – 0,2.

Анализ полученных результатов показывает, что алгоритм имитации отжига является наиболее оперативным, но не самым точным из рассматриваемых методов обучения. Более высокую точность показал генетический алгоритм, но он затрачивает намного больше времени на работу, чем алгоритм имитации отжига. Теоретически алгоритм прямого перебора является самым точным методом поиска глобального минимума функции. Однако на практике, по причине недостаточной аппаратной мощности ПК, оказалось невозможным получить значение глобального минимума за приемлемое время.

Модуль «Генетический алгоритм» реализует случайный поиск экстремума функции для нескольких аргументов. Он представляет собой симбиоз переборного и градиентного методов. Его основу составляет естественный отбор - главный механизм эволюции [30, 34, 59]. В нем реализуются генетические коды индивидуумов – ДНК (ДезоксирибоНуклеиновая Кислота), приспособленность индивидуумов, хромосомы, скрещивание, мутации и др. Детальное описание генетического алгоритма приведено в разделе 2.6.

Модуль адаптации архитектуры нейронной сети обеспечивает рациональный выбор количества слоев сети, числа нейронов в каждом слое и количество необходимых связей между слоями адекватно поставленной задачи.

Рассмотрим последовательность процесса обучения сети. Обучение ведется путем минимизации целевой функции E(w), определяемой только на обучающем подмножестве L. При этом значение целевой функции определяется как

где р – количество обучающих пар (хk, dk), yk – вектор реакции сети на возбуждение хk.

Минимизация функции (2.67) обеспечивает достаточное соответствие выходных сигналов сети ожидаемым значениям из обучающих выборок.

Цель обучения состоит в таком подборе архитектуры и параметров сети, которые обеспечат минимальную погрешность распознавания тестового подмножества данных, не участвовавших в обучении. Эту погрешность будем называть погрешностью обобщения EG(w). Co статистической точки зрения погрешность обобщения зависит от уровня погрешности обучения EL(w) и от доверительного интервала . Она характеризуется неравенством

Установлено [174], что значение функционально зависит от уровня погрешности обучения EL(w) и от отношения количества обучающих выборок р к фактическому значению параметра, называемого мерой Вапника-

Червоненкиса (МВЧ) и обозначаемого VCd. Данная мера отражает уровень

130