3. Запись решения в идеологии нейросетей

Как уже было сказано, выше, ряд вида может быть представлен как нейронная сеть, имеющая структуру, показанную на рис.1.

Тогда вычисление градиента функции ошибки Hможно производить, используя схему, двойственную данной. При этом решение задачи может быть существенно упрощено применением следующего приема. Поскольку обучение следующего слоя начинается тогда, когда предыдущие уже обучены, а их связи зафиксированы, то, фактически, каждый нейрон обучается отдельно от других, а в качестве значения, вычисляемогоk-м нейроном берется погрешность вычисления функции предыдущимиk-1 - нейронами, илиF_i.

Процесс обучения всей сети сводится этим ее разбиением к ряду последовательных процессов обучения структур вида, представленного на рис. 2.

Здесь x₁ - x_N - входные сигналы сети,W_ij⁽¹⁾- синапсы первого слоя отi-го входа кj-му сумматору первого слоя,W_j1⁽²⁾- синапсы второго слоя отj-го преобразователя к выходному сумматору,f_j - j-й преобразователь, символом обозначаются тривиальные сумматоры.

Далее в тексте такая структура будет именоваться «потоком сети» или просто «потоком».

Вычисление производных H (функции ошибки) для сети, представляющего собой один «поток», можно вести на основе аппарата двойственных функций и алгоритма обратного распространения ошибки. Схема прохождения сигналов при обратном функционировании показана на рис. 3.

Здесь - двойственный сигнал от функции оценки, передаваемый без изменения через тривиальный сумматор второго слоя,- двойственный сигнал от соответствующего синапса второго слоя,- двойственный сигнал от преобразователяj-го «потока», передающийся сумматору для раздачи на синапсы,- двойственные сигналы соответствующих синапсов первого слоя.

4. Алгоритмическая часть

Обучение сети, состоящей из «потоков» производится в соответствии с алгоритмом, представленным на рис. 4.

Здесь H - значение оценки сети, накопленное по всему задачнику,- константа малости ошибки.

Для обучения каждого из потоков используется алгоритм, показанный на рис.5. Здесь N_ф- общее число функций, по которому идет обучение,_o - карта параметров сети,h₀ - шаг оптимизации в начале цикла,s - градиент функции оценкиH по обучаемым параметрам.

Используемое в алгоритме условие остановки формируется из двух подусловий, скомбинированных через «или»:

• Число шагов оптимизации, во время которых превысило заранее заданную величину (при обучении использовалось значениеN_sh=15), то есть сеть в данной конфигурации уже не может улучшить оценку;

• Достигнуто заданное значение функции оценки , то есть сеть уже обучена.

При обучении одного потока используются процедуры подбора шага оптимизации - Increase (поиск шага в сторону возрастания, блок-схему см. на рис. 6),Decrease (поиск шага в сторону убывания, блок-схему см. на рис. 7) иParabola (поиск оптимального шага по формулам параболического поиска блок-схему см. на рис. 8).

В процедурах используются следующие обозначения:

H(...) - функция оценки сети, накопленная по всему задачнику;

h₁, h₂, h₃ - различные значения величины шага оптимизации, используемые при ее подборе;

W - величина шага в вершину параболы, проходящей через точки (h₁, H₁), (h₂, H₂), (h₃, H₃). Вычисляется по формуле:

H₁, H₂, H₃ - значения функции ошибки, соответствующие смещению обучаемых параметров по направлению градиента на величину шагаh₁, h₂ и h₃.

Условие выпуклости комбинации h_1,2,3, H_1,2,3 определяется формулой

Если выражение истинно, то условие выпуклости выполнено.

Теперь, рассмотрев алгоритмы обучения сети, перейдем к описанию компонентов, структуры и функционирования сети.