15. Алгоритм обратного распространения ошибки.

Алгоритм обратного распространения ошибки был предложен для обучения многослойных нелинейных сетей. Т.к. в таких сетях неизвестно значение ошибки на скрытых нейронах, то ошибку с выходов всей сети распространяют или раскладывают по скрытым нейронам сети.

Распространение выходной ошибки по нейронной сети осуществляют с помощью схемы минимизации функции ошибки, получая несколько правил изменения весов для каждого слоя.

Пусть определена трехслойная нейронная сеть с n входами, m выходами и l скрытыми между ними элементами, тогда необходимо рассмотреть и построить два слоя весов: от входов к скрытым элементам и к выходу, т.е.(W_ln, W_lm).

Назначение алгоритма обратного распространения ошибки – настройка всех слоёв многослойной структуры.

Рассмотрим работу алгоритма на примере сети с одним скрытым слоем и одним выходом Преобразования входных сигналов, задаваемые нейронной сетью, определяются следующими формулами:

F(<W, X>) = 1/(1 + exp(–W^TX)),

О^K = 1/(1 + exp(–W^TX^K)),

О = 1/(1 + exp(–W_L^TО^K)).

Общая функция ошибки зависит от весов всех слоёв, в нашем случае от вектора W_l и от матрицы W_ij:

Е^K(W_L,W) = 1/2(Y – O^K)² = 1/2(Y–1/(1 + exp(–W_L^TO^K)))² ,

где Y – выход, который задан в выборке. Теперь необходимо определить приращение каждого веса с помощью частных производных:

;

.

Для многослойной архитектуры частные производные ошибки по матрице весов каждого слоя определяются по формуле сложной производной. В случае униполярной си

W = W +  (Y^K – O^K) O^K(1– O^K)О^K,

=(Y^K – O^K) O^K(1– O^K),

W_l = W_l +  W_l(1 – O^K)O^KХ^K .

Метод обратного распространения ошибки позволяет изменять веса промежуточных слоёв, хотя желаемые значения на промежуточных слоях не заданы.

Шаги алгоритма:

1. прямой прогон сигнала, вычисление ошибки

2. обратный прогон ошибки, вычисление выходов по слоям

3. обновление весов слоев

16. Архитектура нейронной экспертной системы

См. вопрос 3

17. Эволюционные вычисления. Классы эволюционных вычислений.

Эволюционные вычисления – обобщающий термин, используемый при описании компьютерных систем на основе вычислительных моделей эволюционных процессов в качестве базовых при разработке и эксплуатации. В основе моделирования лежит концепция подражания эволюционным процессам отбора (селекции), мутации и воспроизводства (репродукции), которые определяются поведением индивидуумов в изменяющихся условиях окружающей среды. Эволюционные вычисления создают популяции структур, которые развиваются в соответствии с поисковыми операторами, называемыми правилами отбора, и в соответствии с генетическими операторами, представленными операциями рекомбинации и мутации.

Каждый индивидуум в популяции занимает своё место согласно мере его соответствия условиям среды. Посредством рекомбинации и мутации обеспечивается основной набор для дальнейшего воспроизводства индивидуумов. С точки зрения биологии указанные алгоритмы упрощены, но достаточно сложны для реализации и представляют собой поисковые механизмы адаптации.

История эволюционных вычислений

История эволюционных вычислений началась с разработки ряда независимых моделей, в частности генетических алгоритмов и классификационных систем Я. Голланда, представленных в начале 1960-х годов и получивших всеобщее признание после выхода книги «Адаптация в естественных и искусственных системах» (1975). В 1970-х годах в рамках теории случайного поиска Л. А. Растригиным был предложен ряд алгоритмов, использующих идеи бионического поведения особей. Развитие этих идей нашло отражение в работах по эволюционному моделированию И. Л. Букатовой. Развивая идеи М. Л. Цетлина о целесообразном и оптимальном поведении стохастических автоматов, Ю. И. Неймарк предложил осуществлять поиск глобального экстремума на основе коллектива независимых автоматов, моделирующих процессы развития и элиминации особей. Несмотря на разницу в подходах, каждая из одноименных «школ» взяла за основу ряд существующих в природе принципов и упростила до такой степени, чтобы их можно было реализовать на компьютере.