18)Основные недостатки алгоритма обучения с обратным распространением ошибки (Backpropagation) и способы их смягчения

Алгоритм обучения МСП(многослойного персептрона) с обратным распространением ошибки (Back Propagation (BP)-алгоритм)

Эффективность обученного МСП обычно оценивается величиной средней ошибки. Обозначим через действительное значение на выходе i-того выходного нейрона при распознавании p-ого образа обучающей последовательности, - требуемое значение на выходе i-того выходного нейрона при распознавании p-ого образа обучающей последовательности.

Ошибка при распознавании p-го образа обучающей последовательности:

При распознавании всех N образов ОП результирующая ошибка:

Если число весов связи равно 2 – то зависимость средней ошибки МСП от этих двух весов связи – то эту ошибку можно представить в виде поверхности.

Зависимость ошибки E от имеет ряд локальных минимумов и один глобальный минимум. В общем случае задача обучения МСП состоит в определении таких численных значений всех весов связи, при которых результирующая ошибка E достигает абсолютного минимума. Однако чаще всего в процессе обучения МСП отыскивается один из локальных минимумов. Он определяется следующим образом:

1. Производится инициализации всех весов связи небольшими численными значениями (обычно в интервале [-0,1;0,1]). Существует много программ генерации псевдослучайных чисел

2. Выбирается точка, в этой точке производится коррекция веса, в результате получается следующая приближение веса.

Почему алгоритм называется алгоритмом обучения с обратным распространением ошибки? Значения признаков образов обучающей последовательности обрабатывается в прямом направлении от входа к выходу МСП. На выходе МСП определяется классификация предъявленного образа. Если классификация персептрона не совпадает с классификацией этого образа учителем, то эта ошибка классификации используется для коррекции всех весов связи. Выявленная на выходе ошибка в классификации используется сначала для модификации весов связи между последним скрытым слоем и выходным слоем. После выполнения этой коррекции становятся известными ошибки на выходах нейронов последнего скрытого слоя и по этим ошибкам осуществляется коррекция весов связей между предпоследним и последним скрытым слоем, и т.д. осуществляется коррекция всех весов.

Основная трудность в разработке BP-алгоритма состоял в расчете величины ошибки скрытых нейронов. Из рассмотрения BP-алгоритма следует, что величина ошибки при обучении персептрона или при модификации всех его весов связи осуществляется в направлении от выхода ко входу, т.е. в направлении, обратном прямому.

BP-алгоритм обладает рядом недостатков:

1. В общем случае на основе BP-алгоритма отыскивается один из локальных минимумов ошибки, а не абсолютный минимум

2. Средняя ошибка может иметь плато, в котором эта ошибка примерно одинакова. На участке плато производная от ФА нейрона равна нулю. Модификация весов связи осуществляется с учетом этой производной от ФА. Т.е. при нулевой производной от ФА модификация весов связи невозможна.

Один из способов обхода ошибки – использование модифицированного алгоритма – BackProp Momentum. Если производная на участке равна 0, то учитывается производная на предыдущем участке