2.2.3 Кезеңге қатысты қатенің кері таралуының алгоритмі

Нейронды желіні үйрету тәсілінде қатенің кері таралуының алгоритмі жоғарыда болмайды: ол жергілікті минимум нүктесінде біріге алмайды және нақты шешімде осцилляцияланбайды. Сондықтан бұл алгоритмнің канондық құрылымына қосыша коэффицент енгізіледі, ол кезең деп аталады, (2.124) теңдеуімен келесідей түрленеді

(2.125)

Кезең коэффиценті (t+1), t, (t-1) қадамдарындағы салмақтың тәуелділігіне байланысты анықталады. Егер басы нөлдер келесі итерацияларда салмақ модификациясының бағыты өзгермесе, онда кезеңкоэффицентінің құраушысы салмақтың өсуіне және минимум шамасына ығысуына әкеледі. Болмаса, салмақ мәнінің лезде өзгеруі тежеледі. Жалпы, кезең жергілікті минимумға жақын мәнде мақсаттық функцияның тегіс бөлігінде орындалады. Жергілікті минимумға жақын мәнде мақсаттық функцияның градиентті шамасы нөлге жақын болады, ал кезең коэффиценті (2.125) формуласы бойынша есептелінеді.

α коэффицентінің шамасы (0, 1) интервалынан таңдалады, әдетте ол α = 0,9. Нақты шаманы таңдау желіні үйретушінің есепті шешу ерекшілігіне байланысты.

2.7-мысал

2.20-суретте F(w₁,w₂) = функциясының жылдам түсу әдісі арқылы минимумын табу тәсілі көрсетілген. η үйрету коэффиценті 0,9 тең, ал бастапқы шамасы [w₁ (0), w₂ (0)] = [-2, 90].

2.20-сурет. 2.3 мысалдың жылдам түсу алгоритмінің көрсетілуі

2.21-сурет. 2.7 мысалдың кезеңке қатысты жылдам түсу алгоритмінің көрсетілуі

η коэффицентінің мұндай мәндері кезінде w = [0, 0]^Т оптималды нүкте бағытында біртіндеп бірігеді, ал үйрету тәсілі осцилляцияның болу болмауымен сипатталады. 2.21-суретте (2.125) алгоритмі бар,коэффиценттері η = 0,2, ал α = 0,9 есептің шешілуі көрсетілген. Бұл суретте кезең коэффицентінің алгоритмге тез бірігуі және минимум нүктесінде осцилляцияның жоқ екендігі көрсетілген.

2.2.4 Айнымалы бірігуі алгоритмі

Қатенің кері таралуының алгоритмінің модификациясының біріне айнымалы метрика алгоритмі жатады. Бұл алгоритмді сипаттау үшін мақсаттық функцияның бастапқы үш мүшесін Тейлор қатарына жіктейміз. Бұл кезде мақсаттық функция келесідей

(2.126)

Мақсаттық функцияның минимумын жүзеге асыру үшін функцияның бірінші ретті туындысы нөлге тең болу керек. Бірақ бұл жеткіліксіз, мысалы f(х) = х³ функциясы. х₀ нүктесінде функцияның минимумы болу үшін екі шарт қанағаттандырылуы тиіс:

- осы нүктеде бірінші ретті туынды 0-ге тең болу керек;

- осы нүктеде екінші ретті туынды 0-ден жоғары болу керек.

Бірнеше айнымалы функциясы кезінде шарттар қанағаттандырылуы керек. Айнымалы метрика алгоритмін шығарайық. Q критерийін минимал шамаға жеткізіп, (2.126) теңдеуіндегі р векторына қатысты. Бұдан

(2.127)

Q критериін минимал шамаға жеткізетін р(t) векторы келесі шартты қанағаттандыру керек

(2.128)

яғни,

(6.129)

Q(w(t) + р(t) мақсаттық функциясы минимумға жету үшін осы нүктедегі гессиан анықталу қажет. Бірақ бұл шартты орындау өте қиын. Тәжірибеде оған жуық шама ғана есептелінеді G(w(t)).

Мысалы, с(t) = w(t) - w(t-1), r(t) = g(w(t)) - g(w(t - 1)), V(t) = [G (w(O)]^-1 және V(t - 1) = [G(w(t - l))]^-1. V матрицасын анықтау үшін екі белгілі әдіс пайдаланылады:

1) Девидсон – Флетчер – Пауэлл әдісі

(2.130)

2)Бройден - Флетчер - Гольдфарб – Шенно әдісі

(2.131)

Бұл кезде V(0) = I. (2.129) с (2.130) немесе (2.131) біріктірсе

p(t) = - V(t) g (w(t)). (2.132)

Айнымалы метрика алгоритмі жылдам бірігумен сипатталады. Оның кемшілігі – әрбір қадамдағы барлық гессиан элементтерін есептеу кезіндегі жоғары есептеу күрделілігі. Сол себепті айнымалы метрика алгоритмі аса үлкен емес желілерді үйретуде қолданылады.