5. 6. 5. Засіб найскорішого спуска

При використанні засобу градієнту на кожному кроці треба визначати значення всіх приватних похідних функції, що оптимізується, по всім незалежним перемінним, що вимагає великого обсягу обчислювань.

Засіб релаксації володіє в цьому змісті визначеними перевагами, тому що при спускові вдовж обраного осьового напрямку не вимагає обчислення похідних. Але рух походить не у оптимальному напрямку.

Поєднання основних ідей засобу релаксації та градієнту дає засіб

найскорішого спуска, суть якого укладається у слідкуючому.

Після того, як в початковій точці знайдений градієнт функції, що оптимізується, та отим самим визначено напрямок її найскорішого спадання, отже в разі пошуку мінімуму цільової функції в наданому напрямку робиться крок спуска.

Якщо значення цільової функції в результаті кроку зменшилося, отже виробляється черговий крок в цьому напрямі, та так до отих пор, поки у цьому напрямку не буде знайдений мінімум цільової функції. Після цього обчислюється градієнт та визначається новий напрямок найскорішого спадання цільової функції.

В зіставленні з засобом градієнту засіб найскорішого спуска виявляється більш вигідним із-за скорочування обсягу обчислювань. По суті, засіб наiскорішого спуска по обчислювальним витратам еквiвалєнтєн засобу релаксації, але вигідно відрізняється від нього отим, що принаймні перші кроки після визначення градієнту виробляються у оптимальному напрямку.

Очевидно, що менш різко змінюється напрямок градієнту цільової функції, отим краще використати засіб найскорішого спуска у порівнянні з засобом градієнту тобто вдалині від точки оптимуму. Поблизу оптимуму напрямок градієнт змінюється різко, тому засіб найскорішого спуска автоматично переходить у засіб градієнту, тому що мінімум по кожному напрямку знаходиться за невелика кількість кроків (рис.5.22).

Важливою особливістю засобу найскорішого спуска є отже, що при його застосуванні Рис. 5.22

кожний новий напрямок ортогонален попередньому. Це пояснюється отим, що рух в одному напрямку виробляється до тих пор, поки напрямок руху не опиниться дотичною до якої-або лінії постійного рівня так же як і у засобі релаксацiї. Але на відміну від засобу релаксації бистрота сходимості до точки оптимуму не залежить від орієнтації системи координат.

У вигляді критерію закінчення пошуку можуть використовуватися оті ж умови, що і у засобах релаксації та градієнту. Крім отого, можна використовувати наступне співвідношення :

(5.49)

де U^А_j,U^B_j- координати початкової та кінцевої точок останнього

відтинку спуска.

Цей же критерій може використовуватися у поєднанні з контролем значень цільової функції у точках U^Aта U^B:

| R(U^(F))-R(U^(B)) |(5.50)

5.7. Безградiєнтні методи рішення задач оптимiзації

При використанні градiєнтних методів для визначення величини та напрямку кроку пошуку вимагав попередній аналіз похильних функції, що оптимізується, по всім незалежним перемінним. Для складної цільової функції це пов'язане з виконанням великого обсягу обчислювань, особливо при великому числі перемінних.

Безградiєнтні методи засновані на використанні у процесі пошуку інформації, що одержується від порівняльної оцінки значень цільової функції внаслідок виконання чергового кроку.

З використанням безградiєнтних методів може бути реалізований як одномірний пошук для випадку, коли цільова функція залежить від однієї незалежної перемінної, так і многомірний пошук. При одномірному пошуку використовуються слідуючи методи : одномірного сканiрованія, локалiзації екстремуму функції, " золотого перетину " та ін.

Методи многомірного пошуку - покоордiнатного спуска, многомірного сканiрованiя, Хука-Джiвса, сiмплексний можуть використовувати методи одномірного пошуку як допоміжні.

Спершу розглянемо методи одномірного пошуку. Для всіх методів постановка завдання наступна - визначити стан екстремуму на iнтервалі [Umin, Umax ].