1.2.2 Алгоритм градієнтного методу.

Сутність градієнтного методу оптимізації полягає в тому, що задаються довільно, або виходячи з наявної апріорної інформації про положення точки екстремуму, початковим значенням вектора незалежних змінних .

Потім виконується зміна на ,тобто роблять крок з метою наблизитися до точки екстремуму . Потім роблять новий крок і т.д.

Таким чином, на кожній ітерації обчислюється значення вектора для наступної ітерації:

.

Оскільки напрямок вектора градієнта вказує напрямок найшвидшого збільшення функції, то кроки u виконують у напрямку градієнта при пошуку максимуму й антиградієнта при пошуку мінімуму. Надалі, для визначеності, будемо розглядати задачу на мінімум. Тоді , де - множник, що визначає величину кроку -одиничний вектор градієнта; k - номер ітерації. Знак "-" указує на напрямок антиградієнта.

У такий спосіб:

.

Алгоритм градієнтного пошуку часто застосовують у наступному виді:

. (1.1)

У цьому випадку величина кроку змінюється автоматично відповідно до зміни величини градієнта.

Величина h зветься параметром кроку й залишається постійною. Алгоритм має ту перевагу, що при наближенні до точки мінімума довжина кроку автоматично зменшується.

Ітераційна формула (1.1) може бути записана в наступній формі:

,

або в скалярному виді:

.

1.2.3 Вплив величини кроку на градієнтний пошук.

Питання вибору величини кроку є досить важливим і в остаточному підсумку визначає працездатність і швидкість збіжності алгоритму.

Якщо розмір кроку обраний занадто малим, то рух до оптимуму буде довгим через необхідність обчислення частинних похідних у багатьох точках.

При великому кроці в районі оптимуму можуть виникнути незатухаючі коливання незалежних змінних і знижується точність знаходження екстремуму.

При дуже великому кроці можливі розбіжні коливання.

На Рис.3 зображені лінії постійного рівня функції f(u₁,u₂).

Процес пошуку при великому h зображений послідовністю точок А₀, А₁, А₂, А₃.

Р ис. 3.

Як видно з рис.3 при цьому можуть виникати незатухаючі коливання незалежних змінних. При меншому значенні параметра кроку h процес пошуку зображений послідовністю точок В₀, В₁, В₂, В₃, В_4.

1.2.4 Критерій закінчення пошуку.

Р озглянемо одномірну функцію f(u) (рис.4).

Рис.4.

Прямі - дотичні до функції f(u). В області екстремуму , що відповідає дотичній .

У такий спосіб при , де -мале додатнє, наперед задане число, процес пошуку може бути зупинений.

Для багатопараметричної функції умовою зупинки є

Умова перевіряється на кожному кроці пошуку й виконується, якщо екстремум лежить у допустимій області. Інший варіант визначення моменту закінчення пошуку полягає в наступному. Після кожної серії із заданою кількістю кроків s₁ запам'ятовується значення цільової функції (ЦФ).

Якщо наступна серія дає менше значення ЦФ, то пошук триває, у іншому випадку - зупинка. Рекомендується також наступний критерій зупинки:

, i=l,2...n,

де _i, -малі, наперед задані величини, обрані з фізичних міркувань.