Тема: Методи безумовної багатомірної оптимізації першого порядку. Градієнтні методи

Мета роботи: знайомство з методами багатомірної безумовної оптимізації першого порядку, їхнє засвоєння, порівняння ефективності застосування цих методів для конкретних цільових функцій.

1. Короткі теоретичні відомості.

1.1. Загальні відомості про чисельні методи багатомірної оптимізації

Задача багатомірної безумовної мінімізації формулюється у вигляді:

де — точка в n-мірному просторі X=Rⁿ, тобто цільова функція — функція n аргументів. Задачу відшукання максимуму функції легко перетворити в задачу відшукання її мінімуму:

Чисельні методи відшукання мінімуму, як правило, полягають в побудові послідовності точок {x_k}, що задовольняють умові Методи побудови таких послідовностей називаються методами спуску. В цих методах точки послідовності {x_k} обчислюються за формулою:

де p_k — напрямок спуску, _k — довжина кроку в цьому напрямку.

Різні методи спуску відрізняються один від одного способами вибору напрямку спуску p_k і довжини кроку _k уздовж цього напрямку. Алгоритми безумовної мінімізації прийнято ділити на класи, залежно від максимального порядку похідних функції, що мінімізується, обчислення яких передбачається. Так, методи, що використовують тільки значення самої цільової функції, відносять до методів нульового порядку (їх називають також методами прямого пошуку); якщо, крім того, потрібне обчислення перших похідних функції, що мінімізується, то ми маємо справу з методами першого порядку; якщо ж додатково використовуються другі похідні, то це методи другого порядку й т.д.

1.2. Градієнтні методи

1.2.1. Загальна схема методів градієнтного спуску

Як відомо, градієнт функції в деякій точці x_k спрямований в бік найшвидшого локального зростання функції й перпендикулярний лінії рівня (поверхня постійного значення функції f(x), що проходить через точку x_k). Вектор, протилежний градієнту , називається антиградієнтом, що спрямований в бік найшвидшого зменшення функції f(x). Вибираючи як напрямок спуску p_k антиградієнт - у точці x_k, ми приходимо до ітераційного процесу виду:

У координатній формі цей процес записується в такий спосіб:

Всі ітераційні процеси, у яких напрямок руху на кожному кроці збігається з антиградієнтом функції, називаються градієнтними методами. Вони відрізняються один від одного тільки способом вибору кроку _k. Існує багато різних способів вибору _k, але найпоширеніші: метод з постійним кроком, метод із дробленням кроку та метод найшвидшого спуску.

1.2.2. Градієнтний метод з постійним кроком

Основна проблема в градієнтними методах — це вибір кроку _k. Досить малий крок _k забезпечує убування функції, тобто виконання нерівності:

але може привести до неприйнятно великої кількості ітерацій, необхідних для досягнення точки мінімуму. З іншого боку, занадто великий крок може викликати несподіваний ріст функції (невиконання умови убування) або привести до коливань біля точки мінімуму. Однак перевірка умови убування на кожній ітерації є досить трудомісткої, тому в методі градієнтного спуска з постійним кроком задають =_k постійним і досить малим, щоб можна було використовувати цей крок на будь-якій ітерації. При цьому доводиться миритися з можливо більшою кількістю ітерацій. Розрадою є лише те, що трудомісткість кожної ітерації, у цьому випадку, мінімальна (потрібно обчислювати тільки градієнт ).