Конспект лекцій

з теми:

«Градієнтні методи оптимізації»

Зміст:

1. Методи оптимізації. Пошук екстремумів функції

2. Градієнтні методи оптимізації

   1. Градієнтний метод з постійним кроком

   2. Градієнтний метод із дробленням кроку

   3. Метод найшвидшого спуску

   4. Модифікований метод найшвидшого спуску

3. Приклади розв’язку задач методами градієнтного спуску

Використана література

1. Методи оптимізації. Пошук екстремумів функції

Методи побудови алгоритмів знаходження максимумів (мінімумів) функції і точок, в яких вони досягаються, дуже різноманітні. Зазвичай розглядається випадок, коли функція задана в одновимірному або багатовимірному просторі.

Оптимізацією (від латів. optimum - найкраще) називається процес знаходження екстремуму (максимуму або мінімуму) певної функції або вибору найкращого (оптимального) варіанту з безлічі можливих.

Завдання оптимізації пов'язані зі знаходженням глобального екстремуму - відповідно максимуму або мінімуму - в усій допустимій області або локального екстремуму в довільно малій околиці точок цієї області.

Найбільш часто використовувані методи оптимізації, методи спуску, відносяться до випадку, коли обмеження відсутні. Вони полягають в послідовності наближень до точки мінімуму, в якій кожне наступне значення виходить шляхом переміщення у напрямі градієнта при пошуку максимуму або в протилежному напрямі - при пошуку мінімуму. Є деякі різновиди цього методу, що відрізняються між собою правилом регулювання кроку при переході до наступного наближення і критерієм зупинки ітераційного процесу. Складніше завдання знаходження умовного екстремуму. Воно вирішується методами, що безпосередньо узагальнюють відповідні методи пошуку безумовних екстремумів (наприклад, градієнтні методи), а також методами математичного програмування, спеціально створеного для вирішення цього завдання.

Постановка завдання на оптимізацію та її розв’язок включає ряд етапів:

• вибір і обґрунтування мети оптимізації, завдання набору змінних;

• встановлення області виміру змінних (завдання обмежень);

• визначення виду цільової функції (функції, екстремум якої треба знайти) від цих змінних.

Параметри, що оптимізуються, повинні оцінюватися якоюсь якісною мірою - критерієм оптимальності.

Критерієм оптимальності називається кількісна оцінка параметрів об’єкту, що оптимізуються.

На підставі вибраного критерію оптимальності складається цільова функція, що є залежністю критерію оптимальності від параметрів, які впливають на її значення. Вид критерію оптимальності або цільової функції визначається конкретним завданням оптимізації. Таким чином, завдання оптимальності зводиться до знаходження екстремуму цільової функції.

Завдання пошуку екстремуму функції означає знаходження її максимуму або мінімуму в деякій області її аргументів. Пошук екстремуму функції включає завдання знаходження локального і глобального екстремуму.

Глобальним екстремумом називають найбільший максимум або найменший максимум функції.

Мал. 1.1. Глобальний екстремум

Функція , визначена в точках n-мірного простору , має в цій точці локальний максимум (мінімум), якщо

Якщо в кожному з цих випадків виконується нестрога нерівність (≤ ; ≥), то говорять про нестрогий максимум (мінімум).

Для функцій декількох змінних справедлива формула Тейлора :

яка справедлива в околиці деякої точки .

Існує теорема, яка говорить про необхідну умову існування екстремуму: для того, щоб мала екстремум в точці необхідно, щоб в цій точці , тобто щоб

(1.1)

Достатня умова існування екстремуму визначається наступною теоремою: нехай в точці виконана необхідна умова (1.1). Якщо квадратична форма

є від’ємною, то в цій точці має максимум (якщо додатня, то мінімум). Інакше, коли є невизначеною квадратичною формою, в точці немає ні максимуму, ні мінімуму.

Розв’язок подібних завдань пошуку максимуму і мінімуму, що відносяться до завдань на пошук безумовного екстремуму, найчастіше проводиться за допомогою ітераційних градієнтних чисельних методів.

В деяких випадках формулюється завдання визначення екстремуму за наявності деяких умов, що задаються за допомогою рівності типу

(1.2)

чи нерівностей. У цих випадках говорять про завдання на умовний екстремум.