5.6.2. Обчислення похідних цільової функції

В основу градiєнтних засобів пошуку оптимуму покладені обчислення та аналіз похідних цільової функції R(U). Якщо аналітичний вигляд R(U) відомий, то обчислення похідних dR/dU_jчастіше всього не складає особливих труднощів. Інакше єдиним засобом визначення похідних є чисельні засоби.

Значення похідної може бути обчислено за формулою:

(5.39)

де ΔU_j– величина приросту незалежної перемінної U_j.

Формула (5.39) дає лише наближене значення похідної. Точність наближення залежить від величини припущення ΔU_j.

Методів провіщання найкращого значення ΔU_jне існує. Практично для визначення прийнятної величини припущення(особливо на початку пошуку, коли похідні ще не знаходились) використовується метод дробіння ΔU_j. Наприклад, розраховується значення похідної з припущенням, рівним ΔU_j. Після цього розрахунок повторюється з ΔU_j/2. Якщо отримані значення похідних розрізняються істотно, то розрахунок повторюється з ΔU_j/4 і т.д., поки не буде знайдено прийнятне значення припущення. На наступних кроках пошуку це значення припущення може уточнюватися.

5.6.3. Засіб релаксації.

Алгоритм засобу являє собою пошук осьового напрямку, вдовж якого цільова функція зменшується найбільш сильно. Для цього в початковій точці пошуку визначають похідні оптимiзуємої функції по всім незалежним перемінним. Осьовому напрямку з найскорішим спаданням цільової функції, очевидно, відповідає найвелика за модулем похідна. Якщо знак похідної від'ємний, то цільова функція зменшується у напрямку осі, якщо позитивний - то у протилежному напрямку.

За напрямком спадання цільової функції виконуються кроки до тих пір, поки не буде отримане мінімальне значення за обраним осьовим напрямком. Тоді знов визначають похідні по всім напрямкам, за винятком того, по якому здійснюється спуск. Знову знаходять осьовий напрямок найскорішого спадання цільової функції, по якому виконуються подальші кроки і т.д.

Критерієм закінчення пошуку оптимуму є досягнення такої точки, при руху з якої по будь-якому осьовому напрямку подальшого спадання функції не походить.

На практиці, для признаку оптимуму часто застосовують умову:

(5.40)

Умова (5.40) може бути використана у отому випадку, коли оптимум лежить всередині допустимої області зміни незалежних перемінних. Якщо ж оптимум припадає на межу області допустимої зміни перемінних V, тоді критерій (5.40) не придатний та замість нього треба застосовувати умову позитивності всіх похідних за допустимими осьовими напрямками. При цьому допустимим осевим буде напрямок всередині області V.

Алгоритм спуску для обраного осьового напрямку може бути записаний у вигляді:

(5.41)

Причому:

- значення змінюємої перемінної на к-ом кроку спуска;

- величина к-го кроку, що може змінювати своє значення залежно від номеру крока;

sign - функція знаку ("сiгнум");

U^p - вектор точки, у якій останній раз виконувалось обчислення похідних цільової функції.

Очевидно, що швидкість руху до мінімуму залежить від отого, наскільки вдало обрано крок зміни незалежних перемінних.

Графічне зображення руху від вихідного стану до оптимального показано на рис. 5.16.

При занадто малій величині кроку число кроків, що необхідно зробити, щоб досягнути оптимума, буде великим та, отже, буде потрібний великий обсяг розрахунків. Якщо ж величина кроку обрана великою, то поблизу оптимуму може відбуватися "нишпорення", тому що при великій величині кроку мала імовірність попадання в околицю оптимуму, в якій виконується умова (5.40). Рис.5.16

Найпростіший алгоритм використання перемінного кроку пошуку складається в наступному. На початку спуска по одному з осьових напрямків задається деякий крок h. З цим кроком виконується спуск по обраному осьовому напрямку до отих пір, поки для двох наступних обчислювань значення цільової функції виконується умова (при пошуку мінімуму)

При порушенні умови на будь-якому кроці напрямок спуска по осі змінюється на протилежний, та спуск продовжується з останньої разрахованої точки зі зменшеною вдвічі величиною кроку. Цей алгоритм може бути записаний наступним чином:

(5.42)

Внаслідок використання такої стратегії крок спуска по осьовому напрямку буде зменшуватися в районі мінімуму цільової функції по цьому напрямку та пошук мінімуму можна припинити, коли величина кроку h^k стане менше заданої точності визначення мінімуму e у осьовому напрямку.

Після цього знаходиться новий осьовий напрямок, в якому функція змінюється найбільш сильно. Початковий крок по новому напрямку вже можна обрати з урахуванням величини кроку по попередньому напрямку. Це дозволяє автоматично зменшувати початковий крок по мірі наближення до оптимуму, у районі якого спуск по кожній осі проходить на невелику віддаль.

Істотною особливістю метода релаксації є залежність часу пошуку від орієнтації системи координат (рис. 5.17 та 5.18).

Рис.5.17 Рис.5.18

У першому випадку для досягнення мінімуму цільової функції необхідно тільки два циклу руху уздовж осьових напрямків, в другому число таких циклів зростає надто істотно. При використанні метода релаксації інколи виникають чималі труднощі :

а) при наявності обмежень пошук оптимуму може "застрягати" в будь-якій точці межі (рис. 5.19).

б) при наявності "байраків", напрями яких не співпадають з осями (рис. 5.20).

Рис.5.19 Рис.5.20