2. Класичні умови екстремуму. Метод множників Лагранжа

Одним з найбільш загальних підходів до вирішення задачі пошуку екстремума (локального максимуму або мінімуму) функції при наявності сполучних обмежень на її змінні (або, як ще говорять, задачі умовної оптимізації) є метод Лагранжа. Він повинен бути відомий з курсу диференціального обчислення. Ідея даного методу складається з задачі пошуку умовного екстремуму цільової функції

на множині припустимих значень D, яки описані системою рівнянь

до задачі безумовної оптимізації функції

де u Î R^m - вектор додаткових змінних, називаних множниками Лагранжа. Функцію Ф(х,і), де x Î Rⁿ, u Î Rⁿ, називають функцією Лагранжа. У випадку диференційованості функцій f і g_i справедлива теорема, що визначає необхідну умову існування точки умовного екстремуму в задачі (2.3)-(2.4). Оскільки вона безпосередньо ставиться до предмета математичного аналізу, приведемо її без доказу.

Теорема. Якщо х* є точкою умовного екстремуму функції (2.3) при обмеженнях (2.4) і ранг матриці перших частинних похідних функцій

дорівнює т, то існують такі й₁^*, і₂^*,...,и_m^*, не рівні одночасно нулю, при яких

З теореми (2.1) випливає метод пошуку умовного екстремуму, що одержав назву методу множників Лагранжа, або просто методу Лагранжа. Він складається з наступних етапів.

1. Складання функції Лагранжа Ф(х,і).

2. Знаходження частинних похідних

3. Розв’язання системи рівнянь

щодо змінних x і u.

4. Дослідження точок, що задовольняють системі (2.7), на максимум (мінімум) за допомогою достатньої ознаки екстремуму.

Присутність останнього (четвертого) етапу пояснюється тим, що теорема (2.1) дає необхідні, але не достатні умови екстремуму.

Положення справ з достатніми ознаками умовного екстремуму є набагато складніше. Загалом кажучи, вони існують, але справедливі для набагато більш приватних ситуацій (при досить твердих передумовах щодо функцій f і g_i) і, як правило, не використовуються на практиці.

Ще раз підкреслимо, що основне практичне значення методу Лагранжа укладається в тім, що він дозволяє перейти від умовної оптимізації до безумовної й, відповідно, розширити арсенал доступних способів вирішення проблеми.

Однак неважко помітити, що задача вирішення системи рівнянь (2.7), до якої зводиться даний метод, у загальному випадку не простіше вихідної проблеми пошуку екстремуму (2.3)-(2.4). Методи, що припускають таке рішення, називаються непрямими. Вони можуть бути застосовані для досить вузького класу задач, для яких вдається одержати лінійну або, що зводиться до лінійної системи рівнянь (2.7). Їхнє застосування пояснюється необхідністю одержати рішення екстремальної задачі в аналітичній формі (допустимо, для тих або інших теоретичних викладень).

При вирішенні конкретних практичних задач звичайно використовуються прямі методи, засновані на ітеративних процесах обчислення й порівняння значень функцій, які оптимізуються.

Градієнтні методи вирішення задач безумовної оптимізації. Провідне місце серед прямих методів вирішення екстремальних задач займає градієнтний метод (точніше, сімейство градієнтних методів) пошуку стаціонарних точок функції, яка диференціюється. Нагадаємо, що стаціонарної називається точка, у якій f(x)=0 і яка відповідно до необхідної умови оптимальності є «підозрілої» на наявність локального екстремуму. Таким чином, застосовуючи градієнтний метод, знаходять множину точок локальних максимумів (або мінімумів), серед яких визначається максимум (або мінімум) глобальний.

Ідея даного методу заснована на тім, що градієнт функції вказує напрямок її найбільш швидкого зростання в околиці тієї точки, у якій він обчислений. Тому, якщо з деякої поточної точки х⁽¹⁾ переміщатися в напрямку вектора f(x⁽¹⁾), то функція f буде зростати, принаймні, у деякій околиці х⁽¹⁾. Отже, для точки х⁽²⁾ = х⁽¹⁾ +λ f(x⁽¹⁾), (λ>0), що лежить у такій околиці, справедлива нерівність f(x⁽¹⁾)≤ f(x⁽²⁾). Продовжуючи цей процес, ми поступово будемо наближатися до точки деякого локального максимуму (див. рис. 2.1).

Однак як тільки визначається напрямок руху, відразу ж встає питання про те, як далеко варто рухатися в цьому напрямку або, інакше кажучи, виникає проблема вибору кроку у рекурентній формулі

яка задає послідовність точок, що прагнуть до точки максимуму.

Залежно від способу її вирішення розрізняють різні варіанти градієнтного методу. Зупинимося на найбільш відомих з них.

Оптимізаційні задачі для опуклих функцій. Загальним недоліком розглянутих вище методів безумовної оптимізації було, з одного боку, те, що вони дозволяють відшукувати тільки точки, підозрілі на локальний екстремум, а з іншого боку - те, що знайдені рішення можуть істотно залежати від початкового наближення. Пошук глобального оптимуму має на увазі перебір знайдених точок, що, у випадку градієнтних методів, може бути здійснений за рахунок підбора відповідних початкових наближень х⁽⁰⁾.

Однак існує один клас функцій, для яких градієнтні методи приводять до знаходження глобального оптимуму. Це опуклі функції.

Функція f(x) = f (x₁, x₂, …, x_n) називається опуклою в області D, якщо для будь-яких двох точок х⁽¹⁾, х⁽²⁾ Î D і будь-якого λ Î [0,1] виконується нерівність

 

 

якщо ж

 

 

те функція називається вгнутою.

Геометричний зміст понять опуклості й вгнутості для випадку функції однієї змінної представлений на рис. 2.3. З нього, зокрема, видно, що графік опуклої функції лежить нижче відрізка, що з'єднує точки (х⁽¹⁾, f(x(¹⁾)) і (х⁽²⁾, f(x⁽²⁾)), а графік вгнутої - вище.

Можна довести, що достатньою умовою опуклості функції f (x₁, x₂, …, x_n) є додатна визначеність матриці

яка називається також матрицею Гессе, у всіх точках х Î D.

Відповідно, достатньою умовою вгнутості є від’ємна визначеність матриці Гессе. Зокрема, для функцій однією змінної достатньою умовою опуклості (увігнутості) є виконання нерівності fⁿ(x)≥0 (fⁿ(x)≤0).

Геометрична інтерпретація показує, для опуклої функції локальний екстремум, якщо він існує, збігається із глобальним. Справедлива теорема.

 

Теорема 2.2. Якщо f(x) опукла (увігнута) на Rn функція й f(x*)=0, то х* - точка глобального мінімуму (максимуму).

Доведення.

Доведення досить провести для випадку вгнутої функції, тому що для протилежного випадку воно буде абсолютно аналогічним з точністю до знака.

Нехай х - довільна точка, відмінна від точки х*. Тоді, для будь-якого λ Î [0,1], тому вгнутість функції f(x) буде виконуватися

із чого треба

Якщо ввести вектор l = х - х* і позначити Δх = λ(x – х*) = λl, те довжина вектора Δх буде дорівнює ||Δx||=λ||l||. Отже,

Спрямувавши λ → 0 і з огляду на те, що вектор l спрямований з Δх, одержимо

За умовою теореми f(x*)=0. Це означає, що для будь-якого вектора l (а, стало бути, для будь-якої крапки х) відповідно до формули, що виражає похідну по напрямку через градієнт,

Отже, для будь-якої точки х, не рівної х*, справедлива нерівність f(x)-f(x)≤ 0 <=> f(x)≤ f(x*), тобто х* - точка глобального максимуму.

Оскільки опуклі функції мають настільки «корисні» оптимізаційні якості, вони займають винятково важливе місце в теорії дослідження операцій. Відповідний розділ одержав назву опуклого програмування, а загальне завдання опуклого програмування формулюється як проблема пошуку максимуму вгнутої (мінімуму опуклої) функції на опуклій множині.