Метод невизначених множників Лагранжа

З курсу математичного аналізу відомі методи вирішення нескладних оптимізаційних задач, в яких задано аналітичний вираз критерію оптимальності – цільової функції від керуючих впливів, при цьому цільова функція є безперервною або гладкою. Завдяки цьому можна знайти аналітичні вирази для їх перших похідних, а для гладких функцій і других похідних, а потім, використовуючи різні ознаки досліджувати "підозрілі" на екстремум точки. При перевірці відкидають ті точки, які не можуть визначати екстремальні значення критерію, а серед решти вибирають ті, які можуть задовольняти найбільшому або найменшим значенням критерію оптимальності залежно від постановки задачі.

Оскільки система рівнянь, що отримується в результаті прирівнювання нулю перших похідних функцій, забезпечує лише необхідні умови оптимальності, то її рішення в подальшому перевіряють за допомогою достатніх умов (критерій Сильвестра) з метою виявити тип екстремуму.

Ці методи дослідження дозволяють знаходити екстремум в так званих задачах безумовної оптимізації. При наявності обмежень на область зміни незалежних змінних, тобто в задачах умовної оптимізації, згадані методи використовують тільки для знаходження екстремальних значень всередині області. Крім того, проводять аналіз значень цільової функції на кордоні області зміни, де може перебувати екстремум функції, який може виявитися досить складним, особливо для задач з великим числом змінних.

При вирішенні класичної задачі на умовний екстремум, що містить обмеження типу рівностей, використовують метод невизначених множників Лагранжа, який дозволяє звести задачу умовної оптимізації до вирішення більш простої задачі безумовної оптимізації, хоча і більш високої розмірності. Використовуються зазначені вище методи дослідження екстремуму функції класичного аналізу, при цьому порядок системи рівнянь, розв'язуваної для знаходження екстремумів, відповідно підвищується на число обмежень, що мали місце. Цей метод часто використовується як допоміжний при вирішенні іншими методами різних задач оптимізації, в яких містяться обмеження типу рівностей, наприклад в варіаційному численні і динамічному програмуванні.

Лінійне програмування

Лінійне програмування – це математичний апарат, що дозволяє вирішувати задачі оптимізації, в яких критерій оптимальності є лінійною функцією кількох змінних, а область їх зміни визначається сукупністю лінійних виразів.

Кожній задачі лінійного програмування може бути поставлена у відповідність двоїста їй задача. Центральним фактом в лінійному програмуванні є теорема подвійності, що встановлює рівність оптимальних значень цільових функцій прямої та двоїстої задач. Зазначимо, що кожній задачі лінійного програмування відповідає інша задача, яка називається двоїстою по відношенню до вихідної. Рішення двоїстої задачі може виявитися легше рішення вихідної задачі і бути корисним при вирішенні прямої задачі, а також може бути використано при розробці різних алгоритмів.

Багато задач лінійного програмування можуть бути вирішені за допомогою практично універсального алгоритму – симплексного методу, який дозволяє за скінченне число кроків знаходити оптимальне рішення. При цьому наявність у вихідній постановці різних комбінацій обмежень (рівності або нерівностей) і їх числа не позначається на можливостях застосування алгоритму, оскільки можливі еквівалентні перетворення, що дозволяють звести вихідну задачу до потрібного вигляду.

На відміну від інших методів додаткові перевірки на оптимальність одержуваних тут рішень не потрібні. В задачах лінійного програмування допустиму множину рішень можна представити у вигляді опуклого багатогранника, при цьому шукане рішення знаходиться в вершині багатогранника, а іноді на його ребрі або межі. Симплекс-метод дозволяє, почавши з будь-якої вершини, далі рухатися в такому напрямку, перебираючи вершини, при якому значення цільової функції зростає (зменшується). У багатограннику кожній вершині відповідає своя система рівнянь, що обирається спеціальним чином з системи нерівностей обмежень і умов задачі. Таким чином, обчислювальна процедура симплекс-методу полягає в послідовному вирішенні систем лінійних алгебраїчних рівнянь, тобто перебором вершин опуклого багатогранника в багатовимірному просторі.