Нелінійне програмування

Під нелінійним програмуванням розуміється велика група числових методів, які іноді називають також "прямими методами" рішення оптимізаційних завдань. З їх допомогою вирішуються задачі з нелінійними цільовими функціями, в яких на шукані змінні можуть бути накладені нелінійні обмеження, які мають вигляд рівності або нерівностей. По суті методи нелінійного програмування використовують, якщо жоден з методів інших розділів математичного програмування не дозволяє скільки-небудь просунутися у вирішенні оптимізаційної задачі.

Методи одновимірної оптимізації: сканування, половинного ділення, золотого перетину, чисел Фібоначчі, ДСК-Пауела мають як самостійне значення, так і часто використовуються в якості допоміжних (наприклад, під час спуску по напрямку) в багатовимірних методах оптимізації. При використанні цих методів задають інтервал пошуку зміни змінної і точність визначення оптимального значення цієї змінної. Більшість методів (за винятком методу сканування) застосовуються для унiмодальних функцій.

Серед методів безумовної багатовимірної оптимізації виділяють методи нульового, першого і другого порядків. У методах нульового порядку на кожному кроці при пошуку екстремуму цільової функції використовується інформація про значеннях цієї функції на попередніх кроках, в методах першого порядку, крім цього, використовується інформація про похідні, а в методах другого порядку – також і других похідних функції в цих точках.

До методів безумовної багатовимірної оптимізації нульового порядку відносять методи сканування, покоординатного спуску, багатогранника, що деформується; першого порядку – методи релаксації, найшвидшого спуску; другого порядку – ньютонівські і квазіньютонівські методи. Заслуговує також згадка про методи випадкового пошуку безумовного екстремуму цільової функції. Для вирішення задач умовної оптимізації з обмеженнями типу нерівностей і рівностей використовують методи прямого пошуку з поверненням, проекціювання вектора градієнта, штрафних функцій. Особливу роль нелінійне програмування грає на окремих етапах вирішення завдань оптимізації іншими методами, наприклад за допомогою динамічного програмування, принципу максимуму і ін.

Опукле програмування

Розглядаються методи вирішення задач мінімізації опуклих функцій на опуклих множинах, що задаються системами нерівностей і рівностей. Існує закінчена теорія опуклого програмування і розроблені числові методи вирішення задач. Центральним фактом опуклого програмування є теорема Куна-Такера про сідлову точку, яка дає необхідну і достатню умову існування оптимального рішення задачі. При деяких додаткових умовах це дозволяє отримати ефективні алгоритми вирішення, пов'язані з пошуком сідлової точки. Інший підхід до вирішення задачі пов'язаний з пошуком можливих напрямків, які не виводять з множини допустимих точок і вздовж яких цільова функція зменшується. На кожній ітерації такого методу обчислюється можливий напрямок, що виходить з чергової точки, після чого проводиться зрушення у цьому напрямі. Використовуються методи, засновані на зведенні задач опуклого програмування до безумовної оптимізації (методи штрафів) та послідовної їх апроксимації за допомогою лінійного програмування.