30.3. Поиск экстремума функции.

Задачи поиска экстремума функции означают нахождение ее максимума (наибольшего значения) или минимума (наименьшего значения) в некоторой области ее аргументов. Ограничения значений аргументов, задающих эту область, как и прочие дополнительные условия, должны быть определены в виде системы неравенств и (или) уравнений. В таком случае говорят о задаче на условный экстремум. Поиск экстремума функции включает в себя задачи нахождения локального и глобального экстремума. Последние называют еще задачами оптимизации.

Для решения задач поиска максимума и минимума чаще всего применяются те же самые итерационные градиентные численные методы, что и для решения нелинейных уравнений. Для решения задачи на  экстремум функции так же следует задать начальное приближение - нулевую итерацию. Отличием является критерий, согласно которому строятся следующие итерации. В случае решения нелинейных уравнений и систем он заключается в поиске точки x, максимально близкой к нулю f(x), а в случае задачи на экстремум - точки, увеличивающей (или уменьшающей) значение функции  f(x) от шага к шагу, либо приближающей к нулю ее производную f'(x) (в последнем случае, подразумевающем дифференцируемость функции f, задача поиска экстремума сводится к задаче решения нелинейного уравнения).

Рассмотрим конкретный пример функции f(x)=x⁴+5x³-10x,  на интервале (-2,5). Она имеет глобальный максимум на левой границе интервала, глобальный минимум, локальный максимум, локальный минимум и локальный максимум на правой границе интервала (в порядке слева–направо).

При помощи градиентных методов можно решить только задачу поиска локального экстремума. Чтобы найти глобальный максимум (или минимум), требуется либо сначала вычислить все их локальные значения и потом выбрать из них наибольший (наименьший), либо предварительно просканировать с некоторым шагом рассматриваемую область, чтобы выделить из нее подобласть наибольших (наименьших) значений функции и осуществить поиск глобального экстремума, уже находясь в его окрестности. Последний путь таит в себе некоторую опасность уйти в зону другого локального экстремума, но часто может быть предпочтительнее из соображений экономии времени. Всем аргументам функции f предварительно следует присвоить некоторые значения, причем для тех переменных, по которым производится минимизация, они будут восприниматься как начальные приближения. Помните, что существенное влияние на результат оказывает как раз выбор начального приближения, в зависимости от чего в качестве ответа выдаются различные локальные экстремумы. Возможно, что численный метод вообще не справится с задачей, если начальное приближение (например, x=-10 в рассматриваемом примере) будет выбрано далеко от области локального максимума, и поиск решения уходит в сторону увеличения f(x), т. е. расходится.

31. Задача нелинейного программирования при ограничениях в неравенствах.

31.1. Теорема Куна-Таккера.

Рассмотрим случай задачи с ограничениями-неравенствами :

минимизировать                         (31.1)

при ограничениях

                               (31.2)

В точке минимума неравенства могут выполняться как равенства или строгие неравенства.

Ограничение  называется активным в точке , если оно выполняется в ней как строгое равенство, то есть если

Используя геометрические свойства допустимой области, найдем необходимые условия экстремума для задач минимизаци с ограничениями. Для этого сначала рассмотрим случай, когда все линейны. Итак, пусть требуется найти  при условии

                (31.3)

Здесь каждое ограничение (31.3) определяет полупространство в . Допустимая область  задана пересечением полупространств, определяемых неравенствами (31.3), и следовательно, является выпуклым многогранником. Вектор  является нормалью к гиперплоскости, определяемой уравнением , и направлен внутрь области .

Пусть точка  является точкой минимума задачи (31.1) с ограничениями (31.3). Обозначим множество индексов активных ограничений через

                             (31.4)

Например, на рис.5.9 приведен пример минимизации с линейными ограничениями при . Выберем любую допустимую точку из . Вектор направлен из внутрь области . Такой вектор будем называть входящим. Для этого вектора с учетом того, что , можно записать следующее условие:

 ,

или

                                 (31.5)

для всех  и .

Таким образом, входящий вектор  определяет допустимое направление перемещения из точки . Но так как  минимальна в точке , то при любом   , удовлетворяющем (31.5) , будем иметь:

                           (31.6)

Применим теперь теорему, которая есть следствием леммы Фаркаша (см. приложение 1). Из условий (5.3.5), (5.3.6) на основании леммы Фаркаша следует, что существует множество неотрицательных скаляров , для которых

                   (31.9)

Если принять , что  при  (то есть для неактивных ограничений), (31.7) можно переписать в виде

             (31.10)

Кроме того, получим, что

                            (31.11)

поскольку при , а при . Поэтому уравнения ограничений можно включить в целевую функцию следующим образом:

                         (31.12)

Следовательно,  удовлетворяет следующим условиям:

                  (31.13)

                    (31.14)

При рассмотрении задачи минимизаци  при условиях  может случиться так , что не будет существовать таких , для которых без дополнительных предположений о природе функций были бы справедливы уравнения (31.13), (31.14), где - оптимальное решение. Эти дополнительные предположения называют условиями регулярности ограничений. В частности, в рассмотренном случае, в качестве таких условий использовали линейную независимость векторов-градиентов ограничений .

Теорема Куна-Таккера. Выше найдены условия оптимальности (31.11), (31.12) для задачи НП с линейными ограничениями. Обобщим эти условия на случай задачи (31.1), (31.2), когда все ограничения нелинейны.

Условия оптимальности решения задачи НП формулируются в следующей теореме, имеющей исключительно важное значение в теории нелинейного программирования .

Теорема 31.1. (Куна-Таккера). Пусть функции , имеют непрерывные частные производные на некотором открытом множестве , содержащем точку . Если  является точкой минимума функции  при ограничениях , удовлетворяющих  условию регулярности в виде линейной независимости векторов , то существуют такие неотрицательные множители Лагранжа  , что

                            (31.15)

                    (31.16)

Определим функцию Лагранжа следующим образом:

                          (31.17)

Тогда теорему Куна-Таккера можно записать в виде

                                (31.18)

                             (31.19)

              (31.20)

Заметим, що множители Лагранжа в задаче НП с ограничениями-равенствами являются знаконеопределенными, тогда как в теореме Куна-Таккера они должны быть положительными.

Доказательство. При достаточно малых , разлагая  в ряд Тейлора, получим

             (31.21)

где - остаточный член второго порядка малости . Пусть - множество активных ограничений. Тогда

так как  при . Заметим, що система неравенств

(31.22) (31.23)

                                 

несовместна, так как в противном случае при достаточно малом  для некоторого  получили бы:

           

что противоречит предположению об оптимальности точки . Для дальнейшего доказательства воспользуемся леммой, являющейся следствием леммы Фаркаша.

Лемма. При произвольной матрице  выполняется одно из двух условий:

либо выполняется следующая система неравенств:

                                       (31.24)

либо выполняется следующая система равенств (уравнений):

                                (31.25)

Одновременно условия (31.24), (31.25) выполняться не могут.

Применим эту лемму к (31.22), (31.23), приняв за матрицу

           

Поскольку система (31.3.22), (31.3.23) не имеет решений, то существуют такие что

                       (31.26)

где

Если присвоим значение 0 для , то получим . Условие называют условием дополняющей  нежесткости.

      Покажем, что в (31.26) не может равняться 0. В самом деле, если допустить, что , то получим

                                (31.27)

Однако (31.27) противоречит условию теоремы о линейной независимости векторов . Остается принять . Тогда, разделив обе части (31.26) на , получим

Следовательно, теорема доказана.

Понятие регулярности было впервые введено Г.Куном и А.Таккером и  имеет различные формы. В частном случае, когда  и все  являются выпуклыми функциями, условие регулярности записывается в виде: существует такой вектор , что  для всех . Это означает, що может существовать хотя бы одна внутренняя точка допустимого множества решений. Это условие называют условием регулярности Слейтера .