Одномерная задача оптимизации

Рассмотрим задачу поиска минимума одномерной функции (), определенной на интервале : 

Как известно из курса математического анализа, внутренние точки локального и глобального минимума функции () являются стационарными точками критерия оптимальности () (см. рис. 1) или, что то же самое, решениями уравнения

(1)

Рис. 1.  Локальные минимумы(x₁^*,x₃^*), локальный максимум (x₂^*) и точка перегиба (x_c^*) функции Φ(x).

Но, решениями уравнения (1) являются не только точки минимума, но и точки максимума и точки перегиба функции () (см. рис. 1). Следовательно, уравнение (1) является только необходимым условием минимума, но не является достаточным условием.

Если существует вторая производная функции (), то для отыскания достаточных условий минимума () можно привлечь эту производную. Из курса математического анализа известно, что если в точке  значение первой производной функции () равно нулю, а второй производной – положительно, то в этой точке функция () имеет минимум (локальный или глобальный).

Таким образом, имеем следующую теорему:

Теорема 1. Если функция () определена и дважды непрерывно дифференцируема на интервале [,], то необходимыми и достаточными условиями минимума этой функции в точке  являются условия

Приведем доказательство справедливости последнего условия. Для этого рассмотрим разложение функции () в ряд Тейлора в окрестности точки :

(2)

Здесь  – некоторая достаточно малая величина.

Для того, что в точке  достигался минимум функции (), необходимо, чтобы разность  была положительной. Поскольку , то из (2) следует, что для выполнения этого условия необходимо, чтобы имело место неравенство 

Точками, в которых функция () принимает наименьшее на интервале  значение, могут быть либо ее стационарные точки, лежащие внутри интервала , либо ее точки недифференцируемости (критические точки критерия оптимальности), к которым следует отнести также концы интервала .

Поэтому точку, в которой функция  принимает наименьшее на интервале  значение, нужно искать, сравнивая значения этой функции во всех стационарных и критических точках.

Многомерная задача безусловной оптимизации

Многие методы решения многомерной задачи нелинейного программирования основаны на сведении этой задачи к задаче безусловной оптимизации. Поэтому рассмотрим -мерную задачу оптимизации без ограничений

(1)

По аналогии с одномерной задачей, для того, чтобы точка  являлась минимумом функции () необходимо выполнение условия стационарности функции () в точке  или, что то же самое, необходимо, чтобы точка  была стационарной точкой функции ():

(2)

Положим, что функции () дважды непрерывно дифференцируема в окрестности точки . Для поиска достаточного условия достижения этой функцией в точке  минимума, разложим () в окрестности точки  в ряд Тейлора:

(3)

Здесь -мерный вектор-столбец достаточно малых величин , – -матрица Гессе.

По аналогии с одномерной задачей, для того, что в точке  достигался минимум функции (), необходимо, чтобы разность  была положительной. Поскольку , то из (3) следует, что для выполнения этого условия необходимо, чтобы матрица Гессе () была положительно определена в точке .

Таким образом, справедлива

Теорема 1. Если функция () дважды непрерывно дифференцируема в окрестности точки Rⁿ, то необходимыми и достаточными условиями минимума этой функция в точке  являются условия:

(4)

() - положительно определена

Таким образом, теорема 1 определяет необходимые и достаточные условия минимума в многомерная задача безусловной оптимизации.

Заметим, что условие ()=0 является только необходимым условием минимума в многомерной задаче безусловной оптимизации.

По аналогии с одномерной задачей точками, в которых функция () достигает своего наименьшего значения, могут быть либо ее стационарные точки функции, либо критические точки функции (точки недифференцируемости).

Поэтому так же, как в одномерной задаче, точку, в которой функция () принимает наименьшее значение нужно искать, сравнивая значения этой функции во всех стационарных и критических точках.