1. Методы оптимизации функции многих переменных

   1. Схема безусловной оптимизации функции многих переменных

      1. Общие критерии останова численных методов оптимизации функции многих переменных

1. Достигнута заданная норма градиента:

2. Достигнуто предельное количество итераций:

3. Изменение значения функции и текущего приближения к точке оптимума меньше заданных величин: и

2. Модельная схема применения методов оптимизации функции многих переменных

Методы оптимизации функции носят итерационный характер и имеют единую модельную схему. Имея текущее приближениетекущей точкина-ой итерации выполняется следующая последовательность шагов:

Шаг 1:Проверка соблюдения условия останова.

• если условие останова выполняется, то вычисления прекратить и взять x^(k)в качестве искомого решения

• в противном случае перейти на шаг 2

Шаг 2:Расчет направления поиска. Вычислить не нулевой вектор S^(k)- направление поиска.

Шаг 3:Расчет длины шага. Вычислить положительное число, обеспечивающее выполнение неравенства:

Шаг 4:Пересчет оценки решения.

Переход на шаг 1.

Эффективность алгоритмов выполненных по модельной схеме зависит от двух параметров:

• вектора направления поиска

• шага вдоль заданного направления .

Способы определения достаточно хорошо отработаны и гарантируют убывание функции.

Главной частью алгоритмов оптимизации, определяющих их "лицо и название", является расчет .

2. Градиентные методы

   1. Аффинная (линейная) модель функции многих переменных

Аффинная модель функции имеет вид:

,

тогда

.

Для того чтобы вектор S^(k)был направлением минимизации, обычно контролируется выполнение условия:

.

2. Метод Коши

Направление вектора градиента функции является направлением возрастания функции, тогда антиградиент является направлением убывания функции в точке. Такое направление называется направлением наискорейшего спуска. Метод, использующий такой способ расчета направления, называется метод наискорейшего спуска (метод Коши).

Итерационная формула метода выглядит следующим образом:

Метод Коши гарантирует сходимость для сильно выпуклых функций. Для таких функций скорость сходимости метода – линейная.

Эффективность алгоритма зависит от вида минимизируемой функции. Алгоритм наискорейшего спуска сойдется за одну итерацию при любом начальном приближении для функции , но схо­димость будет очень медленной, например, в случае функции вида. В тех ситуациях, когда линии уровня минимизируемой функции представляет собой прямолинейный или, хуже того, криволинейный "овраг" эффективность алгоритма оказывается очень низкой. Очевидно, что хорошие результаты может давать пред­варительное масштаби­рование функций.

Процесс наискорейшего спуска обычно быстро сходится вдали от точки экстремума и медленно в районе экстремума. Поэтому метод наискорейшего спуска нередко используют в комбинации с другими алгоритмами.

3. Расчет направления поиска методами сопряженных градиентов

Другой способ расчета направления поиска S^(k)учитывает информацию об изменении градиента при переходе отx^(k-1)кx^(k):

В этом случае градиенты будут сопряженными.

Методы, базирующиеся на этой формуле, называются методами сопряженных градиентов:

• метод Флетчера-Ривса

• метод Полака-Рибьера

4. Метод Флетчера-Ривса

В методе Флетчера-Ривса вычисляется по следующей формуле:

, .

Такое вычисление обеспечивает для квадратичной функции видапостроение последовательности-сопряженных направлений(). Для квадратичных функций с матрицейметод Флетчера-Ривса является конечным и сходится за число шагов не превышающее. При минимизации неквадратичных функций метод не является конечным. Скорость сходимости метода:.

5. Метод Полака-Рибьера

Для неквадратичных функций, как правило, используется метод Полака-Рибьера, в котором величина вычисляется следующим образом:

,.

Часто при практических реализациях метода предусматривается использование итерации наискорейшего градиентного спуска, тогда:

,

Метод Полака-Рибьера гарантирует сходимость для сильно выпуклых функций со сверхлинейной скоростью сходимости.

3. Методы второго порядка

   1. Квадратичная модель функции многих переменных

Методы второго порядка основаны на использовании квадратичной модели функции в окрестности точки :

.

Квадратичная модель приводит к линейной модели для градиента f(x):

Тогда направление может быть найдено из соотношения:

,

.

2. Метод Ньютона

Т.к. матрица Гессе является симметричной и в окрестностях точки оптимума положительно определенной.

Вычисленное таким образом направление называется ньютоновским направлением, а метод – метод Ньютона.

Итерационная формула метода Ньютона имеет вид:

.

В случае, если матрица не является положительно определенной используется вычисление точкипо методу наискорейшего спуска:

.

Сходимость метода Ньютона доказана только для сильно выпуклых функций и для достаточно хорошего начального приближения. В этом случае метод имеет квадратичную скорость сходимости.