Гессиан и квадратичная функция

Гессиан – симметричная квадратичная форма вида

f (x) = x^TH x,

где H – матрица Гессе.

Гессиан входит в ряд Тейлора для произвольной функции f (x):

f (x + ∆x) = f (x) + ∇f (x)^T∆x + 1\2 ∆x^TH(x) ∆x + . . .

Квадратичная функция – функция вида

f (x) = c + b^Tx + x^TA x,

где c – скаляр, b – вектор, A – матрица.

По теореме Тейлора, любую функцию можно аппроксимировать квадратичной функ- цией (рядом Тейлора 2-го порядка). В квадратичную функцию входит квадратичная форма. Кв форма - наиболее простая дважды дифф фия на векторном пространстве которая может иметь экстремум.

Вопросы для самопроверки

1. Покажите, что критерии минимума из этой лекции и из лекции 1.3 тождественны, если функция одномерная.

2. Какую функцию нельзя аппроксимировать квадратичной функцией в окрестности некоторой точки?

Окончание поиска и численное дифференцирование Критерий останова для методов оптимизации

Любой численный метод оптимизации задается алгоритмом, общий вид которого представлен ниже. Сначала задается начальная точка и заданная точность поиска минимума. Затем в цикле осуществляется переход в новую точку и проверяется критерий окончания поиска (КОП). Если он выполнен, алгоритм завершается.

В идеале, метод оптимизации строит последовательность {x_k}, которая является фундаментальной, и сходится к точке минимума x^∗. Но в алгоритме оптимизации следует задавать конечную точность, поскольку:

1. В компьютере нет действительных чисел: во многих случаях истинное значение x^∗ не может быть найдено.

2. Вычисления с абсолютной точностью могут потребовать бесконечного времени.

3. На практике обычно достаточно знать приближение x^∗.

Так или иначе, когда последовательность {x_k} сошлась, нам необходимо это опреде- лить. Как же использовать заданное значение точности для остановки алгоритма? Есть несколько способов определить критерий окончания поиска.

Первая идея такова. Рассмотрим длину вектора градиента в текущей точке (2-норму, т.е. расстояние по Евклиду)

или его наибольшую компоненту (∞-норму):

Пример использования 2-нормы показан на рисунке 1.

Если выбранная нами норма меньше заданного значения ε, то алгоритм завершает свою работу.

Вторая идея заключается в следующем. Рассмотрим изменения x или f (x) в двух последних точках:

Для одномерного случая эти изменения показаны на рисунке 2.

Е сли выбранная нами разница меньше заданного значения ε, то алгоритм завершает свою работу.

Также стоит заметить, что методы оптимизации иногда могут зацикливаться. На практике нет никакой гарантии, что последовательность {x_k} действительно фундаментальная. В этом случае ни один из указанных критериев не будет достигнут, и для остановки метода оптимизации нужно применить критерий, связанный с максимальным возможным числом итераций или вычислений целевой функции.

Резюмируя, составим список основных вариантов критерия окончания поиска:

7. Наибольшее число итераций K = k_max или вычислений целевой функции N .

На практике обычно используют составной КОП, например:

где ε₁, ε₂ – заданные значения точности.

Конкретный вид критерия зависит от задачи и метода оптимизации.

Никогда не используйте слишком маленькие значения точности! Выбирайте ε ≥ 10⁻¹⁴. Данное ограничение связано с близостью к т.н. машинному эпсилону, равному для типа double величине порядка 10⁻¹⁶. Для корректной работы алгоритма ε должен быть существенно больше машинного эпсилона.

Наиболее простой и надежный КОП, который используется в примерах в этом курсе:

где ε – заданная точность.