Метод доверительных областей

Сформулируем алгоритм доверительных областей.

Алгоритм 1: Алгоритм доверительных областей

Важной особенностью метода доверительных областей является возможность использо- вания квазиньютоновского подхода к формированию модели, которая не будет требовать

вычисления матрицы Гессе. В этом случае мы рассматриваем квадратичную задачу

где вместо матрицы Гессе используется квазиньютоновская матрица Bk. Два ее важных преимущества таковы: во-первых, нет необходимости вычислять набор вторых производ- ных целевой функции, во-вторых, скорее всего, Bk положительно определенная. Недостат- ком будет то, что точность ее меньше, чем если используется матрица Гессе, но в данном контексте это несущественно.

Рассмотрим пример работы метода доверительных областей на функции Розенброка. Начальная точка x₀ = (−1, −1)^⊤, точность e = 10⁻³, начальный радиус области ∆₀ = 1.

Траектория оптимизации показана на рисунке 4.

Х отя метод немного уступает квазиньютоновским методам по скорости, он менее скло- нен к неустойчивому поведению. Таким образом, он является одним из лучших методов оптимизации в плане достижения компромисса между скоростью и надежностью.

Вопросы для самопроверки

1. Зачем метод доверительных областей использует линейный поиск, когда можно найти минимум квадратичной модели аналитически?

2. Известно улучшение метода доверительных областей, когда доверительная область имеет форму эллипсоида, а не шара. Каким образом расчитать эту область? Пред- ложите формулы, которые нужно использовать для работы с такой модфицикацией метода.

Метод хука-дживса Описание метода

П усть имеется точка x₀, задан шаг по каждому измерению p_i = P e_i, где P – скаляр, e_i – единичный вектор соответствующей оси. Из текущей точки в направлениях вдоль координатных осей можно сделать 2ⁿ шагов, где n – число измерений, как показано на рисунке 1.

Если просто перебирать все 2ⁿ шагов, то эффективность метода будет существенно уменьшаться с ростом размерности. Поэтому первая идея, используемая в методе Хука- Дживса, такова. По каждой из координат нужно выбрать из точки x₀ первую точку, где целевая функция уменьшится, и перейти в нее. Если улучшения нет, оставить данную ко- ординату без изменений и перейти к следующей координате. Примеры последовательности перебора шагов для случая двух измерений показаны на рисунке 2. Этот шаг носит назва- ние исследующего шага. Если ни одно подходящее x₁ не было найдено, то мы уменьшаем P в 2 раза и повторяем исследующий шаг.

Р ис. 2 – Примеры исследуюшего шага. Красным отмечены номера непринятых точек, где целевая функция увеличилась, зеленым – принятых, где целевая функция уменьшилась.

Вторая идея, используемая в методе Хука-Дживса – шаг по образцу. Если было найдено новое подходящее значение x₁ : f (x₁) < f (x₀), то делаем шаг по образцу:

x₂ = a(x₁ − x₀) + x₀, a > 1.

Иллюстрация шага по образцу приведена на рисунке 3.

Сразу после шага по образцу делается исследующий шаг. Суть этой идеи в том, что если мы нашли некоторое удачное направление, то в этом направлении следует сразу сделать еще один шаг «по образцук, а затем уточнить его с помощью исследующего шага.

Алгоритм 1: Алгоритм Хука-Дживса

Рассмотрим в качестве примера работу метода Хука-Дживса на функции Химмельблау. Начальная точка x₀ = (1, 1)^T, точность ε = 10^—2, параметры P = 1, a = 2. Траектория метода показана на рисунке 4.

Рис. 4 – Траектория метода Хука-Дживса на функции Химмельблау. Пустыми квадрати- ками отмечены точки, где вычислялась целевая функция, зелеными кружками отмечены точки, принятые после исследующего шага, черными квадратиками отмечены точки, полу- ченные после шага по образцу. Синий кружок – стартовая точка, красный кружок – найден- ная точка минимума.

Преимущества метода Хука-Дживса:

1. Метод нулевого порядка, не требует вычисления производной.

2. Надежен, сходится почти всегда. Проблемы метода Хука-Дживса:

1. Сходимость линейная.

2. На больших размерностях становится неэффективен.

3. Испытывает трудности на овражных задачах.

В качестве второго примера рассмотрим работу метода Хука-Дживса на функции Ро- зенброка. Начальная точка x₀ = (−2, 0)^T, точность ε = 10^—3, параметры P = 1, a = 2. Траектория метода показана на рисунке 5.

Рис. 5 – Траектория метода Хука-Дживса на функции Розенброка.

Метод действительно оказался не очень эффективен на овражной задаче.