Методы оптимизации

91

1.Задать номер итерации k = 0, вычислить f (x0 ).

2.Вычислить начальное направление спуска d0 = − f (x0 ).

3.Решить задачу:

Φ(λ) = f (xk + λd ) → min,

k λ≥0

т. е. найти такое λk , что

Φ(λk ) = minλ≥0 f (xk + λdk ).

4.Положить xk+1 = xk + λkdk .

5.Если xk+1 − xk ≤ εx и f (xk+1 ) ≤ εy , то положить x* ≈ xk+1 и закончить

вычисления. Иначе перейти на шаг 6.

6. Вычислить новое направление спуска по формуле:

где

fk = f (xk ), fk+1 = f (xk+1 ), ∆fk = fk+1 − fk .

7. Выполнить присваивание k = k +1. Вернуться на шаг 3.

Легко видеть, что единственное различие между МФР и МПР заключается в способе выбора параметра β . Причем отличия начинаются только на второй итерации решения.

4 Метод Миля – Кентрелла

Метод Миля – Кентрелла (ММК) называется градиентным методом с памятью, очень эффективен по числу необходимых итераций, но требует большого числа вычислений компонент градиента (или хранения их в памяти ЭВМ).

Алгоритм метода Миля – Кентрелла. Исходные данные – ЦФ и ее градиент, начальная точка x0 , точность по аргументу εx , точность по функции εy .

1.Задать номер итерации k = 0, вычислить f (x0 ).

2.Вычислить начальное направление спуска d0 = − f (x0 ).

3.Решить задачу:

92

Φ(λ) = f (xk + λd ) → min,

k λ≥0

т. е. найти такое λk , что

Φ(λk ) = minλ≥0 f (xk + λdk ).

4.Положить xk+1 = xk + λkdk .

5.Если xk+1 − xk ≤ εx и f (xk+1 ) ≤ εy , то положить x* ≈ xk+1 и закончить

вычисления. Иначе перейти на шаг 6.

6. Вычислить новое направление спуска по формуле:

При вычислении нового направления спуска учитываются значения градиента во всех предыдущих точках xk , поэтому метод и называется методом с памятью.

7. Выполнить присваивание k = k +1. Вернуться на шаг 3.

Единственное различие между МФР и ММК заключается в способе вычисления направления спуска dk . Причем отличия начинаются только на второй итерации решения. На первой итерации метод аналогичен МФР и МПР.

3.3.6Квазиньютоновские методы (методы с переменной метрикой)

Квазиньютоновские методы (КМ) также основаны на свойствах квадра-

тичных функций. Данные методы обладают положительными чертами метода Ньютона, однако используют только первые производные [2, 4, 8–9]. С чем это связано?

Итерационный поиск по методу Ньютона осуществлялся по формуле (модифицированный метод с длиной шага):

Трудность может возникнуть, когда матрица Гессе 2 f (xk )= H f (xk ) не является положительно определенной. В этом случае направление перемещения

может не быть направлением спуска и глобальная сходимость метода не будет обеспечена.

В таких ситуациях обратную матрицу Гессе H −f 1 (xk ) заменяют положительно определенной матрицей Ak , дающей направление перемещения, исходя из градиента f (xk ). Отсюда получаем итерационную формулу:

Очевидно, что матрица Ak на каждой итерации модифицируется так, чтобы для каждой квадратичной функции вида:

димости мы вновь придем к методу Ньютона.

Если метод применяется к произвольной функции, то Ak может рассматриваться на каждом шаге как аппроксимация (положительно определенная) об-

где Ack – корректирующая матрица.

Матрица Ak будет использоваться в формулах (3.47)–(3.49). Задача заключается в том, чтобы построить матрицу Ak таким образом, чтобы последовательность A0, A1,K, Ak+1 давала приближение к H −f 1 (x ). При этом для полу-

чения решения x требуется один дополнительный поиск вдоль прямой, если f (x) – квадратичная функция. Данный подход приводит к успеху при решении задач с нелинейными ЦФ общего вида.

94

где β – скалярная величина. Наиболее предпочтительным является приближение, удовлетворяющее соотношению (3.51), то есть ∆xk = Ak∆gk . Однако построить такую аппроксимацию невозможно, т. к. для того чтобы найти ∆ gk , необходимо знать матрицу Ak . Здесь используются следующие обозначения:

∆xk = xk+1 − xk , ∆gk = g (xk+1 )− g (xk ).

С другой стороны, можно потребовать, чтобы новое приближение удовлетворяло также формуле (3.51) с учетом свойств квадратичных функций:

С помощью непосредственной подстановки можно убедиться, что матрица

является решением этого уравнения (3.53) (для этого надо (3.54) умножить справа на ∆gk , и мы получим выражение (3.53)). Здесь y и z – произвольные векторы, т. е. (3.54) определяет некоторое семейство решений.

96

∆xk = xk+1 − xk ; ∆gk = f (xk+1 )− f (xk ).

Обозначим γk = ∆gk , δk = ∆xk .

·····························································

Теорема. Пусть матрицы Ak положительно определены. То-

гда, при условии δTk γk > 0, матрица Ak+1 = Ak + Ack , полученная по формуле (3.62), положительно определена. Эти условия выполняются, если точка xk+1 получается из xk одномерной минимизацией в направлении dk = −Ak f (xk ).

·····························································

·····························································

Доказательство. Пусть x – произвольный вектор, x ≠ 0. Требуется показать, что xT Ak+1x > 0 . Имеем из (3.62):

ствует, т. к. Ak – положительно определенная симметричная матрица. Тогда (3.63) имеет вид

97

Первое слагаемое справа ≥ 0, так как, согласно неравенству Коши – Буняковского, (uTv)2 ≤ (uTu)(vTv). Второе слагаемое будет

больше нуля, если δTk γk > 0. С другой стороны, оба слагаемые не могут одновременно обращаться в нуль. В самом деле, если первый член равен нулю, то

u = λv, (λ ≠ 0) x = λγk .

Но тогда δTk x = λδTk γk ≠ 0 и второй член отличен от нуля. Первая часть теоремы доказана.

Покажем, в частности, что δTk γk > 0, если xk+1 получена из xk

одномерной минимизацией в направлении dk = −Ak f (xk ). Имеем:

δk = xk+1 − xk = Θdk = −ΘAk f (xk ), Θ > 0; dkT f (xk+1 ) = 0 δTk f (xk+1 ) = 0.

При этих условиях

δTk γk = δTk ( f (xk+1 )− f (xk ))= −δTk f (xk ) = Θ f T (xk )Ak f (xk ) > 0, что и требовалось доказать.

·····························································

Свойство сохранения положительной определенности матриц существенно, ибо оно гарантирует, что направления dk , последовательно порождаемые алгоритмом, являются направлениями спуска. Действительно, первая вариация f (x) равна ∆f (x) = f T (xk )∆x . Используя формулы (3.47) и (3.48), получаем:

∆f (xk ) = −λk f T (xk )Ak f (xk ) < 0,

откуда f (xk+1 ) < f (xk ) при любых λk > 0 , если матрица Ak положительно

определена.

Алгоритм метода Дэвидона – Флетчера – Пауэлла. Исходные данные – ЦФ и ее градиент, начальная точка x0 , точность по аргументу εx , точность по функции εy .

1.Задать номер итерации k = 0, вычислить f (x0 ), положить A0 = E .

2.Вычислить направление спуска dk = −Ak f (xk ).

3.Решить задачу:

98

т. е. найти такое λk , что

Φ(λk ) = minλ≥0 f (xk + λdk ).

4.Положить xk+1 = xk + λk dk .

5.Если xk+1 − xk ≤ εx и f (xk+1 ) ≤ εy , то положить x* ≈ xk+1 и закончить

вычисления. Иначе перейти на шаг 6.

6. Вычислить новое приближение обращенного гессиана:

7. Выполнить присваивание k = k +1 и вернуться на шаг 2.

Достоинства метода. МДФП – наиболее широко используемый градиентный метод. Устойчивость – при решении самых различных задач, возникающих на практике.

Недостаток. Необходимость хранения матрицы Ak порядка n× n .

·····························································

Теорема. Алгоритм МДФП в применении к квадратичной функции (предполагается, что матрица Гессе A положительно определена): порождает направления δ0,δ1,K,δk , которые при любом k удовлетворяют соотношению:

·····························································

·····························································

Доказательство. Обозначим

δk = xk+1 − xk , γk = f (xk+1 )− f (xk ).

Тогда соотношения (3.62) перепишутся в следующем виде:

Умножим справа на Aδk , получим для любого k :

99

Значит, соотношения (3.65) и (3.66) верны при k = 0. Допустив, что они верны и при k =1, докажем их справедливость для произвольного значения k . При 0 ≤ i < k имеем

f (xk )− f (xi )= γi + γi+1 +K + γk−1.

Гессиан функции f (x) постоянен и равен A, поэтому Aδi = γi , i, и значит,

f (xk )− f (xi )= A(δi + δi+1 +K + δk−1 ).

Апоскольку xi есть оптимум f (x) в направлении δi−1 , то

δiT−1 f (xi )= 0. Следовательно, по предположению индукции:

δiT−1 f (xk )= δiT−1A(δi + δi+1 +K + δk−1 ) = 0, i =1,2,K,k −1.

В силу (3.66) и предположения индукции δi−1 = Ak Aδi−1 . Отсюда

δiT−1AAk f (xk )= 0, i, 1≤ i ≤ k.

А поскольку

δk = xk+1 − xk = −ΘAk f (xk ), Θ > 0,

то из этого следует вывод, что δi−1Aδk = 0, i =1,2,K,k , и, стало быть, соотношение (3.50) выполняется для произвольных значений k .

иγTk = δtT A, и значит

γTk Ak Aδi = γTk δi = δTk Aδi = 0, i ≤ k −1.

100

Следовательно,

Ak+1Aδi = Ak Aδi = δi 0 ≤ i ≤ k.

···························································

Теорема показывает, что в квадратичном случае направления δ0,δ1,K,δk , порожденные алгоритмом, последовательно сопряжены относительно матрицы A квадратичной формы. В этом случае алгоритм сходится не более чем за n итераций.

Наконец, при k = n −1 соотношение (3.66) дает

а поскольку δi линейно независимы (т. к. они последовательно сопряжены относительно A), то отсюда получим:

An A = E An = A−1.

·····························································

Квадратичная форма имеет вид: Q(x) = xT A−1x.

·····························································

Матрица A плохо обусловлена, если малые изменения вектора x порождают относительно большие изменения Q . Это связано с тем, что A является почти вырожденной матрицей: A → 0.

Число обусловленности матрицы:

K (A) = λmax = cond A,

λmin

где λmax , λmin – максимальные и минимальные собственные числа матрицы A. Для плохо обусловленной матрицы K (A) 1→ ∞ . Для хорошо обусловленной матрицы K (A) →1.

2 Метод Бройдена – Флетчера – Гольдфарба – Шенно

В (3.67) матрица Ak+1 удовлетворяет соотношению

Если переставить местами δk и γk в (3.67) и рассмотреть последовательность матриц