4.8.6. Методы сопряженных направлений

Как и метод Ньютона, методы сопряженных направлений основаны на свойствах квадратичных функций. В связи с этим говорят о сопряженных направлениях относительно квадратичной функции.

Пусть дана матрица Н_nn. Направления d₁, d₂, ..., d_k (k  n) называются сопряженными, или Н-сопряженными, если они линейно независимы и

. (4.52)

Эти векторы определяют сопряженные направ­ления. Для квадратичной функции двух пе­ременных сопряженные направления получа­ются следующим образом. Возьмем произволь­ное направлениеd₁ и на нем найдем ми­ни­­мум, двигаясь из точки X¹. Повторим по­иск ми­­нимума на d₁ из точки X²  X¹ (рис. 4.35). Направление d₂, определяемое прямой, про­хо­дя­щей через найденные минимумы, является со­пряженным с направлением d₁. При этом на­правление d₂ проходит через искомый мини­мум функции f. Следовательно, при любой начальной точке минимум квад­ратичной функции двух переменных достигается за два одномерных по­иска вдоль сопряженных направлений.

Пример 4.6. Используя сопряженные направления, найти минимум функции (точка минимума X^* = (2, 4)).

Запишем матрицу Гессе: .

За первое направление возьмем Компоненты d₂ найдем из условия (4.52):

.

Положив а = 1, получаем b = 2 и Возьмем начальную точку X⁰ = (–1; 1). Найдем минимум на направлении d₁. Для этого подставим в функцию X = X⁰ + hd₁, т. е. x₁ = x₁⁰ + h = –1+ h, x₂ = x₂⁰ = 1. Тогда f = h² – 3h – 3 и минимум по h будет при h^* = 1,5. Следовательно, минимум на d₁ достигается в точке X¹ = (0,5; 1). Приняв ее за начальную для поиска вдоль d₂ и подставляя в функцию x₁ = 0,5 + h, x₂ = 1 + 2h, получаем f  = 3h² – – h – 5,25. Находим h^* =1,5 и соответствующую новую точку X² = (2; 4). Как видим, второй одномерный поиск привел в точку искомого минимума f (рис. 4.36).

Для квадратичной функции n переменных сопряженные направления позволяют найти минимум не более чем за n одномерных поисков. В случае нелинейной функции, отличной от квадратичной, конечное число итераций дает только приближенное решение.

Методы, основанные на концепции сопряженных направлений, различаются способами построения таких направлений. Ряд из них относятся к прямым методам, например, метод Пауэлла и его модификация – метод Зангвилла. Другие используют первые производные, например метод сопряженных градиентов (метод Флетчера – Ривса). Одним из самых эффективных является метод Дэвидона – Флетчера – Пауэлла. В нем генерируются сопряженные направления с использованием градиента и матрицы D, аппроксимирующей обратную матрицу H^–1. Поэтому его относят также к квазиньютоновским методам. Рассмотрение этих методов выходит за рамки настоящего пособия.

4.8.7. Методы случайного поиска

Рассматриваемые здесь методы основаны на использовании случайного механизма задания начальной точки и выбора направления движения. Так как в процессе поиска вычисляются значения только целевой функции, эти методы можно отнести к классу прямых.

Случайный механизм выбора направления реализуется с помощью датчика случайных чисел , равномерно распределенных на интервале [–b, b]. Направление задается случайным вектором

 = (₁, ₂, ₃, ..., _n),

компоненты которого вычисляются по формуле

,

где n случайных чисел _i генерируются датчиком. Очевидно, что такой случайный вектор имеет единичную длину и определяет только направление. При этом все направления равновероятны.

Приведем несколько простых алгоритмов случайного поиска.