8.8.6. Методы сопряженных направлений

Как и метод Ньютона, методы сопряженных направлений основаны на свойствах квадратичных функций. В связи с этим говорят о сопряженных направлениях относительно квадратичной функции.

Пусть дана матрица Н_nn. Направления d₁, d₂, ..., d_k (k  n) называются сопряженными или Н-сопряженными, если они линейно независимы и

. (8.52)

Эти векторы определяют сопряженные направления. Для квадратичной функции двух переменных сопряженные направления получаются следующим образом. Возьмем произвольное направлениеd₁ и на нем найдем минимум, двигаясь из точкиX¹.Повторим поиск минимума наd₁ из точки X² X¹ (рис. 8.36). Направление d₂, определяемое прямой, проходящей через найденные минимумы, является сопряженным с направлением d₁. При этом направление d₂ проходит через искомый минимум функции f. Следовательно, при любой начальной точке минимум квадратичной функции двух переменных достигается за два одномерных поиска вдоль сопряженных направлений.

Пример 8.6. Используя сопряженные направления, найти минимум функции (точка минимума X^*=(2,4)).

Запишем матрицу Гессе .

За первое направление возьмем . Компонентыd₂ найдем из условия (8.52):

.

Положива = 1, получаем b = 2 и . Возьмем начальную точкуX⁰=(-1;1). Найдем минимум на направлении d₁. Для этого подставим в функцию X = X⁰+hd₁, то есть x₁= x₁⁰+h = -1+ h, x₂=x₂⁰=1. Тогда f = h²-3h-3 и минимум по h будет при h^*=1,5. Следовательно, минимум на d₁ достигается в точке X¹=(0,5;1). Приняв ее за начальную для поиска вдоль d₂ и подставляя в функцию x₁= 0,5+ h, x₂=1+2h, получаем f = 3h²-9h-5,25. Находим h^*=1,5 и соответствующую новую точку X²=(2;4). Как видим, второй одномерный поиск привел в точку искомого минимума f (рис. 8.37).▲ 

Для квадратичной функции n переменных сопряженные направления позволяют найти минимум не более чем за n одномерных поисков. В случае нелинейной функции, отличной от квадратичной, конечное число итераций дает только приближенное решение.

Методы, основанные на концепции сопряженных направлений, различаются способами построения таких направлений. Ряд из них относятся к прямым методам, например, метод Пауэлла и его модификация – метод Зангвилла. Другие используют первые производные, например, метод сопряженных градиентов (метод Флетчера-Ривса). Одним из самых эффективных является метод Дэвидона-Флетчера-Пауэлла. В нем генерируются сопряженные направления с использованием градиента и матрицы D, аппроксимирующей обратную матрицу H^-1. Поэтому его относят также к квазиньютоновским методам. Рассмотрение этих методов выходит за рамки настоящего пособия.

8.8.7. Методы случайного поиска

Рассматриваемые здесь методы основаны на использовании случайного механизма задания начальной точки и выбора направления движения. Так как в процессе поиска вычисляются значения только целевой функции, эти методы можно отнести к классу прямых.

Случайный механизм выбора направления реализуется с помощью датчика случайных чисел , равномерно распределенных на интервале [-b, b]. Направление задается случайным вектором

 = (₁, ₂, ₃, ..., _n),

компоненты которого вычисляются по формуле

,

где n случайных чисел _i генерируются датчиком. Очевидно, что такой случайный вектор имеет единичную длину и определяет только направление. При этом все направления равновероятны.

Приведем несколько простых алгоритмов случайного поиска.