MO_conspect

где H 2 f (x k ) .

Из точки x1 процесс минимизации должен осуществляться в другом

сопряженном направлении S 2 , при этом в силу сопряженности

(S 2 )T H S1 0.

Отметим, что квадратичная функция может быть представлена в виде f (x) a bT x 12 xT H x ,

где положительно определенная матрица H 2 f (x ) .

В общем случае система n линейно независимых направлений поис-

ка S1 , S 2 ,..., S n называется сопряженной по отношению к некоторой положительно определенной матрице H , если

(S i )T H S j 0 , 1 i j n .

Так как сопряженные направления линейно независимы, то любой

Известная формула, примем ее на веру.

Для некоторой матрицы H всегда существует, по крайней мере, одна система из n взаимно сопряженных направлений, так как сами собственные векторы матрицы H представляют собой такую систему.

Отметим, что для квадратичной функции справедливо следующее соотношение, которое потребуется в дальнейшем:

21

Чтобы убедиться в его справедливости, рассмотрим матрицу

n

j S j (S j ) . Умножение ее справа на H S k дает

j 1

если положить k S k H S k 1 .

Вообще говоря, справедливо общее правило, заключающееся в том,

что если используются сопряженные направления для поиска минимума квадратичной функции f (x ) , то эта функция может быть минимизиро-

вана за n шагов, по одному в каждом из сопряженных направлений. Более

а затем минимум находится в следующем сопряженном направлении по аналогичным формулам

x 2 x1 2 S 2

и т.д., то на n -м шаге имеем

i 1

22

квадратичной функции на n -м шаге, совпадает с точкой минимума квадратичной функции f x .

Покажем теперь, что для сопряженных направлений, если f x ка-

ждый раз минимизируется в сопряженном направлении S j в соответствии с формулой (2), то при этом выполняется следующее равенство:

23

S j T f x l 0 , 1 j l 1,

при использовании не более чем n направлений, то есть f x l ортогонален использованным сопряженным направлениям.

Для квадратичной функции f x l b H x l . Следовательно,

где x k - произвольная точка, из которой начинается поиск по сопряженным направлениям.

Поскольку

f x k b H x k ,

то

точке x k ортогонален направлению предыдущего спуска, если точка получена в результате минимизации функции в этом направлении. Кроме того, все остальные слагаемые под знаком суммы исчезают вследствие сопря-

женности направлений S k 1 и S j , и таким образом

осуществляется в соответствии с формулой:

n k xnk x0k kj S j .

j 1

При этом последовательно осуществляется минимизация исходной функ-

ции по сопряженным направлениям S1k ,..., S kn . Результатом минимизации по каждому из сопряженных направлений является система параметров

24

k1 ,..., kn , при которых функция минимальна в каждом из сопряженных направлений:

Начальную систему используемых направлений можно выбрать параллельной осям системы координат.

В конце каждой итерации алгоритма Пауэлла необходимо выбрать новую систему направлений (часть из которыхстанет сопряженной), так как если этого не сделать, то получим простой покоординатный поиск.

Построение новой системы базируется на следующей теореме.

Теорема: Если при начальной точке x 0 поиска в направлении вектора S

направлением поиска S .

Доказательство. Используя ранее полученные результаты (10), можно записать, что в первом случае

ST f x a ST H x a b 0,

аналогично, во втором случае можно записать

ST f x b ST H x b b 0 .

Вычитая из второго выражения первое, получим, что

ST H x b x a 0 .