4.2. Обзор методов оптимизации

Особенностью метода наискорейшего спуска является выполнение ша-

гов поиска в градиентном направлении

Xk+l=Xk + hk grad F(Xk~) I |grad F(Xt)\,

шаг /^выбирается оптимальным с помощью одномерной оптимизации.

При использовании метода наискорейшего спуска, как и большинства других

методов, эффективность поиска существенно снижается в овражных ситуаци-

ях. Траектория поиска приобретает зигзагообразный вид с медленным продви-

жением вдоль дна оврага в сторону экстремума. Чтобы повысить эффектив-

ность градиентных методов, используют несколько приемов.

Один из приемов, использованный в методе сопряженных градиентов

(называемом также методом Флетчера - Ривса), основан на понятии сопряжен-

ности векторов. Векторы А и В называют Q-сопряженными, если ATQB = О,

где Q — положительно определенная квадратная матрица того же порядка, что

и размер N векторов А и В (частный случай сопряженности — ортогональность

векторов, когда Q является единичной матрицей порядка N); Ат — вектор-

строка; В — вектор-столбец.

Особенность сопряженных направлений для Q = Г, где Г — матрица Гессе,

в задачах с квадратичной целевой функцией F(X) заключается в следующем:

одномерная минимизация F(X) последовательно по ./V сопряженным направле-

ниям позволяет найти экстремальную точку не более чем за N шагов.

Примечание. Матрицей Гессе называют матрицу вторых частных производных

целевой функции по управляемым параметрам.

Основанием для использования поиска по Г-сопряженным направлениям

является то, что для функций F(X) общего вида может быть применена квад-

ратичная аппроксимация, что на практике выливается в выполнение поиска

более чем за N шагов.

Пример. Поиск экстремума выполняют в соответствии с формулой

X = X,_, + AS. (4.8)

Направление Si+1 поиска на очередном шаге связано с направлением поиска S, на

предыдущем шаге 'соотношением

S+1 = -gradF(X) + w,S, (4.9)

где w- коэффициент. Кроме того, учитывают условие сопряженности

8Т_,Г8,= 0 (4.10)

и линейную аппроксимацию grad F (X) в окрестностях точки X

grad F(X+1) = grad F(X) + Г(Х+1 - X, ). (4.1 1)

Поскольку шаг h рассчитывается исходя из условия одномерной, оптимизации, то,

во-первых, справедливо соотношение

S^grad F(X) = 0, (4.12)

во-вторых, имеем

откуда получаем

dFIdh = (dF(X)/dX)(6X/dh) = grad ^(X)Tgrad FQL, _,) = 0. (4.13)

6* 163

4 Математическое обеспечение синтеза проектных решений

Алгоритм поиска сводится к применению формулы (4.9), пока не будет выполнено

условие окончания вычислений

|gradF(X4)|<E.

Чтобы определить коэффициент w , решают систему уравнений (4.8) - (4. 1 3) путем

подстановки в (4. 10) величин Si+| из (4.9) и S из (4.8)

S|+irS = (WjS, - grad F(X ))т Г(Х - X . ,)/А =

= (w,S - gradF(X))TIT-' (gradF(X) - grad F(X _,))//; = О,

или

(w, S - grad F(X ))T (grad F(\) - grad F(X _ ,)) = 0,

откуда

w, S/ (grad F(X) - grad F(X _ ,)) - grad F(X )T grad F(X ) + grad F(X )T grad F(X,_ ,) = 0

и с учетом (4. 1 2) и (4. 1 3)

w S^grad F(X ,) + grad F(X )T grad F(X ) = 0.

Следовательно,

w = grad F(X)T grad F(X) / (S] grad F(X _ ,)). (4.14)

На первом шаге поиска выбирают S, = - grad F (X0) и находят точку X, . На втором ша-

ге по формуле (4. 14) рассчитывают wp по формулам (4.9) и (4.8) определяют 82и Х2 и т. д.

Метод переменной метрики (иначе метод Девидона - Флетчера - Пауэл-

ла) можно рассматривать как результат усовершенствования метода второго

порядка - метода Ньютона.

Метод Ньютона основан на использовании необходимых условий безус-

ловного экстремума целевой функции F(X)

gradF(X) = 0. (4.15)

Выражение (4.15) представляет собой систему алгебраических уравнений,

для решения которой можно применить известный численный метод, называе-

мый методом Ньютона. Корень системы (4.15) есть стационарная точка, т. е.

возможное решение экстремальной задачи. Метод Ньютона является итера-

ционным, он основан на линеаризации (4. 1 5) в окрестности текущей точки по-

иска \k:

grad F(X) = grad F(X4) + Г(Х - Xt) = 0. (4.16)

Выражение (4.16) - это система линейных алгебраических уравнений. Ее

корень есть очередное приближение Хж к решению

Если процесс сходится, то решение достигается за малое число итераций,

окончанием которых служит выполнение условия

Главный недостаток метода - высокая трудоемкость вычисления и обра-

щения матрицы Г, к тому же ее вычисление численным дифференцированием

сопровождается заметными погрешностями, что снижает скорость сходимости.

164