книги из ГПНТБ / Вапник В.Н. Теория распознавания образов. Статистические проблемы обучения

380 ГЛ. XVI. МЕТОД СОПРЯЖЕННЫХ НАПРАВЛЕНИЙ

(Я — параметр), и поиск максимума в пространстве размер­ ности к может быть заменен поиском максимума на плос­ кости или на прямой.

§ 2. Метод сопряженных градиентов

Метод сопряженных градиентов для нахождения макси­ мума квадратичной формы имеет несколько модификаций.

1. Одна из них получается непосредственно из рас­ смотренного выше процесса, если заменить максимизацию функции F (х) на гиперпространстве Е к отысканием макси­ мума на прямой вида (16.15). Как было показано в преды­ дущем пункте результат от этого не изменится, так как эти максимумы совпадают.

Алгоритм получается таким (модификация I): А. Начальный шаг.

3) находится точка x k+1, доставляющая условный мак­ симум F (X) на прямой

X = x h + l z h+1.

В. Останов алгоритма. Процесс обрывается в тот мо­ мент, когда градиент gk+1 обратится в нуль, т. е. достига­ ется максимум F (х) на всем пространстве Е п.

При абсолютно точном вычислении алгоритм должен привести к максимуму не более чем за п шагов, так как при

чающимися в процессе, описанном в предыдущем пункте: как было показано, этот процесс выводит на абсоютный максимум не более чем за п шагов.

В реальных условиях, при ограниченной точности вы­ числений, процесс поиска максимума следует остановить не при точном обращении в нуль градиента, а в тот момент, когда градиент станет достаточно мал. При этом на самом деле может потребоваться более п шагов. Более подробно эти вопросы будут рассмотрены ниже.

Чтобы придать алгоритму более «конструктивную» форму, найдем формулу, определяющую точку максимума

где g (X*) — градиент F (х) в точке х*. Максимизируя по

^fc+i — xk

(ZK+1) Azh+i)

382гл . XVI. МЕТОД СОПРЯЖЕННЫХ НАПРАВЛЕНИЙ

2.Более известна модификация метода, при которой для вычисления очередного направления zfe+1 используют­ ся векторы gh+l и zk вместо gk+1 и ук.

Рассмотрим систему векторов zv . . ., zk,. . ., коллинеарных соответственно векторам уѵ . . ., yk (т. е. zk = $кУк при некоторых действительных 6к Ф 0). Для векторов zt и Zj сохраняется условие А-ортогональности

Соотношение (16.20) определяет zft+1 с точностью до произ­ вольного множителя через gk+1 и zk. При выводе (16.20) использовались лишь соотношения (16.17), (16.18), (16.19). Поэтому процесс построения векторов zh может рассмат­ риваться как процесс А -ортогонализации векторов gk.

Полагая в (16.20) %= 1 и zt — gt, получим конкрет­ ную систему векторов zk, коллинеарных yh. Каждый век­ тор zh задает направление прямой, исходящей из х к+1, на которой лежит х к. Алгоритм, таким образом, примет сле­ дующий вид (модификация II).

А. Начальный шаг, такой же как и в модификации I.

Формулы (16.21) и (16.22) могут быть преобразованы. Так, полагая

Y <*к, zk)

(zb Azk>

Наконец, из (16.21), (16.23) и (16.24) получаем

— (?k+i> Azk> 1 |2 _ lgfc+i| (zk,Azk) T*(z* , U k l 2

384 ГЛ. XVI. МЕТОД СОПРЯЖЕННЫХ НАПРАВЛЕНИЙ

Таким образом, формулы (16.21) и (16.22) могут быть за­ писаны в виде

zh+1 — Sh+1 ~Ь a Ä+lzÄ>

где

Совпадение результатов действия по формулам (16.21)

и (16.22), с одной стороны, и (16.25), (16.26), с другой,

может служить критерием правильности вычислений.

3. Метод сопряженных градиентов может быть приме­ нен и для максимизации функций F (х), не являющихся квадратичными. Известно, однако, что вблизи максимума достаточно гладкие функции, как правило, хорошо аппрок­ симируются квадратичной функцией, например, с по­ мощью разложения в ряд Тейлора. При этом обычно пред­ полагается, что коэффициенты аппроксимирующей квад­ ратичной функции неизвестны, но для любой точки мож­ но найти градиент g (х ) функции F (х ).

При этом пункт 1) алгоритма может быть выполнен без изменений, пункт 2) должен выполняться по формуле (16.25), поскольку в эту формулу не входит явно матрица А , а пункт 3), нахождение условного максимума на пря­ мой, может быть выполнен одним из известных способов, например, методом Фибоначчи. Применение метода со­ пряженных градиентов дает обычно значительно более быструю сходимость к максимуму по сравнению с метода­ ми наискорейшего спуска, Гаусса — Зайделя и др.

4. Что будет, если применить метод сопряженных гра­ диентов для максимизации квадратичной формы с поло­ жительно полуопределенной формой (х , А х )?

Если квадратичная форма (х , А х ) положительно полуопределена, то, как известно из линейной алгебры, в со­ ответствующей системе координат функция F (х) примет вид

П

F (х) = — сіхі + 2 bixi + d,

І—1

386 ГЛ. XVI. МЕТОД СОПРЯЖЕННЫХ НАПРАВЛЕНИЙ

Таким образом, условие останова будет таким. Про­ цесс останавливается, если:

на очередном шаге gh+1 = О или

на очередном шаге оказывается, что

(zk+ii AZk+i) = 0.

В первом случае алгоритм, естественно, приводит в точку максимума. Во втором случае направление zh+1 будет направлением неограниченного возрастания функ­ ции F (х). В самом деле, на прямой

X = x h + Xzk+1

при (zh+1, A zk+1) = 0 функция F (х) имеет вид

X2

F(x) = F (xk) — -j- (zk+1, Azk+1) + (g*+1, z*+i)> =

= F (xk) + %(gft+1, gfe+i),

причем

возрастает неограниченно. Можно показать, что при этом из всех направлений, по которым функция бесконечно возрастает, она растет быстрее всего в направлении zh+1.

Нам остается убедиться, что останов произойдет не более чем через к шагов, где к — ранг матрицы А . В самом

(при выводе этих соотношений положительно-определен- ность не использовалась).

Отсюда следует, что векторы zt (1 1 та) образуют ■4-ортогоналышй базис, а градиент gm в точке хт орто­

388 гл . XVI. МЕТОД СОПРЯЖЕННЫХ НАПРАВЛЕНИЙ

(эллипс), проходящая через х0, Іх — касательная к эллип­ су в точке х0, g1 — градиент функции F (х) в точке хй. Очевидно, что градиент gx нормален к линии уровня, т. е. перпендикулярен касательной Іѵ

Точка хх определяется как точка максимума функции F (х) на прямой г, проходящей через х 0 в направлении градиента gx. В точке хх эта прямая касается некоторой линии уровня. Поэтому градиент g2в точке хх перпендикулярен вектору gx и, сле­ довательно, прямая 12, про­ ходящая через хх в направ­ лении g2, параллельна Іѵ Далее, точка х2 находится как точка максимума F (х)

на прямой 12, где она ка­ сается эллипса А 2. Оче­ видно, что подобным сжа­

Рис. 28. тием можно перевести од­ новременно прямую Іхи эллипс А х в прямую 12и эллипс А 2. При этом точка х0перей­

дет в х2. Но при подобном сжатии к центру точка х0переме­ щается по прямой, проходящей через центр эллипсов. Поэтому прямая (х 0, х2) проходит через центр эллипсов, т. е. точку максимума функции на плоскости. Таким об­ разом, приходим к следующему способу:

1) из произвольной точки х 0 провести прямую г в на­ правлении градиента функции gx в точке х 0;

симума на этой прямой. Найденная точка есть точка, до­ ставляющая максимум функции на всей плоскости.

Вернемся теперь к задаче о нахождении максимума F (х) в п-мерном пространстве Е п. В соответствии со ска­ занным выше, процесс, описанный в § 1, может быть при­ веден к следующему виду.

А. Начальный шаг.

1) В произвольной точке х 0 пространства Е п находит­ ся градиент gx функции F (х);