4.6. Упрощенные градиентные процедуры

Одномерный поиск, который следует проводить в методе наискорейшего спуска (подъема), является весьма громоздкой процедурой, требующей подчас больших временных затрат, а также некоторого усложнения программной реализации в сравнении с упрощенными градиентными процедурами.

Одной из важных процедур такого типа является градиент­ный поиск с фиксированным (постоянным) шагом. Коорди­наты точек, соответствующих итерациям, по-прежнему описы­ваются равенством:

так что приращение каждой из координат при переходе из k - й пробной точки в (k + 1) - ю равно

Для движения с постоянным шагом следует потребовать, чтобы длина шага

оставалась постоянной (не зависящей от номера итерации k величиной. Если длина шага задана (обозначим ее буквой ), то величину на каждом шаге следует выбирать из усло­вия

Вид траектории поиска экстремума в данном случае характе­ризует рис. 4.11. Как видно, рассматриваемая процедура позволяет «быстрым шагом» приблизиться к точке экстрему­ма, однако в дальнейшем наблюдается блуждание в доволь­но «большой» окрестности экстремальной точки.

Рис. 4.11 Рис. 4.12

Практически удобно использовать несколько значений ве­личины , например, два. В удаленных от экстремума точ­ках параметр выбирают достаточно большим, при подходе к экстремальной точке (чтобы ее не «проскочить») переходят к меньшему значению (рис. 4.12).

Описанный метод избавлен, как сказано, от необходимости проводить на каждом шаге одномерную оптимизацию. Но он существенно опирается на вычисления точных значений производных, благодаря чему оказывается возможным дви­жение вдоль линии градиента. Однако ряд эксперименталь­ных исследований, проведенных разработчиками корректо­ров [15], показал, что замена производных

величинами

где

(при этом сохраняется информация только о знаке произ­водной), позволяет успешно настраивать корректоры даже с помощью такой упро­щенной градиентной про­цедуры, использующей к тому же шаги фиксиро­ванной длины (рис. 4.13). Данный алгоритм наст­ройки корректоров, полу­чивший название знако­вого [15], нашел широкое распространение в аппа­ратуре высокоскоростной передачи дискретной информации (при этом реализуют автоматический режим на­стройки).

Рис. 4.13

4.7. Процедуры повышенной эффективности

Скорость сходимости метода наискорейшего подъема (спуска) при решении ряда вычислительных задач оказы­вается недостаточной. Это вполне объяснимо, ибо изменения

переменных при переходе от одной итерации к последующей становятся все меньшими (см. рис. 4.10) и по мере приближения к экстремуму наблюдается существен­ное замедление процесса. Метод наискорейшего подъема (спуска), весьма эффективен при движении из точек, дале­ких от экстремума (и поэтому часто используемый на началь­ном этапе оптимизации), может быть существенно улучшен на завершающем этапе поиска экстремума.

Сформулируем одну из возможных идей улучшения мето­да наискорейшего подъема. В общем случае траектория поис­ка максимума имеет вид ломаной линии (см. рис. 4.10). При этом зигзагообразная траектория поиска целиком лежит в области, ограниченной шумя штрих-пунктирными линиями, пересекающимися в точ­ке экстремума. Это наводит на мысль о том, что поиск из точ­ки следует вести не в направлении линии градиента к точке , а вдоль прямой . В этом случае точка максимума может быть найдена после трех одномерных перемещений от точки к в направлении градиента, от точ­ки к также в направлении градиента и из точки в направлении прямой .

Изложенный метод ускорения наискорейшего подъёма представляет собой двумерный вариант ускоренного метода параллельных касательных (УПК) [29].

Однако наибольшую популярность среди спе­циалистов, использую­щих при исследованиях, проектировании и расче­тах методы оптимизации, приобрел метод сопря­женных градиентов, суть которого сводится к сле­дующему.

Начальные операции здесь такие же, как и в методе наискорейшего подъема: определяется направление градиента в начальной точке (рис. 4.14) и делается шаг в направлении градиента (либо в обратном направле­нии - при отыскании минимума) до точки , максимизи­рующей функцию на прямой линии, определяемой векто­ром-градиентом. Найденный на этом этапе градиент норми­руется

При этом проекции вектора имеют вид

В точке аналогичным образом вычисляется градиент , но шаг делается в направлении вектора , кото­рый является линейной комбинацией (т. е. суммой с некото­рыми коэффициентами) вектора и вновь найденного вектора -градиента (рис. 4.14):

Рис. 4.14

где

Новое направление называется «сопряженным». По этому на­правлению вновь проводится одномерный поиск и находится экстремальная точка . Если требуемая степень близости значений функции в соседних пробных точках (в дан­ном случае и ) не достигнута, вновь определяется гра­диент и дается перемещение в направлении вектора , равного линейной комбинации вектора и гра­диента , и т. д.

Если функция является квадратичной (как, например, ), нахождение экстремума гарантируется в точности за n+1 шагов, как это показано на рис. 4.14 (напомним, что n+1 - число независимых переменных). В общем же случае приходится переходить к новому циклу перебора всех переменных .

Данный метод, по-видимому, является наиболее эффек­тивным среди известных методов, использующих сведения лишь о первых производных.