4.4. Вектор-градиент и некоторые его свойства

В §4.1 (определение 4.3) нами был введен вектор-градиент, чьи координаты (см. (4.5)) совпадали с первыми производны­ми функции по всем ее независимым пере­менным. Изучим бо­лее подробно этот век­тор.

Рассмотрим функ­цию , показан­ную на рис. 4.8. Выбе­рем произвольно в плоскости (об­ласти определения) точку А с координата­ми и найдем

направление максимального роста поверхности в точке В, лежащей над точкой А, т. e. в точке пересечения перпендикуляра к плоскости , восставленного в точке А, и поверхности . Это на­правление в плоскости , движение вдоль которого из точки А приводит к наиболее крутому подъему поверх­ности при соответствующем перемещении по этой поверхности из точки В, попытаемся охарактеризовать неко­торым вектором (см. рис. 4.8). В малой окрестности точки А произвольная гладкая поверхность может быть хорошо приближена касательной плоскостью, уравнение которой за­пишем в виде

(4.19)

где

(4.20)

а константа может быть определена из уравнения

которое получено приравниванием значений поверхности и касательной плоскости (4.19) в рассматриваемой точке А .

Рис. 4.8

Построим теперь окружность малого радиуса с центром в точке А , как это показано на рис. 4.9, где изобра­жены линии уровня поверхности . Произвольная точ­ка на этой окружности может быть задана (при известном значении с помощью угла поворота ее радиус-вектора относительно некоторого фик­сированного направления, на­пример, оси .

Рис. 4.9

Поставим воп­рос об отыскании максималь­ного значения функции (4.19) на этой окружности. Точка, в которой будет достигнут мак­симум, и покажет направление максимального роста касатель­ной плоскости (рис. 4.9), а вместе с нею и функции в малой окрестности точки А.

Для координат произвольно выбранной точки на окруж­ности справедливы соотношения

.

В точке рассматриваемой окружности плоскость (4 19) принимает значение

(4.21)

Для определения направления максимального роста ка­сательной плоскости (4.19) приравняем в соответствии с тео­ремой 3.1 первую производную выражения (4.21) по нулю:

откуда

(4.22)

Функция арктангенс, как известно, многозначна; для нас, однако, представляют интерес лишь те ее значения, которые удовлетворяют условию . Таких значений два, они разнятся друг от друга на 180°. Легко проверить, что зна­чение угла , определенного равенствами

(4.23)

во-первых, удовлетворяет условию (4.22) и, во-вторых, обес­печивает выполнение достаточного условия максимума, осно­ванного на отрицательности второй производной (теоре­ма 3.2). Действительно,

(4.24)

Подставив (4.23) в (4.24), получим значение второй произ­водной в стационарной точке:

Следовательно, вектор, чьи проекции на координатные оси равны

(4.25)

или одинаково направленный с ним вектор, проекции кото­рого на координатные оси совпадают с числами (4.20), т. е. отличаются от (4.25) множителем , указывает на­правление максимального возрастания (подъема) касатель­ной плоскости , а, значит, и функции . При до­бавлении 180° к углу , задаваемому равенствами (4.23),

получим, очевидно, вектор, указывающий направление мак­симального убывания (спуска) упомянутых поверхностей.

Можно показать, что и в общем случае (n + 1)-мерного пространства направление максимального роста поверхности указывает вектор с координатами

называемый градиентом, который, как уже говорилось, обоз­начают или .

Замечание 4.5. Математиками доказано [27, 28, 29], что вектор-градиент ортогонален линиям (поверхностям) уровня, на которых поверхность принимает постоянные зна­чения. Длина градиента, называемая также нормой и опреде­ляемая равенством

, (4.26)

равна скорости изменения функции в направ­лении максимального роста. В экстремальных точках, где функция стационарна, норма градиента равна нулю, так как в этих точках равны нулю все частные производные (4.5).

4.5. Метод наискорейшего подъема (спуска)

Следуя образному изложению монографии [29], рассмот­рим довольно частную задачу поиска вершины холма, сильно заросшего лесом и расположенного на низменности. Хотя из-за лесной чащи путник не только не видит вершины но, даже не может узнать форму холма, он в конце концов достигает вершины (в случае унимодальности и, тем более, выпуклости поверхности) просто за счет того, что он непрерывно поднимается вверх. К вершине его приведет любая дорога, но если он торопится, то, вероятно, он будет дви­гаться по тем направлениям, где наклон холма самый боль­шой, при условии, конечно, что ему под силу такой подъем.

Эта интуитивно привлекательная идея восхождения по кратчайшей дороге является основой метода поиска, извест­ного под названием метода наискорейшего подъема, который принадлежит к классу градиентных методов. В описанном выше географическом примере направление наиболее крутого подъема изменяется от точки к точке, но в каждой точке определяется единственным образом. Это направление совпа­дает, как нетрудно догадаться, с направлением перпендикуляра к линии уровня, или, по-другому, вектора-градиента, чьи проекции имеют вид (4.5).

Существует несколько разновидностей градиентных мето­дов оптимизации, эффективно «работающих» на выпуклых (выпуклых вниз) целевых функциях, однако общим для них всех является циклическая повторяемость следующих опера­ций. Сначала выполняется группа пробных экспериментов (или вычислений) для определения направления градиента. Эти эксперименты заключаются, по существу, в приближен­ном (или точном) дифференцировании исследуемой функции. Далее следует продвижение в направлении градиента (или в обратном градиенту направлении - в случае минимизации) на некоторым образом выбираемое расстояние. Затем все повторяется - следует новый цикл (итерация) процесса.

Если продвижение в направлении градиента осуществля­ется вплоть до точки, где начинается убывание функции, то такой алгоритм носит название метода наискорейшего подъема (в задачах минимизации ищут минимум в направ­лении, обратном градиенту; тогда итерационную процедуру называют методом наискорейшего спуска).

Математическое описание перехода от k - й точки с координатами к (k+1) - й точке с координа­тами при последовательном приб­лижении к максимуму методом наискорейшего подъема состоит в следующем:

где величина выбирается в результате одномерной опти­мизации - отыскания максимума поверхности при движении из точки с координатами в направлении вектора-градиента , вычисленного в точке .

Траекторию поиска максимума двумерной поверхности ме­тодом наискорейшего подъема иллюстрирует рис. 4.10, где последовательность точек, получаемых итерациями, обозна­чена буквами В этих точках линия градиента, определяемая, например, точкой , касается поверхности (в данном случае, линии) уровня в точке . Такое поведение траектории поиска порождается его стратегией: движение вдоль линии градиента в методе наискорейшего подъема сопровождается переходами с линии некоторого уровня на линию более высокого уровня до тех пор, пока это возможно, т. е. до той точки , где дальнейшее продвижение вдоль линии градиента приведет к переходу на поверхность (точнее, линию) более низкого уровня. Как и в методе сечений,

Рис. 4.10

траектория поиска здесь имеет вид лестницы; теперь, однако, отдельные звенья траектории уже не обязательно параллельны координатным осям. Такая свобода в выборе направления движения существенно повышает эффективность поиска.

В случае задачи отыскания минимума все приведенные рассуждения сохраняют силу, следует лишь заменить движение в направлении градиента движением в обратном направлении.

Применение данного алгоритма к минимизации среднеквадратичной погрешности корректирования - выпуклой вниз функции - оказывается весьма эффективным и часто находит применение при исследовании и проектировании устройств и систем связи.

3амечание 4.6. Для сходимости процедуры наискорейшего подъема (спуска) свойство выпуклости (выпуклости вниз) практически не является необходимым; в этой ситуации часто достаточно выполнение более слабого условия унимодальности. Однако физическая реализация процесса настройки корректора возможна лишь при наличии соответствующего автоматического устройства, ибо проведение «ручной» настройки в этом случае крайне сложно.