4.5 Метод Розенброка

Метод Розенброка заключается в таком повороте координатных осей, чтобы одна из них оказалась квазипараллельной дну оврага. Такой поворот осуществляют на основе данных, полученных после серии из шагов покоординатного спуска. Положение новых осей может быть получено линейным преобразованием прежних осей : ось совпадает по направлению с вектором ; остальные оси выбирают из условия ортогональности к и друг к другу.

4.6 Метод конфигураций

Другой удачной модификацией покоординатного спуска является метод конфигураций (Хука-Дживса). В соответствии с этим методом вначале выполняют обычную серию из шагов покоординатного спуска, затем делают дополнительный шаг в направлении вектора , как показано на рис. 4, где дополнительный шаг выполняют в направлении вектора , что и приводит в точку .

Иллюстрация метода конфигураций

Поиск экстремума методом деформируемого многогранника (Нелдера-Мида) основан на построении многогранника с вершинами на каждом шаге поиска, где — размерность пространства управляемых параметров. В начале поиска эти вершины выбирают произвольно, на последующих шагах выбор подчинен правилам метода.

Эти правила поясним ниже на примере двумерной задачи оптимизации.

Выбраны вершины исходного треугольника: , , . Новая вершина находится на луче, проведенном из худшей вершины (из вершины с наибольшим значением целевой функции) через центр тяжести многогранника, причем рекомендуется выбирать на расстоянии от , равном . Новая вершина заменяет худшую вершину . Если оказывается, что имеет лучшее значение целевой функции среди вершин многогранника, то расстояние увеличивают. На рисунке именно эта ситуация имеет место и увеличение дает точку . В новом многограннике с вершинами , , худшей является вершина , аналогично получают вершину , затем вершину и т.д.

Если новая вершина окажется худшей, то в многограннике нужно сохранить лучшую вершину, а длины всех ребер уменьшить, например вдвое (стягивание многогранника к лучшей вершине). Поиск прекращается при выполнении условия уменьшения размеров многогранника до некоторого предела.

Иллюстрация метода деформируемого многогранника

4.7 Методы случайного поиска

Методы случайного поиска характеризуются тем, что направления поиска выбирают случайным образом.

Особенностью метода наискорейшего спуска является выполнение шагов поиска в градиентном направлении

где шаг выбирается оптимальным с помощью одномерной оптимизации.

При использовании метода наискорейшего спуска, как и большинства других методов, эффективность поиска существенно снижается в овражных ситуациях. Траектория поиска приобретает зигзагообразный вид с медленным продвижением вдоль дна оврага в сторону экстремума. Чтобы повысить эффективность градиентных методов, используют несколько приемов.

Один из приемов, использованный в методе сопряженных градиентов (называемом также методом Флетчера-Ривса), основан на понятии сопряженности векторов. Векторы и называют -сопряженными, если , где — положительно определенная квадратная матрица того же порядка, что и размер векторов и (частный случай сопряженности — ортогональность векторов, когда является единичной матрицей порядка ), — вектор-строка, — вектор-столбец.

Особенность сопряженных направлений для , где — матрица Гессе, в задачах с квадратичной целевой функцией заключается в следующем: одномерная минимизация последовательно по сопряженным направлениям позволяет найти экстремальную точку не более, чем за шагов.

Матрицей Гессе называют матрицу вторых частных производных целевой функции по управляемым параметрам.

Основанием для использования поиска по -сопряженным направлениям является то, что для функций ( ) общего вида может быть применена квадратичная аппроксимация, что на практике выливается в выполнение поиска более, чем за шагов.

• Пример

Поиск экстремума выполняют в соответствии с формулой

Направление поиска на очередном шаге связано с направлением поиска на предыдущем шаге соотношением

где — коэффициент. Кроме того, учитывают условие сопряженности

и линейную аппроксимацию в окрестностях точки

Поскольку шаг рассчитывается исходя из условия одномерной оптимизации, то, во-первых, справедливо соотношение

во-вторых, имеем

откуда получаем

Условие окончания вычислений

Чтобы определить коэффициент , решают систему уравнений путем подстановки величин и

или

откуда и

Следовательно,

На первом шаге поиска выбирают

и находят точку .

На втором шаге рассчитывают , и определяют и и т.д.

Метод переменной метрики (иначе метод Девидона-Флетчера-Пауэлла) можно рассматривать как результат усовершенствования метода второго порядка — метода Ньютона.