Методы оптимизации в случае овражных или гребневых целевых функций

В большинстве практических задач оптимизации целевая функция имеет сложный профиль. У нее наблюдаются овраги при минимизации или гребни при максимизации. Характерным отличием этих целевых функций является резкое различие значений её градиента вдоль и поперек оврага или гребня. В этой ситуации, рассмотренные ранее методы: покоординатного спуска, градиента, наискорейшего спуска и Ньютона становятся малоэффективными по причине очень медленного поиска или зацикливания и прекращения поиска задолго до точки экстремума. Были предложены методы, которые эффективны в такой ситуации.

Метод Розенброка

Представляет усовершенствование метода покоординатного спуска.

Понятие сопряжённости векторов

В методе сопряженных градиентов используется понятие сопряжённости векторов.

< A, Q, B > = 0

Q – квадратная матрица того же порядка, что и вектора.

В этом случае вектора А и В будут Q сопряжёнными.

Q = [1]

< A*B> = 0

Сходимость метода сопряжённых градиентов строго обоснована для квадратичных целевых функций.

F(X) = A*X + X^TЮХ/2,

где Ю – матрица Гессе.

Минимизация такой функции осуществляется не более чем за n одномерных минимизаций вдоль определённым образом выбираемых сопряжённых направлений.

Метод сопряжённых градиентов ( Флетчера – Ривса)

1. Задается начальная точка поиска Х: = Х₀

2. Рассчитывается grad F(X)

3. Определяется первое направление для поиска P: = -grad F(X)

4. Производится одномерная минимизация на направлении P

F (X`) = min F(X +hP)

Получаем новую отображающую точку - X: = X`

5. Рассчитывается градиент в этой точке - grad F(X`)

6. Вычисляется коэффициент β, определяющий новое направление поиска.

7. Определяется новое сопряжённое направление

P: = - grad F(X) +βP

8. Проверяется условие прекращения поиска, например, на близость grad F(X) к 0 - grad F(X) ≤ δ. Если они не выполнены, то переход к оператору 4)

9. Через n шагов поиска по сопряжённым направлениям осуществляется обновление метода, т.е. переход к оператору 2).

Предложены различные формулы для вычисления β. приведем одну из них:

grad F(X_i)* grad F(X_i)

β_i-1 =

grad F(X_i-1)* grad F(X_i-1)

Метод переменной метрики (метод Флетчера-Пауэлла)

Этот метод базируется на методе Ньютона, в котором минимизация квадратичной целевой функции происходит за один шаг.

Метод Ньютона неудобен тем, что в нем должна вычисляться матрица Гессе [Ю].

Метод переменной метрики является итерационным методом, в котором поиск ведется по формуле:

X_k+1 = X_k –h_kH_kgrad F(X_k),

в качестве матрицы H_k выбирается приближенно вычисляемая матрица Гессе. Величина шага h_k определяется одномерной минимизацией целевой функции F(X) на луче - -H_kgrad F(X).

Матрица H_k вычисляется по формуле:

;

где h_k-1H_k-1grad F(X_k-1) – приращение вектора управляемых параметров на предыдущем «k-1» шаге; - транспонированный вектор ; - вектор строка.

В начале вычисления задаются матрицей H₀ , которая должна отвечать единственному требованию – быть положительно определенной. Такой матрицей, например, может быть единичная матрица.

Метод переменной метрики – один из наиболее эффективных методов решения задач параметрической оптимизации.

Метод проекции вектор-градиента

Метод разработан для решения задач с ограничениями типа равенств:

где .

Поиск условного минимума происходит парами шагов. Первый шаг в каждой паре производится в том случае, если нарушены ограничения ψ_j (X)=0.Точного выполнения ограничений практически добиться нельзя, поэтому считают, что они нарушены. Если ψ_j (X) ≥ Δψ_j, где Δψ_j – предельно допустимое отклонение ограничений от нуля.

П ервый шаг заключается в перемещении отображающей точки на гиперповерхность ограничений, т.е. в спуске на гиперповерхность ограничений. Такое перемещение производится из текущей точки X_k по направлению нормали к гиперповерхности ограничений. Вектор приращений управляемых параметров определяется по формуле:

,

где D_k – матрица размера m x n, строками которой являются градиенты функции ограничений ψ_j (X) в точке X_k :

∂ψ₁/∂x₁ ∂ψ₁/∂x₂…∂ψ₁/∂x_n

D = ∂ψ₂/∂x₁ ∂ψ₂/∂x₂…∂ψ₂∂x_n

..……………………..

∂ψ_m∂x₁ ∂ψ₁/∂x₂…∂ψ_m/∂x_n

ψ(X_k )- вектор- функция ограничений в точке X_k.

После попадания в малую окрестность гиперповерхности ограничений выполняется второй шаг, имеющий целью продвижение в сторону уменьшения целевой функции без нарушения ограничений, поэтому перемещение происходит в гиперплоскости, касательной гиперповерхности ограничений. Направление шага противоположно направлению проекции вектор-градиента F(X) на эту поверхность. Проекция задается с помощью проецирующей матрицы:

,

где I – единичная матрица порядка «n».

Шаг заключается в изменении управляемых параметров по формуле:

X_k - h_kH_kgrad F(X_k).

Этот шаг приводит к нарушению ограничений, поэтому следующий шаг будет шагом спуска на гиперповерхность ограничений и т.д.

Метод проекции вектор-градиента применим и к решению задач с ограничениями типа неравенств.

Пример.

Можно использовать для нахождения условного экстремума метод, похожий на метод градиентного поиска. В этом методе в области XP осуществляется градиентный поиск, а вне области XP движение происходит в направлении суммы градиентов нарушенных ограничений. Траектория поиска имеет зигзагообразный характер: движение к экстремуму замедленное.