Лабораторная работа №4. Тема: Решение задач нелинейного программирования на эвм. Теория

1. Концепция методов.

В данных методических указаниях рассматриваются методы построения улучшающих последовательностей при отыскании экстремума функции R(x) без активных ограничений. Активными принято называть такие ограничения, на границе которых находится решение. Если известно, что решение лежит строго внутри допустимой области, например, в случае ограничений типа неравенств, то такие ограничения лучше выводить из задачи на этапе ее постановки. Кстати, следует отметить, что ограничения типа равенств всегда активные.

Величина шага Δх в рекуррентном соотношении

xⁱ⁺¹ = xⁱ + Δхⁱ

вычисляется с использованием градиента целевой функции R(x), т.е.

Δхⁱ = f(grad R(x))

при этом шаг может определяться с использованием градиента в одной (текущей) или в двух (текущей и предыдущей) точках. Направление градиента, как известно, показывает направления наискорейшего возрастания функции, а его модуль – скорость этого возрастания.

В отличие от других рассмотренных выше вычислительных методов поисковые методы оптимизации содержат неформально (т.е. субъективно) задаваемые параметры, которые существенно влияют на эффективность поиска, вследствие чего один и тот же метод может дать совершенно различные траектории поиска. Поэтому для всех методов, рассматриваемых далее, на рис. 1 приводится лишь одна из возможных траекторий. Кроме того, для всех приведенных траекторий выбраны различные начальные условия, с тем чтобы не загромождать построения. На этом и последующих рисунках зависимость R(x₁, x₂) приведена в виде линий уровня на плоскости в координатах x₁ – х₂.

Рис. 1. Иллюстрация траекторий поиска минимума функции градиентными методами: 1 – оптимум; 2 – траектория метода градиента; 3 – траектория метода тяжелого шарика; 4 – траектория метода наискорейшего спуска; 5 – траектория метода сопряженных градиентов; 6 – начальные точки траекторий

2. Метод градиента

Метод градиента в чистом виде формирует шаг по переменным как функцию от градиента R(x) в текущей точке поиска. Простейший алгоритм поиска minR(x) записывается в векторной форме следующим образом:

xⁱ⁺¹ = xⁱ – h grad R(xⁱ),

или в скалярном виде:

Величина рабочего шага в направлении градиента h grad R(x) зависит от величины градиента, который заранее учесть трудно, и от коэффициента пропорциональности шага h, с помощью которого можно управлять эффективностью метода.

Поиск каждой новой точки состоит из двух этапов:

1) оценка градиента R(x) путем вычисления частных производных от R(x) по каждой переменной x_j;

2) рабочий шаг по всем переменным одновременно.

Величина h сильно влияет на эффективность метода. Большей эффективностью обладает вариант метода, когда шаг по каждой переменной определяется направляющими косинусами градиента

где

В этом случае величина рабочего шага не зависит от величины модуля градиента, и ею легче управлять изменением h. В районе оптимума может возникать значительное "рыскание", поэтому используют различные алгоритмы коррекции А.

Наибольшее распространение получили следующие алгоритмы:

1. hⁱ = const = h (без коррекции);

2. hⁱ = h^i–1 /2, если R(xⁱ) < R(x^i–1); hⁱ = h^i–1, если R(xⁱ) > R(x^i–1);

3. hⁱ = h^i–1, если α₁ ≤ α ≤ α₂; hⁱ = 2h^i–1, если α₁ > α; hⁱ = h^i–1/3, если α₂ < α,

где α – угол между градиентами на предыдущем и текущем шаге; α₁ и α₂ – заданные пороговые значения выбираются субъективно (например, α₁ = π/6, α₂ = π/3).

Вдали от оптимума направление градиента меняется мало, поэтому шаг можно увеличить (второе выражение), вблизи от оптимума направление резко меняется (угол между градиентами R(x) большой), поэтому А сокращается (третье выражение).

Для оценки частных производных используются разностные методы:

1. Алгоритм с центральной пробой

2. Алгоритм с парными пробами

где g_i – пробный шаг по i-й переменной, выбираемый достаточно малым для разностной оценки производной.

Первый алгоритм требует меньших затрат по сравнению со вторым (обычно затраты выражаются количеством вычислений критерия оптимальности), но позволяет получить решение менее точно, чем второй, и эта погрешность зависит от величины пробного шага.

На рис. 1 приведена одна из возможных траекторий поиска минимума двумерной функции градиентным методом (наряду с другими ниже рассматриваемыми методами).

Условием окончания поиска может являться малость модуля градиента R(x), т.е. .