Методы оптимизации

Следовательно, решение задачи линейного программирования, даже не дающее хорошего приближения к экстремуму, позволяет получить важную информацию: определить направление поиска и точки пересечения соответствующего луча с границей допустимой области S .

В результате решения задачи

α

находится точка x1 S , такая, что f (x1 )< f (x0 ).

Поскольку величина f (x1 )≠ 0 , то полученная точка x1 может служить

точкой линеаризации для построения следующей аппроксимации. Решение последовательности задач линейного программирования и одномерный поиск продолжается до тех пор, пока расстояние между точками последовательных оптимумов xk не станет меньше значения ε .

На изложенной информации основан следующий оптимизационный метод Франка – Вульфа (МФВ).

Алгоритм метода Франка – Вульфа. Исходные данные – ЦФ, ограничения, начальная точка x0 S , точность решения по аргументу и по функции – абсолютная (εx и εy ) или относительная (δx и δy ).

1.Задать номер итерации k = 0. Вычислить f (x0 ).

2.Вычислить f (xk ). Если f (xk ) ≤ εy , то положить x* ≈ xk и закон-

чить вычисления.

3. Решить следующую задачу линейного программирования:f (xk ) y → min,

Ay ≤ b, y ≥ 0. Пусть yk – оптимальное решение этой задачи.

4. Найти αk , представляющее собой решение задачи при

Φ(α) = f (xk + α(yk − xk ))→ min,α 0 ≤ α ≤1.

5. Вычислить xk+1 = xk + αk (yk − xk ).

6. Проверить близость к решению. Если xk+1 − xk ≤ εx и f (xk+1 )−

− f (xk ) ≤ εy (если заданы относительные погрешности, то xk+1 − xk xk+1 ≤ δx ,

172

f (xk+1 )− f (xk ) f (xk+1 ) ≤ δy ), положить x* ≈ xk+1 и закончить вычисления.

Иначе выполнить присваивание k = k +1 и вернуться на шаг 2.

·····························································

В формулировке подзадачи линейного программирования

опущены постоянные члены целевой функции f (x, xk ), т. к. они не

влияют на решение.

·····························································

6.5.3 Метод допустимых направлений Зойтендейка

В рассмотренном выше методе линейная аппроксимация используется не

для определения очередного приближения, а только для выявления подходящего направления поиска в каждой точке. В этом случае точку экстремума вдоль данного направления можно определить непосредственной проверкой значений целевой функции и функций, входящих в ограничение. Аналогичная стратегия применяется в градиентных методах безусловной оптимизации. Здесь мы продолжим исследование этого подхода для задач с нелинейными ограничениями.

В задачах с ограничениями линеаризуются и ограничения, и целевые функции, а направления необходимо выбирать так, чтобы они приводили к допустимым точкам x S .

Рассмотрим задачу с ограничениями в виде неравенств:

f (x)→ min,

(6.47)

gi (x) ≥ 0, i =1,2,...,m.

Пусть x0 − начальная точка, удовлетворяющая ограничениям: gi (x0 )≥ 0, i =1,2,...,m.

Предположим, что некоторые ограничения являются активными в точке x0 :

I0 = {i : gi (x0 )= 0,i I}, I0 I = {1,2,...,m} .

Вектор d определяет допустимое направление для поиска, если d − направление спуска, т. е.

173

Неравенство f T (x) d < 0 получается следующим образом. Разложим в ряд Тейлора функцию f (x) в точке x0 :

f(x) = f (x0 )+ f T (x0 )(x − x0 ).

Внаправлении спуска в допустимых точках должно выполняться нера-

венство: f (x) < f (x0 ), следовательно, f T (x0 )(x − x0 ) < 0. Вводя обозначение

x − x0 = d , получим искомый результат.

Точки x(α) будут допустимыми, если для всех активных ограничений выполняется условие:

а значение θ выбирается по возможности большим.

При реализации на ЭВМ допустимые направления удобно нормировать,

между движением внутрь области допустимых решений без нарушения ограничений и движением по направлению наискорейшего спуска.

После того, как вектор d выбран, очередное приближение может быть

до тех пор, пока либо ЦФ f (x) не достигнет экстремума, либо какое-то из ограничений не окажется нарушенным.

Обычно для каждого ограничения gi (x) ≥ 0 находятся значения αi > 0, при которых

174

а затем определяется α как наименьшее из αi

α = min{αi}.

i

При известном значении α можно использовать любую процедуру одномерного поиска для определения α , которое минимизирует функцию f (x0 + αd0 ) на отрезке [0,α].

Данный алгоритм называется методом допустимых направлений Зойтендейка (МДНЗ) [1, 6, 8].

Алгоритм метода допустимых направлений Зойтендейка. Исходные данные – ЦФ, ограничения, начальная точка x0 S , точность решения по аргументу и по функции – абсолютная (εx и εy ) или относительная (δx и δy ), нулевой порог для определения активных ограничений εz .

1. Задать номер итерации k = 0. Вычислить f (x0 ).

2. Вычислить f (xk ), gi (xk ), gi (xk ). Если f (xk ) ≤ εy , то положить x* ≈ xk и закончить вычисления.

3. В данной допустимой точке xk S определить множество индексов тех ограничений, которые активны в точке xk , т. е.

Ik = {i : gi (xk )= 0, i =1,2,...,m}.

Однако если алгоритм реализуется численно, из-за погрешностей вычислений на ЭВМ может наблюдаться не точное равенство активного ограничения нулю в точке xk , а приближенное. Либо с этой проблемой можно столкнуться при округлении промежуточных результатов расчетов. В этом случае принимают

Ik = {i : gi (xk ) ≤ εz , i =1,2,...,m},

где εz − заданная погрешность определения активных ограничений.

4. Решить ЗЛП:

−θ → min,

f T (xk ) d ≤ −θ,

giT (xk ) d ≥ θ, i Ik ,

−1≤ d j ≤1, j =1,2,...,n.

175

Пусть dk и θk − полученное решение. Если θk ≤ 0, то положить x* ≈ xk и закончить вычисления, т. к. дальнейшее улучшение невозможно.

5. Иначе найти

α = min{αi : gi (xk + αdk )= 0, α ≥ 0, i =1,2,...,m}.

Если не существует αi ≥ 0 , положить αi = ∞ (в программной реализации

множество индексов, для которых gi (xk+1 )= 0 .

6.Найти αk , представляющее собой решение задачи при

Φ(α) = f (xk + αdk )→ min,α 0 ≤ α ≤ α.

7.Положить xk+1 = xk + αk dk .

Иначе выполнить присваивание k = k +1 и вернуться на шаг 2.

·····························································

В любой машинной программе поиск граничного значения и

одномерный поиск экстремума можно реализовать с помощью известных методов одномерной оптимизации.

·····························································

В алгоритме Зойтендейка учитываются только активные ограничения в данной допустимой точке, при этом получается зигзагообразный процесс, замедляющий решение, а в некоторых случаях приводящий к «заеданию» − тип

ложной сходимости.

К методам, свободным от этих недостатков, можно отнести метод ε -возмущений, а также метод Топкинса и Вейнотта.

Методами допустимых направлений нельзя непосредственно пользоваться для решения задач с нелинейными ограничениями-равенствами hk (x) = 0. В этом случае эти ограничения-равенства необходимо ослабить, допустив ограниченное перемещение вне поверхности, задаваемой ограничениями

176

hk (x) ≤ ε.

Однако если ε мало, то одномерный поиск осуществляется небольшими шагами и скорость процесса невелика. С другой стороны, если допускается ограниченное движение вне границ области допустимых решений S , облегчающее выбор допустимого направления, то итеративное решение соответствующих ограничениям уравнений нужно проецировать на область S (рис. 6.7).

Рис. 6.7 – Проекция на область допустимых решений ЗО

Другим существенным недостатком метода допустимых направлений является необходимость решения подзадач ЛП.

Ниже рассматриваются методы, которые не имеют указанных недостат-

ков.

6.5.4Метод условного градиента

Вметоде условного градиента (МУГ) рассматривается ЗНП [5]:

где f (x) − выпуклая функция.

Пусть xk S − очередное приближение исходной задачи НП и f (xk )≠ 0. Тогда в окрестности точки xk ЦФ f (x) представима в виде:

f% (x,xk )= f (xk )+ f T (xk ) (x − xk )+ O (x − xk )

и линейная функция

fk (x) = f T (xk ) (x − xk )

177

является приближением разности f% (x, xk )− f (xk ) с точностью до величины

O (x − xk ) в некоторой окрестности точки xk .

Поставим вспомогательную задачу минимизации на множестве S линейной функции fk (x), т. е.

где α*k найдено из условия наискорейшего спуска по направлению dk = yk − xk :

Φ(α*k )= minα f (xk + α(yk − xk )).

Другой способ вычисления значения αk . В начале выполнения итерации (6.60) полагают αk =1, после чего проверяют условие:

Если это условие нарушается, то αk уменьшают в 2 раза (до тех пор, пока неравенство (6.61) не будет выполнено) и переходят к следующей итерации (6.60).

Алгоритм метода условного градиента. Исходные данные – ЦФ, ограничения, начальная точка x0 S , точность решения по аргументу и по функции – абсолютная (εx и εy ) или относительная (δx и δy ).

1.Задать номер итерации k = 0. Вычислить f (x0 ).

2.Вычислить f (xk ). Если f (xk ) ≤ εy , то положить x* ≈ xk и закон-

чить вычисления.

3. Решить вспомогательную задачу

fk (x) = f T (xk ) (x − xk )→ min

при ограничениях (6.57), (6.58). Пусть yk – оптимальное решение этой задачи.

178

4. Найти αk , представляющее собой решение задачи при

Иначе выполнить присваивание k = k +1 и вернуться на шаг 2.

Отметим, что в общем случае задача (6.59) является, вообще говоря, зада-

179

Выделим базис:

Если g1 < 0, то разрешающим столбцом будет первый столбец. В этом столбце разрешающая строка третья. После преобразования получим

x1 = a1 + (b1 − a1 ) = b1, x2 = b2.

Если g2 < 0 , то аналогично получим:

x2 = a2 + (b2 − a2 ) = b2, x1 = b1.

2. Допустимое множество S задано линейными ограничениями и условием неотрицательности переменных. Тогда (6.59) − ЗЛП и ее решение можно найти с помощью симплекс-метода. В этом случае МУГ напоминает МФВ.

В этом случае МУГ напоминает метод проекции градиента, который будет рассмотрен далее.