Глава 7. ЦЕЛОЧИСЛЕННОЕ ПРОГРАММИРОВАНИЕ

Целочисленное программирование (ЦП) - это наиболее важный раз­ дел дискретного программирования. Задачи дискретного программирова­ ния отличаются от рассмотренных тем, что на переменные накладывается требование дискретности, в частном случае - целочисленности. В качестве примеров можно привести задачи раскроя (подразд. 4.11.5), о ранце, ком­ мивояжера и др.

Характерными источниками целочисленности (дискретности) явля­ ются:

1)неделимость объектов, представляемых переменными (например,

х- число рабочих или отправляемых вагонов);

2)вариантность типа “да-нет” (например, включать или нет данный пакет в портфель ценных бумаг);

3)заданность возможных значений нормативными документами (на пример, сечения проводов, диаметров труб, размеров профилей и т.п.);

4)комбинаторность (например, размещение объектов, порядок обхода объектов, упорядочение объектов);

5)логические условия (например, фиксированные затраты имеют ме­

сто только при производстве продукции).

Различают задачи полностью целочисленные/дискретные и частично целочисленные (смешанные). В последних требование целочисленности накладывается не на все переменные.

Любой ряд дискретных значений может быть представлен линейной комбинацией целочисленных переменных. Поэтому дискретная задача легко сводится к целочисленной за счет значительного увеличения числа переменных.

Далее рассмотрим только линейные целочисленные задачи.

7.1. Проблема целочисленности

На первый взгляд может показаться, что целочисленная задача реша­ ется проще непрерывной. При малой размерности и узких диапазонах пе­ ременных задачу можно решить простым перебором. В других случаях необходимы соответствующие методы.

Несмотря на линейность модели, допустимое множество целочислен-, ной задачи не является выпуклым. Так, в полностью целочисленной задаче оно представляет собой множество отдельных точек, имеющих целочис­ ленные координаты. Методы линейного программирования базируются на

выпуклости допустимого множества и поэтому непосредственно не могут быть применимы к целочисленным задачам.

Можно, конечно, пренебречь требованием целочисленности и использо­ вать один из методов ЛП, но тогда, за редким исключением, результат не будет целочисленным, а округление дробных значений переменных пробле­ матично. Действительно, так как оптимальное решение непрерывной задачи лежит в вершине допустимого множества, округление может привести к недопустимости. При двух дробных переменных имеется 4, а при п пере­ менных - 2" вариантов округления! Какие из них дают допустимые решения, можно определить только после проверки всех ограничений. При этом сле­ дует иметь в виду, что, во-первых, целочисленная задача может оказаться неразрешимой, несмотря на разрешимость непрерывной задачи; во-вторых, допустимость округленного решения еще не означает его оптимальность. Проиллюстрируем последний тезис известной задачей о садовнике.

По расчетам садовника требуется внести в почву комплексные удоб­ рения в количестве 107 кг. Удобрения продаются только в расфасованном

затратами.

Запишем модель задачи:

L = 140xt + 120^2 —> min; 35*i + 24х2 > 107;

хь Х2 > 0, int (целые).

Если пренебречь целочисленностью, то легко увидеть, что оптимальным будет решение

xi = 3^j, х2 = 0.

Если округлить результат по правилам арифметики, то получим недо­ пустимое решение. Округление в большую сторону (xi = 4, хг = 0) дает допустимое решение, но является ли такое решение оптимальным? Чтобы

матрицы [а,у] равен т). Для него справедлива следующая теорема. Теорема. Для того чтобы все вершины многогранного множества

М(В) при любом целочисленном векторе В были целочисленными, необ­ ходимо и достаточно, чтобы каждый минор порядка т матрицы условий [ау] был равен либо 0, либо +1 или -1.

Если вместо равенств (7.1) множество задается неравенствами, ука­ занные в теореме значения относятся ко всем минорам матрицы [%].

Класс задач, удовлетворяющих теореме, очень узок (это транспорт­ ные задачи, задачи о назначениях и др.). Такие задачи относят к легкораз­ решимым (по Дж. Эдмондсу), так как для них существуют полиномиальные алгоритмы (время или число итераций растет полиномиально с увеличени­ ем размерности задачи). Остальные целочисленные задачи входят в класс трудноразрешимых задач (доказана NP-полнота общей целочисленной задачи).

Для решения таких задач применяются различные методы. Из точных методов можно назвать следующие:

1)методы отсечений;

2)метод ветвей и границ;

3)аддитивный метод;

4)метод построения последовательности планов;

5)модификации динамического программирования;

6)методы последовательного анализа вариантов.

Эти методы за исключением 1-го входят в группу комбинаторных ме­ тодов. Кроме точных методов имеется также большое число приближен­ ных методов.

Подробно рассмотрим первые три метода как наиболее широко при­ меняемые в пакетах программ, предназначенных для решения задач мате­ матического программирования. В некоторых из них используются комбинация точных методов, добавление эвристических оценок и другие приемы, позволяющие повысить эффективность алгоритмов.

7.2. Метод отсечений

Идею этого метода высказал Г. Данциг. Она заключается в преобразо­ вании невыпуклого множества целочисленной задачи в выпуклое целочис­ ленное путем отсечения от выпуклого множества непрерывной задачи частей, не содержащих целочисленных точек. Тогда использование мето­ дов ЛП гарантирует получение оптимального целочисленного решения

(при разрешимости задачи). С этой целью строится выпуклая оболочка допустимого множества целочисленной задачи. Выпуклой оболочкой не­ выпуклого множества Q называется наименьшее выпуклое множество, содержащее Q. В целочисленной задаче выпуклая оболочка может быть построена соединением крайних целочисленных точек допустимого мно­ жества гиперплоскостями. Пример построения выпуклой оболочки для задачи с двумя переменными показан на рис. 7.2. Здесь соединение край­ них точек прямыми позволило получить целочисленное многогранное множество, содержащее все допустимые решения целочисленной задачи. Без требования целочисленное™ допустимое множество данной задачи представляет собой выпуклый четырехугольник. Как видно, разность мно­ жества-четырехугольника и выпуклой оболочки не содержит целочислен­ ных решений.

Геометрически все выглядит доста­ точно просто. Но формализовать проце­ дуру построения целочисленного множес­ тва долгое время не удавалось. Первым, кто смог это сделать, был Р. Гомори. В 1958 году он предложил итерационную процедуру, по которой на каждой итера­ ции отсекается часть множества непре­ рывной задачи (НЗ), не содержащая целочисленных решений, но включающая в себя оптимальное решение НЗ, и на со­

кращенном таким способом непрерывном множестве отыскивается новое оптимальное решение одним из методов ЛП. Итерации заканчиваются, когда оптимальное решение очередной НЗ окажется целочисленным или обнаружится неразрешимость НЗ, а значит, и целочисленной задачи. При этом выпуклая оболочка может быть построена только частично.

Рассмотрим пример (рис. 7.3). Оптимальное решение НЗ, как по кри­ терию L\, так и по Li, находится в вершине А. После первого отсечения нецелочисленной части множества, содержащей точку А, появляется целочисленая вершина В. При решении зада­

чи по критерию L\ в ней будет оптимум НЗ, а значит, и исходной целочисленной задачи. Если же взять критерий Li, то оптимум НЗ окажется в вершине С, ко­ торая не является целочисленной. По­ этому потребуется еще одно отсечение, после которого будет получено оптамальное целочисленное решение в точке F. В обоих случаях выпуклая оболочка строится только частично.

Проблема состояла в получении регулярного условия, присоединение ко­ торого к ограничениям НЗ приведет к необходимому отсечению. Такое усло­ вие должно удовлетворять двум требованиям: 1) не выполняться в текущем оптимальном решении НЗ; 2) выполняться во всех допустимых целочислен­ ных решениях. Первое требование обеспечит отсечение части непрерывного множества, второе - неизменность целочисленного множества.

Гомори сумел решить эту проблему, предложив несколько вариантов получения условий отсечения. Мы покажем вывод условия отсечения, которое применяется в 1-м алгоритме Гомори.

Пусть получено оптимальное решение НЗ. Уравнение, соответствую­ щее строке оптимальной симплекс-таблицы с /-й базисной переменной, записывается следующим образом:

Нас интересуют переменные, которые имеют нецелые значения в по­ лученном оптимальном решении. В этих случаях коэффициент аю в (7.3), естественно, не целый, а коэффициенты а у могут быть любыми действи­ тельными числами.

Нецелое значение представим в виде целой и дробной частей. Целая часть числа - наибольшее целое, не превосходящее само число. Будем обозначать ее взятием исходной величины в символы L-J. Например, [_2,lJ = 2, Ll,9j = 1, L—2,1J = -3. Тогда дробную часть коэффициентов в (7.3) можно записать в виде

d/, = а у- |_а //_|>

следовательно, для нецелого щ всегда 0 < а у < 1.

Перепишем (7.3) с выделенными целыми и дробными частями коэф­ фициентов:

Оставим в левой части (7.4) только целые части коэффициентов, тогда, учитывая неотрицательность a v и X j, получим неравенство

Теперь воспользуемся требованием целочисленности. При целых пе­ ременных левая часть неравенства (7.5) может принимать только целые

значения. Поэтому, если отбросить а,о, нестрогое неравенство левой и правой частей сохранится:

основные переменные. Действительно, так как х3= 96 - 15^ - 30*2, то 96 - 15*1 - 30д:2 > 6 и окончательно имеем xi + 2*2 < 6. Граница по этому ограничению показана на рис. 7.4 пунктирной линией. Легко убедиться, что все вершины усеченного множества целочисленные. А

Когда непрерывное решение имеет более одной дробной переменной, возникает вопрос выбора переменной, по которой следует строить отсече­ ние. Строгого обоснования такого выбора нет. На основе эксперименталь­ ных данных рекомендуется брать переменную с наибольшей дробной частью. Другой вопрос относится к способу учета очередного условия отсечения: его можно добавить к условиям исходной задачи и решать за­ дачу заново или после добавления продолжить симплекс-преобразования с полученного оптимального решения, которое стало недопустимым. В алгоритме Гомори применяется второй вариант как более экономичный.

Перед добавлением условие отсечения приводим к равенству

(7.8)

уенебаз

Так как небазисные переменные равны нулю, то новая дополнительная переменная х-+1 = - а (0 < 0. Поэтому рекомендуется для последующего решения применять двойственный симплекс-метод.

Таким образом, согласно 1-му алгоритму Гомори необходимо выпол­ нить следующие действия:

1.Преобразовать условия задачи так, чтобы все коэффициенты стали целыми.

2.Решить исходную задачу без учета целочисленности (НЗ) симплексметодом. Если непрерывная задача неразрешима, то зафиксировать нераз­ решимость исходной задачи и перейти к п. 9.

3.Проверить решение на целочисленность: если решение целочислен­ ное, то зафиксировать полученное оптимальное решение и перейти к п. 9.

4.Если не все переменные целые, то из оптимальной таблицы выбрать переменную с наибольшей дробной частью.

5.Выписать из симплекс-таблицы строку с выбранной базисной пере­ менной.

6.Выделить дробные части коэффициентов в полученном уравнении

изаписать условие отсечения согласно (7.7).

7.Привести условие отсечения к равенству (7.8), умножить его на -1

идобавить полученную строку к оптимальной симплекс-таблице. При этом размерность базиса увеличивается на единицу. В качестве недостаю­

щей базисной переменной принимается дополнительная переменная из новой строки.

8. Решить расширенную задачу двойственным симплекс-методом. Ес­ ли задача разрешима, перейти на 3. Иначе зафиксировать неразрешимость целочисленной задачи.

9. Конец. ▲

Гомори доказал сходимость этого алгоритма.

Примечание. Как следует из алгоритма, на каждой итерации увеличи­ вается размер таблицы (число условий) на единицу. Для ограничения раз­ мера используется такой прием. Как только дополнительная переменная какого-либо условия отсечения снова становится базисной (но уже поло­ жительной!), строка с ней удаляется из таблицы. Если велся столбец этой переменной, то он тоже удаляется. Подобное исключение не отразится на решении, так как условие удаляется после того, как становится неактив­ ным. В результате число строк не превысит п.

Пример 7.2. Применим приведенный алгоритм к задаче:

L= 2X \+ X2-> шах;

2х\ + х2> 7,5;

12*1+ 7*2^ 55;

5xi + 2х2 + х$< 18; *i, х2 > 0, целые.

Умножаем 1-е неравенство на 2 и затем приводим все условия к ра­ венствам:

4*1+ 2х2 - х з = 15;

12xi + 7х2+ х 4 = 55;

5xi + 2х2 + Х5= 18.

Решаем непрерывную задачу симплекс-методом. В табл. 7.3 представ­ лено решение НЗ (оптимальная таблица выделена двойной рамкой, строка оценок записана первой для удобства расширения таблицы).

Таблица 7.3

хуже оптимального, a Z - достигнутое в процессе решения значение крите­ рия исходной задачи (в качестве начального может приниматься значение, заведомо хуже оптимального). Значит, задача будет порождающей только при условии, что ее оценка лучше рекорда. При этом уровень, на котором находится задача, не имеет значения.

Рассмотрим метод применительно к линейной целочисленной задаче. Хотя нет каких-либо ограничений на число задач, непосредственно порож­ даемых перспективной, в алгоритмах, как правило, используется разбиение на две задачи, то есть строится бинарное дерево (рис. 7.5). При этом для

относиться к задаче на максимум.

Для алгоритмической реализации схемы ветвей и границ необходимо решить два основополагающих вопроса:

1) каким образом разбивать перспективное множество на подмноже­

ства; 2) как определять верхнюю оценку критерия на рассматриваемом

множестве?

Ответы на них зависят от типа задачи (частично или полностью цело­ численная, имеет ли особые свойства, переменные булевые или общего целого типа). Ниже рассматривается общий случай.

Пусть известен диапазон возможных значенийj -й переменной

О <xj<dj,

которая в непрерывном оптимальном решении оказалась нецелочисленной’ и равной х / Тогда целочисленное значение этой переменной может дос­

тигаться либо в интервале 0 < Xj <[*у J, либо в интервале [*у J + 1 ^Xj й dj,

где - целая часть *у (рис. 7.6).

Это соответствует разбиению непрерывного множества I f на два непересекающихся подмножества D? и D", объединение которых не рав­ но I f . В то же время такое разбиение целочисленного множества удовлетворяет соотношениям (7.9). При этом целочисленные множества, как исходное, так и порожденные, включены в соответствующие непре­ рывные множества. Следовательно, поиск целочисленного решения на непрерывном множестве даст тот же результат, что и на целочисленном. Легко увидеть, что приведенное выделение подынтервалов по одной пере­ менной приводит к разбиению исходного множества на два подмножества при любом числе переменных.

Теперь перейдем ко второму вопросу. Так как целочисленное множе­ ство является подмножеством соответствующего непрерывного, опти­ мальное значение критерия на непрерывном множестве всегда будет не меньше, чем на целочисленном. Поэтому в качестве верхней оценки V можно брать оптимальное значение критерия L непрерывной задачи.

Выбор начального значения рекорда зависит от ситуации:

•если известно какое-либо целочисленное значение, то рекорд при­ нимается равным критерию в этом решении;

•при положительности всех коэффициентов критерия можно взять нулевое значение рекорда;

•в иных случаях за начальное значение рекорда берется -М (М - максимально представимое в компьютере число).

По ходу разбиения формируются порождаемые задачи, которые по­ мещаются в список задач. Первоначальный список содержит только одну задачу - исходную задачу без условий целочисленности. И в последующем список будет содержать только непрерывные задачи.

Таким образом, базовый алгоритм, реализующий метод ветвей и гра­ ниц, включает в себя следующие шаги:

1.Задается начальное значение рекорда и в список задач помещается исходная задача без требования целочисленности переменных.

2.Анализируется список задач: если он пуст, то переходим на шаг 6. Иначе выбирается одна из задач с удалением ее из списка.

3. Выбранная задача решается одним из методов линейного програм­ мирования. Если задача неразрешима или оптимальное значение критерия Z* < Z, ветвь обрывается (задача прозондирована). Переход на шаг 2.

4.Полученное решение анализируется на целочисленность. Если ре­ шение целочисленное, оно фиксируется, рекорду присваивается оптималь­ ное значение критерия решенной непрерывной задачи (Z: = L \ ветвь обрывается и осуществляется переход на шаг 2.

5.Выбирается одна из переменных, имеющих нецелочисленные зна­ чения. По ней производится ветвление: порождаются две задачи, одна об­

разуется присоединением к решенной родительской) задаче условия X] ^ |Х_1> другая - добавлением к родительской ограничения ху> [x’J + 1.

Эти задачи заносятся в список задач. Переход на шаг 2.

6. Вывод результатов (если значение рекорда больше начального, полу­ чено оптимальное решение исходной задачи, иначе задача неразрешима). ▲

Приведенный алгоритм является базовым, так как не включает в себя однозначных правил выбора задачи из списка и ветвящей переменной. Для частично целочисленных задач при выборе переменной для ветвления исключаются непрерывные переменные.

Пример 7.3. Применим алгоритм ветвей и границ к задаче:

L = 9х\ + 5x2 —> шах; 3xi - 6х2 > 1;

5xi + 2х2 ^ 28; V Ху > 0, целые.

Отбрасывая условие целочисленности, получаем непрерывную зада­ чу, которую помещаем в список задач. Так как коэффициенты критерия положительны, начальное значение рекорда принимаем равным нулю. Берем из списка единственную задачу и решаем ее. Получаем оптимальное решение в вершине А (рис. 7.7): х /= 4,72; х2*= 2,19 Ветвление произво­ дим по переменной х\. Добавляя к решенной задаче ограничение Х] < 4, образуем задачу 2, а добавление Х)> 5 дает задачу 3. Допустимые множества новых задач показаны на рис. 7.7. Эти задачи помещаем в список задач. Решение задачи 2 достигается в точке В, а задачи 3 - в С. Весь ход решения исходной задачи представлен в виде дерева решений на рис. 7.10. Порядок решения задач из списка отражает счетчик итераций к. На 3-й итерации (задача 4) получено целочисленное Х2 решение со значением критерия 41 (точка

D на рис. 7.8). Поэтому изменяется рекорд:

Z=41. Задача 6 имеет нецелочисленное решение (вершина Е на рис. 7.9), зада­ ча 8 - целочисленное решение в точке F. В результате после 7-й итерации рекорд становится равным 50.

Остальные задачи не имеют допустимых решений, то есть список за­ дач исчерпывается, и, таким образом, констатируем получений оптималь­ ного решения исходной задачи, равное решению непрерывной задачи 8.

Из приведенного дерева решений видно, что число задач в списке могло бьггь меньше при другом порядке решения задач. Действительно, если бы сначала были решены задачи правой ветви с рекордом Z = 50, то после решения задачи 2 не произошло бы ветвления, так как верхняя оцен­ ка оказалась бы ниже рекорда (V = L*= 45,17 < 50).

Естественно возникает вопрос: а как на числе задач и дереве решений может отразиться выбор другой переменной для ветвления? Так, в нашем примере если после 1-й итерации произвести ветвление по переменной х2> то получим дерево, показанное на рис. 7.11. Оно содержит на две задачи больше, чем на рис. 7.10. Конечно, оно может быть также другим при ином порядке решения задач.

Таким образом, число решаемых задач существенно зависит от выбо­ ра задачи из списка и переменной для ветвления.

Из алгоритма и приведенного примера следует, что ветвь обрывается по одной из трех причин:

1)неразрешимость задачи;

2)задача имеет целочисленное решение;

3)верхняя оценка не больше рекорда.

Теперь сделаем ряд замечаний относительно метода ветвей и границ. Как уже отмечалось, в базовом алгоритме не оговариваются правила выбо­ ра задачи и переменной. В большинстве программных реализаций метода используются правила, основанные на эвристических оценках перспектив­ ности задач и переменных. В некоторых пакетах, например, “ЛП в АСУ” предлагается несколько вариантов управления процессом решения: от автоматического до ручного, в котором пользователь может сам выбирать как задачу, так и переменную для ветвления. Кроме того, алгоритмы, осно­ ванные на методе ветвей и границ, могут существенно отличаться в связи с учетом особенностей класса задач. Например, для задачи коммивояжера определение оценки значительно упрощено (не требуется решать непре­ рывную линейную задачу).

Метод ветвей и границ имеет преимущества в сравнении с методом отсечений:

•накопление ошибок менее значительное, так как решение идет по разным ветвям;

•при принудительной остановке процесса решения высока вероят­ ность получения целочисленного результата, но без установления его оп­ тимальности;

•при решении непрерывных задач размеры симплекс-таблиц не уве­ личиваются.

Недостатки метода ветвей и границ [8]:

• Нельзя оценить число задач, которые придется решать. Чем ближе снизу начальное значение рекорда и сверху оценка критерия задачи к ис­ комому оптимальному значению критерия, тем меньше вершин будет иметь дерево решений, а значит, и затрат ресурсов. Однако завышение начального рекорда может привести к неразрешимости задачи, что всегда следует иметь в виду.

Оставшиеся после этих проверок свободные переменные образуют множество Р,. Если оно пустое, то текущее частичное решение не перспек­ тивно, то есть считается прозондированным.

3. Выясняется возможность получения допустимого решения на осно­ ве данного частичного. В строках с S,' < 0 проверяется условие

]Tmm(o,<ty)>S/. (7.14) jzP,

Если оно выполняется хотя бы для одной строки, все переменные из Р, исключаются, так как увеличение значения даже всех этих переменных до 1 не обеспечит допустимость решения (неотрицательности вектора S).

Вэтом случае решение I, считается прозондированным (ветвь обрывается).

4.Если условия (7.14) не выполняются, то есть Р, * 0 , то ветвь продолжается. Для получения нового частичного решения из I, вычисля­ ются оценки каждой переменной из Р,:

/

Оценка дает суммарную величину недопустимости, остающейся после присвоения переменной х,е Р, значения 1. Как видно из (7.15), отрицатель­ ная оценка свидетельствует о наличии недопустимости. Из полученных оценок определяется максимальная:

Очевидно, что если v/= 0, то увеличение х* до 1 дает допустимое ре­ шение с меньшим значением критерия. Поэтому рекорду z присваивается значение L'+ Ск, а новое частичное решение 1,+)= {1„ к} считается прозон­ дированным. Если же v*'< 0, то допустимое решение не достигнуто и час­ тичное решение I^i = {I,, к} подвергается всем проверкам. Если в результате проверок оно окажется прозондированным, новое частичное решение по­ лучают из I,+i изменением знака индекса введенной переменной: 1*2= {I/, - к}, то есть фиксацией х* со значением 0. ▲

В общем случае прозондированное частичное решение может содер­ жать положительные и отрицательные индексы. Для получения нового час­ тичного решения изменяется знак самого правого положительного индекса, а стоящие за ним индексы отбрасываются. Так из решения {2, -1, -3, 5, -7, -6} следует частичное решение (2, -1, -3, -5}. Если представить весь процесс решения в виде дерева (подобно методу ветвей и границ), то отбра­ сывание / последних индексов означает возврат на / уровней вверх. Услови­ ем окончания работы аддитивного алгоритма является отсутствие' положительных индексов в частичном решении.

Пример 7.4 (Таха). Решим с помощью аддитивного алгоритма сле­ дующую задачу:

Условия не выполняются, и все переменные остаются.

что означает допустимость решения. Вывод: решение li прозондировано. Очередное частичное решение получается изменением знака индекса в I). Вторая итерация. 12= {-5}, l\= 0, S2= (1, -2, - 1), z = 3.

1. Исключается х3

2 . Исключается х{, так как Ci + Z,2=0 + 3 = z .

3-^2= {2,4}.

/= 2: 0 - 4 = -4 < -2;

/= 4: - 6 - 3 = -9 < -1.

4.v2 = 0 + (-2) + 0= - 2, v4 = -1 + 0 + 0 = -1, шах v? = v2= - 1. Следов тельно, к = 4 и новое решение 1з= {-5,4} недопустимое.

Третья итерация. 1з= {-5, 4}, L\ = С4 = 2, S3= ( - 1, 2, 2 ), z = 3. Сво­

бодными являются первые три переменные. 1. Исключается *з.

2. Исключаются х{ и х \ ,так как Ц + С\ = 5 > 3 и Ь\ + С2 = 4 > 3.

Pi = 0 , значит, решение 1з прозондировано.

Так как есть частичное решение 1з с положительным индеком, образу­ ем из него решение 14, заменив 4 на -4.

Четвертая итерация. 14 = {-5, - 4 }, L\3 =0, S4= {1, - 2, -1}, z = 3.

1.Исключается х3.

2.Исключается х{.

3 . Р4={2 }. г = 2 : 0 > - 2 , следовательно, х'2 ис­ ключается и 14 прозондировано (оно не может при­ вести к допустимому решению).

Больше нет частичных решений с положительны­ ми индексами, из чего заключаем, что итерации за­

£ ’=5.

Дерево решений рассмотренного примера по­ казано на рис. 7.12. Здесь хорошо видна аналогия с методом ветвей и границ.

методы работают быстро, но невозможно оценить качество получаемого решения. Как правило, находится некоторое локальное решение.

В методе вектора спада (И.В. Сергиенко) локальность решения про­ веряется непосредственно. Вектор спада минимизируемого критерия - это векторная функция от х относительно окрестности радиуса г > О (замкнутого шара) с центром в точке х. Размерность вектора спада равна числу целочисленных точек в шаре без х. Его компоненты характеризу­ ют поведение критерия при отклонении от х. Они подобны относитель­ ным оценкам в симплекс-методе, но вычисляются для целочисленных точек в шаре. Если все компоненты вектора неотрицательны, то теку­ щая точка х является локальным минимумом. В этом случае радиус шара увеличивается и вектор спада пересчитывается. Последовательность радиусов Г\< гг< ...< гт и начальная точка задаются априорно. Если не­ которая компонента показывает улучшение решения, то осуществляется переход в лучшую точку, которая принимается за текущую, и вектор спада вычисляется относительно этой точки для шара без изменения радиуса. Если установлено, что исследуемая точка является локальным минимумом на шаре с максимальным радиусом, она принимается за решение задачи. Характеристики этого метода сильно зависят от спосо­ ба вычисления вектора спада и предварительно выбираемых значений параметров алгоритма.

Ряд приближенных методов разработан для решения только опреде­ ленных типов задач с учетом их специфики, благодаря чему они более эффективны по сравнению с общими приближенными методами.

Кроме перечисленных находят применение приближенные методы, ис­ пользующие случайный поиск и особенно генетические алгоритмы. Послед­ ние сочетают случайные действия с детерминированными. В частности, несколько генетических алгоритмов разработано для задачи коммивояжера.

7.6. Задания для самостоятельной работы

Решить задачи методом ветвей и границ. Корневую задачу решить симплекс-методом, остальные —графически. Построить дерево решений.

Глава 8 . НЕЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ

8 .1. Характеристика задач

Методы нелинейного программирования применяются для решения задач с нелинейными функциями переменных.

В общем случае задача математического программирования записы­ вается в виде:

Если хотя бы одна функция в модели (8.1) нелинейна, имеем задачу нелинейного программирования (НП). Размерность задачи характеризуется размерностью вектора переменных п и числом условий гп\+т2- Однако сложность задачи определяется не столько размерностью, сколько свойст­ вами функций цели и ограничений.

Разнообразие задач НП очень велико. Универсальных методов реше­ ния таких задач не существует. Имеется весьма ограниченное число точ­ ных методов и намного больше приближенных.

Наиболее развиты методы решения задач выпуклого программирова­ ния. К этому классу относятся задачи НП с выпуклым допустимым множе­ ством и выпуклой целевой функцией при минимизации или вогнутой при максимизации. Допустимое множество выпуклое, если все функции \\fk

линейные и ср,- выпуклы при неравенстве < или вогнуты при >. Например,

условие Xi + х \ < г2 порождает выпуклое множество, пересечение которого с прямой Х\ +хг = 0 дает тоже выпуклое множество. Очевидно, что задачи ЛП относятся к этому классу. Главная особенность задач выпуклого про­ граммирования в том, что они унимодальны, то есть любой их локальный оптимум является глобальным. Для ряда задач выпуклого программирова­ ния с дифференцируемыми функциями разработаны точные методы. Наи­ большие сложности возникают при решении многоэкстремальных задач, которые по определению не относятся к классу выпуклых.

Важный класс НП составляют задачи квадратичного программирова­ ния (КП). В них целевая функция представляет собой сумму линейной и квадратичной форм, а все условия линейные. При выпуклости (вогнуто­ сти) квадратичной формы они являются частным случаем задач выпуклого программирования.

В нелинейном программировании выделяют также задачи сепарабель­ ного программирования. Это задачи, в которых все функции сепарабельны.

Приведенные условия оптимальности называются условиями КунаТаккера. Опуская строгое доказательство, приведем логическое обоснова­ ние выражений (8.5)-(8-9). По существу они являются обобщением клас­ сических условий экстремума, определяющих стационарные точки. Усло­ вие (8.5) содержит неравенство, так как неотрицательность вектора X оз­ начает, что максимум может быть либо при положительном X и тогда про­ изводная F по X обязательно равна нулю (случай 1 на рис. 8.3), либо при X = 0 и тогда эта производная может быть как равной нулю, так и отрица­ тельной (случаи 2 и 3 на рис. 8.3). Этим же объясняются условия допол­ няющей нежесткости (8.6): в точке максимума равны нулю либо X, либо производная, либо и то и другое.

Выражения (8.7)-(8.9) можно обосно­ вать аналогично, если учесть, что по А рас­ сматривается минимум F и

£ - Ф , ( х * х ~ ~ = v k (х * )•

д к , дкь

Применив условия Куна-Таккера к за­ даче ЛП, получим равенства второй основ­ ной теоремы двойственности как частный случай условий дополняющей нежесткости, а двойственные переменные - как частный случай к.

Особую роль условия Куна-Таккера играют в решении задач выпуклого программирования, так как для них они являются не только необходимыми, но и достаточными. Далее это свойство будет использовано для построения точного метода.

8.3.Квадратичное программирование

Взадаче квадратичного программирования целевая функция пред­

ставляет собой сумму линейной и квадратичной форм, а все условия явля­ ются линейными.

Например, в задаче с двумя переменными целевая квадратичная функция записывается следующим образом:

Д*ь Х2) = ^1*1 + cfoj + \\12(СиХ\1 + Ci2*,x2 + Ci#\Xi + C nX i).

В векторной форме она принимает вид

Чтобы она являлась задачей выпуклого программирования, целевая функ­ ция (8 .10) должна быть вогнутой.

Свойства функции определяются матрицей С. Для вогнутости функ­ ции необходимо, чтобы матрица С была отрицательно определенной (стро­ гая вогнутость) или отрицательно полуопределенной. Матрица С отрица­ тельно определенная, если для всех ненулевых X справедливо ХТСХ < 0, и отрицательно полуопределенная, если ХТСХ < 0. В случае минимизации целевая функция должна быть выпуклой, что имеет место при положи­ тельно определенной или положительно полуопределенной матрице С. Практически определить свойство квадратичной функции можно с помо­ щью достаточных условий экстремума: если функция в стационарной точ­ ке имеет максимум, она вогнутая, а если минимум, то выпуклая.

Далее будем полагать, что условия вогнутости функции выполняют­ ся. Тогда решение задачи КП можно найти на основе следующей теоремы.

Теорема. Для того чтобы вектор X* являлся решением задачи (8.10)- (8 .12), необходимо и достаточно существования таких неотрицательных т- мерных векторов W и А и неотрицательного «-мерного вектора V, кото­

Покажем, что теорема выводится из условий Куна-Таккера. Функция Лагранжа для рассматриваемой задачи имеет вид

Д Х Д )= DTX+-XTCX+ ЛТ(В-АХ).

2

Записываем условия (8.5):

— = D + C X *-A TA < 0 .

дХ

Введя в это неравенство неотрицательный вектор дополнительных пе­ ременных V, получаем (8.13). Уравнение (8.14) - это исходное условие за­ дачи после приведения его к равенству вводом неотрицательного вектора

dF

дополнительных переменных W. Очевидно, что производная — < 0, когда

дХ

dF

дополнительная переменная V > 0, и — = 0, когда V = 0. Таким образом,

дХ

V играет роль индикатора производной. Поэтому условие дополняющей нежесткости (8.6) принимает вид (8.15). Аналогична взаимосвязь вектора W с производной F по Л, и отсюда имеем второе условие дополняющей нежесткости (8.16).

Система уравнений (8.13)—(8.16) - нелинейная, так как нелинейны (8.15) и (8.16). Она содержит (т + п + 2) уравнений и 2(т + п) неизвестных X*, Л, V и W.

П

следует, что, по крайней мере, п переменных из у, и х, равны 0. Аналогично из (8.16) вытекает, что равны нулю не менее т переменных из W; и X,. Та­ ким образом, в решении системы (8.13), (8.14) положительными могут быть не более (т + п) переменных. Это свойство системы дает ключ к ре­ шению.

Действительно, линейная система (8.13), (8.14) содержит п + т урав­ нений и 2(и + т) неизвестных. Но известно, что в искомом решении число положительных переменных не превышает (т + п). Следовательно, это до­ пустимое базисное решение (опорный план) системы (8.13) и (8.14). Поэтому искать решение задачи КП нужно только среди опорных планов этой системы. Такие решения находятся методами линейного программи­ рования. Опорный план системы (8.13), (8.14), удовлетворяющий услови­ ям (8.15), (8.16), будет оптимальным решением задачи КП.

Перепишем уравнения (8.13), (8.14) в обычном виде:

|СХ* - АТЛ + V = -D ,

(8.17)

I АХ* + W = В.

Если вектор D —неположительный, а вектор В - неотрицательный, то на­ чальное базисное решение V = -D, W = В удовлетворяет условиям (8.15), (8.16) и, значит, является оптимальным решением задачи КП. Однако, как правило, вектор D Имеет положительные компоненты, и такое начальное решение оказывается недопустимым. В этом случае, ориентируясь на ис­ пользование прямого симплекс-метода, строится искусственное начальное решение: в уравнения (8.17) с отрицательной правой частью вводятся ис­ кусственные переменные у* и они вместе с неотрицательными у, и и», обра­ зуют базисное решение. В качестве критерия линейной задачи принимает­ ся сумма искусственных переменных:

£ИСк = -> min.

Для выполнения условий дополняющей нежесткости (8.15), (8.16) ал­ горитм симплекс-метода дополняется правилами ограниченного ввода:

1) если в базисном решении имеется у,, то не может вводиться Xj{с тем же индексом) и наоборот;

2) если в базисном решении имеется vv„ то не может вводиться А, (с тем же индексом) и наоборот.

Иначе говоря, в базисном решении не могут находиться одновременно переменные v, х (w, А) с одинаковыми индексами. Если по оценкам претен­ дентом на ввод является переменная, которую согласно правилу нельзя вводить, в базисное решение вводится другая переменная с положительной оценкой.

Признаком выполнения условий теоремы (8.13)—С8.16) и, следователь­ но, оптимальности решения задачи КП является равенство нулю всех ис­ кусственных переменных или Аиек = 0 .

Очевидно, что рассмотренный метод за конечное число шагов нахо­ дит глобальное решение задачи КП с вогнутой функцией цели. При стро­ гой вогнутости задача имеет одно решение, при нестрогой вогнутости воз­ можно множество решений. Если функция не является вогнутой, метод на­

По матрице С (гессиану) проверяем достаточные условия: Д] — 4 < 0, Д2= 16 —1 > 0. Значит,/имеет максимум и строго вогнутая.

ния оптимальное решение может находиться как в любой точке границы (не только в вершине), так и внутри допустимого множества в случае сов­ падения с безусловным максимумом.

Взаключение отметим, что задача КП может использоваться в качест­ ве аппроксимации при нелинейности критерия, отличной от квадратичной, так как в небольшой области гладкие функции с высокой точностью могут быть представлены квадратичной функцией. Ряд последовательных ап­ проксимаций с решением задачи КП позволяют найти решение исходной нелинейной задачи с необходимой точностью.

8.4.Сепарабельное программирование

Всепарабельном программировании (СП) рассматриваются задачи,

вкоторых целевая функция и все функции ограничений сепарабельны. Напомним, что функция многих переменных сепарабельна, если она

имеет вид суммы функций отдельных переменных:

Линейные функции всегда сепарабельны, и поэтому линейное про­ граммирование можно рассматривать как частный случай сепарабельного.

Решение задач СП основано на их преобразовании в задачи линейного программирования путем аппроксимации нелинейных функций кусочно­ линейными. Таким образом, исходная нелинейная задача заменяется ап­ проксимирующей линейной. Поэтому рассматриваемый метод является приближенным, а точность решения напрямую зависит от точности ап­ проксимации и теоретически может быть сколь угодно высокой.

Существует два основных способа записи аппроксимирующей зада­ чи, отличающихся формой представления исходных переменных: в X- или в 5-постановке.

Л-постановка. Предполагается, что переменные, которые входят в мо­

Для кусочно-линейной аппроксимации в этом диапазоне выбираются узловые точки, чаще в той части, где сильнее нелинейность функции. При этом первый узел совпадает с нижней границей, а последний —с верхней:

Х]\~ dj, X j y }= Dj,

где r; - число интервалов по переменной xj (гу+1 - число узлов). Тогда рас­ сматриваемая переменная Xj может быть выражена через новые перемен­ ные Xjic в виде

Выражение (8.20) называют уравнением сетки. С учетом (8.21) и (8.22) оно представляет переменную X/ в диапазоне (8.19) без потери точности. С использованием узловых точек и новых переменных кусочно-линейная функция, аппроксимирующаяДх,), записывается в виде

Итак, чтобы построить линейную аппроксимирующую модель, необ­ ходимо:

1) для каждой переменной, входящей нелинейно, записать уравнение сетки;

2) во всей модели заменить переменные из п.1, входящие в линейные$ , соответствующими уравнениями сетки;

3)функции, содержащие нелинейности, представить в виде (8.24);

4)добавить ограничения (8.21), (8.22) для всех новых переменных. Если переменная Xj входит нелинейно в несколько функций, узлы сет­

ки выбираются с учетом нелинейности всех таких функций, так как для одной переменной может быть только одно уравнение сетки.

Поясним запись ограничений. Пусть имеется исходное ограничение

£ ( р ,у (Xj) < b t

со всеми нелинейными щ. Тогда после аппроксимации оно принимает вид

Jы

Вобщем случае левая часть ограничения записывается аналогично (8.24). Хотя аппроксимирующая задача линейная, ее оптимальное решение

не всегда является приближением к оптимальному решению исходной за­ дачи. Дело в том, что одно и то же значение х; можно получить по уравне­ нию сетки при разных X,*, то есть представить через разные пары узлов. Например, некоторое значение Xj можно выразить через смежные узлы, в интервале которых находится значение, а можно - через любую другую пару узлов, лежащих слева и справа, в том числе через первый и последний

узел. Во всех случаях, кроме первого, аппроксимация функции будет гру­ бой и тем грубее, чем. дальше отстоят узлы от данного значения ху. Отсюда следует правило смежных весов: из одного уравнения сетки отличными от нуля могут быть не более двух переменных X,* со смежными значениями к.

Если аппроксимирующая задача является задачей выпуклого про­ граммирования, то это правило выполняется автоматически и решение на­ ходится методом ЛП без каких-либо дополнений. Оптимальное решение аппроксимирующей задачи будет приближением глобального решения ис­ ходной задачи. В противном случае алгоритм ЛП должен включать в себя правило ограниченного ввода: если в базисном решении находится Я,д, то

ДОПУСТИМЫМИ ДЛЯ ВВОДа МОГуТ быть ТОЛЬКО Ху*+| или Xjk-1.

При этом нельзя утверждать, что получаемое решение является при­ ближением к глобальному оптимуму исходной задачи. Скорее оно будет приближением локального оптимума.

Свойства задачи зависят от всех функций модели:

1.Если все ограничения линейные, то для выпуклости задачи доста­ точно, чтобы были вогнутыми все fj критерия (выпуклы при минимизации).

2.При нелинейности критерия и ограничений для выпуклости задачи

не выпукла, задача не является выпуклой.

Заметим, что, если все функции кусочно-линейные, переход к новым переменным не связан с потерей точности и при выполнении условий за­ дач выпуклого программирования получаемое решение является точным и глобальным.

Пример 8.3. Задача

/ = 6xi -* i + 7*2 тах >

2 х 2- 5*1 + Зх22 < 8, 1 < *1 < 4, хг > 0

является задачей сепарабельного программирования: критерий и ограни­ чение можно представить как сумму подфункций, зависящих только от од­ ной переменной. Эти подфункции очевидны:

/i( x 0 = 6xi - х \ 2 ; / 2(х2) = 7 х 2;

Ф,,(х1) = 2х12 - 5хь Фк-fe) = Зх22.

Так как/i(xi) и /2(х2) - вогнутые, а фц(х0 и фкОД - выпуклые, то име­ ем задачу выпуклого программирования. Обе переменные входят нелиней­ но, поэтому нужно строить две сетки. Оценим верхний предел хг: находим, min фц = -3,125, затем из ограничения получаем максимально возможное значение х2= 1,93. Берем £>2= 2. Пусть узловыми будут значения по х,: 1; 2; 3; 4; по х2: 0; 1; 2. Записываем уравнения сеток: Х) = А.ц + 2A,,2+ ЗХ)3 + 4\м , х2= Х22+ 2Х2з. В итоге получаем модель аппроксимирующей задачи в виде:

/= 5Х,1+ 8X12+ 9XU + 8Л-14+ 7Х22+ 14Х23 -> max;

—ЗА,]]—2А,]2ЗА<1з + 12Хн+ ЗА,22+ 12Х2з ^ 8, Хп + 2Хп + ЗХ13+ 4Хн > 1;

Хц + 2Хп+ ЗХ13+ 4XJ4< 4;

Хц + Xj2+ X13+ Xi4= 1;

X2l + X22+ ^23 = 1;

VXy*>0.

Эта задача решается любым универсальным методом ЛП без добавления правила ограниченного ввода.

5-постановка. Построение аппроксимирующей задачи основано так­ же на кусочно-линейном приближении, но меняется уравнение сетки. По узлам сетки вычисляются расстояния между смежными узлами (длины ин­ тервалов):

=-Xjk,

иуравнение сетки записывается в виде

yjk= 0 ;

• Xj находится в к-м интервале, когда уд = у,2 = = уд.1 = 1, 0 < уд < 1, остальные уд = 0 .

Таким образом, для правильной аппроксимации должно выполняться установленное соответствие между значениями переменной Xj и у д . Это требование аналогично правилу смежных весов. При ином представлении значения Xj будет нарушена кусочно-линейная аппроксимация функции.

Для аппроксимации нелинейной составляющей функции критерия вычисляются разности ее значений в смежных узлах:

bjk=fj(Xjk>o-fj{xjk),

/ - Е л о о ) . j

Аналогично аппроксимируются ограничения ф

Как и в ^-постановке, если имеет место задача выпуклого программи­ рования, то требования к переменным уд выполняются автоматически и полученное решение будет приближенным глобальным решением ис­ ходной задачи. В противном случай необходимо придерживаться правила ограниченного ввода относительно переменных уу*: если первые к пере­ менных равны единице, вводить можно только уд+i.

При практическом решении сепарабельных задач сначала можно взять малое число узлов и получить приближенное оптимальное решение. Затем в качестве исходных принять интервалы, на которых лежат оптимальные Xj, и выполнить аппроксимацию функций только на этих интервалах с ма­ лыми расстояниями между узлами. Такой способ снижает размерность ре­ шаемых задач и повышает точность получаемого решения.

Следует заметить, что в ряде случаев несепарабельная функция может быть преобразована к сепарабельной. Способ преобразования зависит от структуры функции. Например, произведение двух сепарабельных функ­ ций 5,(Х)-7ТХ) можно привести к сепарабельному виду, заменив его перменной v с дополнительными равенствами:

S(X) = z - y ; Т(Х) = z +y.

Тогда выражение v = (z - y)(z +у) = z2у2, заменяющее произведение исходных функций, является сепарабельным. Так, функция/ = Х\ + х2х 2 заменяется на сепарабельную/ = *i + v с дополнительными сепарабельны­ ми ограничениями:

хг -(г-д> ) = °; - х \ ~(z +y) = 0 ; v - z 2 +у 2 = 0 .

Пример 8.4. Покажем, что некоторые стохастические задачи могут сводиться к сепарабельным. Стохастические модели описывают ситуации выбора решения в условиях риска, обусловленного влиянием случайных факторов. Предполагается, что закон распределения случайных величин известен.

Пусть зависимости от искомых переменных линейны, но коэффици­ енты критерия и ограничений зависят от случайной величины © (состоя­ ния среды). В этом случае в качестве критерия берется обычно математи-

раничений зависит от требований к их выполнению. При допустимости некоторых нарушений условий задачи ограничения записываются в веро­

где р - заданное значение вероятности выполнения i'-го условия. Такое ог­ раничение заменяется эквивалентным детерминированным условием

E?Hxj +tA (*)

ИЪ =1

где aij,bi - математические ожидания; ст?-дисперсия ац\ а ] - дисперсия bt; tp - значение функции, обратной функции распределения (например, нормального), tp.= t(pi).

В результате детерминированная модель стохастической задачи вклю­ чает в себя линейный критерий и существенно нелинейные ограничения

(*). Очевидно, что она не является сепарабельной. Сделаем простое преоб­ разование. Обозначим

^ = ^ E <jlxj +a"

Тогда каждое ограничение (*) заменяется двумя условиями:

П_ _ YjOijXj+tpSi^bi,

7=1

s ? ~ E ° u x2j

Первое из них - линейное, а второе - сепарабельное. Таким образом, сто­ хастическая задача приведена к сепарабельной.

Примечание. Если случайным является только вектор ограничений, то, как следует из (*), стохастическая задача сводится к линейной.

8.5. Задачи дробно-линейного программирования

Если целевая функция представляет собой отношение линейных функций, а все условия линейные, то задача относится к классу задач дробно-линейного программирования.

В общем случае целевая функция имеет вид

Такая функция легко преобразуется в линейную, если ее знаменатель при всех допустимых значениях переменных строго положителен. Для этого введем новую переменную г.

d0 + 'ZdjXj

У=1

Очевидно, что при оговоренном условии она может быть только больше нуля. Тогда функция (8.28) примет вид

Как видно,/-линейная функция от п неотрицательных переменных ys и одной положительной переменной г. Она должна рассматриваться вместе

с условием, следующим из (8.29):

П

d0r + Y ddj xj r = \

7=1

Чтобы завершить построение эквивалентной линейной модели, следу­ ет ограничения задачи записать в новых переменных. Для этого умножим

В результате преобразований имеем задачу линейного программиро­ вания с критерием (8.31), ограничениями (8.32), (8.33) и переменными г > О, yj > о, у/. Получив ее решение одним из методов ЛП, вычисляем исходные переменные по очевидной формуле

г

Для гарантии выполнения условия положительности знаменателя це­ лесообразно вводить его явно в модель, то есть добавлять неравенство

П

d 0 + Y . d j x е>j -

н

где 8 - очень малая положительная константа.

Возможность перехода к линейной задаче геометрически обусловлена тем, что линии уровня дробно-линейной функции описьюаются линейным уравнением. Действительно, пусть / = / = const, тогда из (8.28) следует

d j + f l L d j x j = со + H cj x j J'

Это обычное линейное уравнение относительно Xj. Поэтому линии уровня функции (8.28) в многомерном пространстве - гиперплоскости, а в двух­ мерном - прямые. Однако с изменением / они не перемещаются парал­ лельно, а поворачиваются вокруг множества вращения.

Множество вращения - это множество точек размерности п - 2 , обра­ зованное пересечением нулевых линий уровня числителя и знаменателя:

<со + lL cj xj =°;

do + Z d jX j = 0 .

При п = 2 оно состоит из одной точки, а при п = 3 представляет собой пря­ мую (ось вращения), образованную пересечением двух плоскостей.

Пример 8.5. Представим графически следующую задачу:

j_ 2хх +х2 - 1 -» шах;

хх+ 2 х 2 -1

3*1 + 2хг > 6 ;

0 <х, <3;

0 £*2 < 3.

Уравнения нулевых линий уровня числителя и знаменателя образуют систему

2xj + x2 =l, [хх + 2х2 = 1,

из которой находим точку вращения: х\ = х2 = 1/3. На рис. 8.6 это точ­ ка А. Нулевые линии показаны пунктиром, а направление поворота, в котором целевая функция возрастает, —стрелками. Отсюда ясно, что оптимальное решение достигается в вершине

В: х* = 2 , х\ = О, L* =3.

8 .6 . Методы “спуска”

Методами “спуска” называются числен­ ные итерационные методы оптимизации, ори­ ентированные на поиск минимума.

Общая схема решения заключается в ге­ нерации последовательности приближений, асимптотически сходящейся

к минимуму. Как правило, это локальный минимум, но в случае задач вы­ пуклого программирования он является и глобальным. За конечное число итераций методы позволяют получить приближенное решение с наперед заданной точностью. Сходимость метода, как и скорость сходимости, за­ висят от свойств задачи и начального приближения. Скорость сходимости во многом определяет эффективность метода. Основными показателями эффективности (скорости сходимости) являются число итераций и число вычислений функции при прочих равных условиях. Количество итераций для одной и той же задачи сильно зависит от начального приближения (на­ чальной точки) и требуемой точности. При этом количество необходимых итераций растет гораздо быстрее, чем точность.

При выборе метода следует учитывать свойства целевой функции: унимодальность или многоэкстремальность, дифференцируемость, выпук­ лость-вогнутость или их отсутствие и т.д. Кроме того, функции могут об­ ладать “неприятными” для метода особенностями, такими как седловые точки и овражность. “Овраг” (при максимизации “гребень”) проявляется в том, что вдоль него функция изменяется намного слабее, чем в поперечном направлении. На карте линий уровня он виден по сильной вытянутости ли­ ний вдоль “дна” оврага с одновременной “сплющенностью” в поперечни­ ке. Самым простым примером овражной функции является эллипсоид:

При а » Ъ функция имеет овраг вдоль оси х\, которая является его “дном” (рис. 8.7).

Чем сильнее овражность и нелинейность “дна”, тем в большей степе­ ни замедляется скорость сходимости метода или возможен останов при не-

достижении окрестности минимума. Поэтому учет таких свойств особенно важен при выборе метода оптимизации.

Различают методы безусловной оптимизации, применяемые для на­ хождения минимума без ограничений на переменные, и условной оптими­ зации, когда поиск производится при наличии ограничений.

По информации, используемой для определения направления поиска, выделяют следующие методы:

•нулевого порядка или прямые, если вычисляется только значение целевой функции;

•первого порядка или градиентные, использующие первые производ­ ные (градиент);

•второго порядка, требующие вычисления первых и вторых произ­ водных;

•случайного поиска, применяющие механизм случайного выбора на­ правления;

•генетические, сочетающие элементы детерминизма и случайности выбора;

•комбинированные.

При оптимизации «-мерных функций часто используются методы од­ номерной минимизации. Поэтому сначала рассмотрим эти методы, затем многомерные методы безусловной оптимизации и, наконец, методы поиска условного минимума. Все приводимые ниже методы предназначены для минимизации унимодальных функций.

8.7. Методы одномерной минимизации

Первыми рассмотрим прямые методы, два из них ориентированы на поиск безусловного минимума, остальные - на поиск минимума на задан­ ном непрерывном интервале. Затем рассмотрим одномерные методы пер­ вого и второго порядка.

8.7.1. Метод деления шага пополам

Начальная точка и начальный шаг задаются на основе предваритель­ ных знаний о функции. Движение с неизменным шагом в одном направле­ нии продолжается до тех пор, пока значение функции уменьшается. При увеличении зна­ чения направление меняется на противопо­ ложное и шаг уменьшается в два раза. Поиск заканчивается, когда при очередном шаге зна­ чение ухудшилось, а длина шага стала меньше заданной точности (рис. 8 .8). Очевидно, что после прохождения минимума происходят колебания вокруг него с уменьшающейся ам­

плитудой.

Алгоритм:

1. Задать начальную точку х0»начальный шаг И0и точность е; к = 0. 2 . Вычислить,/(**)•

3.xk+i=xk+hk.

4.Вычислитьy(x*+i).

9.й = к + 1 и перейти на 3.

10.Конец. А

Проверка на шаге 7 необходима для того, чтобы не уменьшать шаг до достижения окрестности минимума. После окончания алгоритма в каче­ стве оптимального х может быть взято любое значение между хк и **+]. При сильной изменчивости функции в окрестности минимума условие на шаге 6 можно заменить на (й*< а) & (/(**+0 -fixk) < £/), где £ /- точность по функции.

8.7.2. Квадратичная аппроксимация

Для нахождения приближенного минимума исходная функция / ап­ проксимируется функцией второго порядка

где хо - точка отсчета реального диапазона значений х, в частности х0= 0 . Для определения коэффициентов, входящих в функцию (8.35), выбираются три точки и в них вычисляется значение функции f Получается простая система трех уравнений с тремя неизвестными а, Ъи с:

/(* i) = а(х, - * 0) 2 + Ь(х1 - х0) + с;

/ ( х 2) = а(х2 - х0)2 + Ь{х2 - х0) + с;

/ ( х 3) = а(хз - х0)2 + Ь(хз - х0) + с.

Стационарная точка функции (8.35) вычисляется из равенства ее про­ изводной нулю:

Она используется в условии останова и как новая точка для аппрокси­ мации.

Алгоритм:

1. Задать первую точку хь швг Ах и точность по координате 8 и функ­ ции Е/

2 . Определить 2-ю точку: х2= xi + Ах.

3.ВычислитьТОО и /х 2).

4.Еслиftjcj) <fix\), принять хз=х2+ Ах, иначе Хз= Х1—Ах.

5.ВычислитьДх3).

6 . Вычислить f m= min{XxO, Дх2), Дхз)} и определить точку хт, соот­ ветствующую^.

7.По трем точкам и значениям функции в них найти коэффициенты

в(8.35).

8. Вычислить хапо формуле (8.36) и f[xa).

9. Если (\fm-flxa)\< £/) & (\хт—ха|< е), окончить поиск.

10. Еслиf m <flxa), взять точку хти две ближайшие к ней точки, иначе - взять хаи две ближайшие к ней точки. Эти точки пронумеровать в порядке возрастания значений, вычислить/ в новой точке и перейти на шаг 6 .

8.7.3. Метод деления интервала пополам

Этот метод относится к методам сокращения интервала неопределен­ ности. Предполагается, что точка минимума находится на заданном интер­ вале [а,Ь].

Рассматриваемый метод также называют трехточечным. Точки выби­ раются так, что делят интервал на четыре равные части (рис. 8.9):

интервалом действия повторяются.

Алгоритм:

1. Задать точность по координате е.

2 . Вычислить хт nj{xm).

3 . ВЫЧИСЛИТЬ Х \ и х 2.

4.Вычислить/хО и.Дх2).

5.ЕслиДхО <fixm) , то принять b = хт, хт =хь Иначе, еслиДх2) <_Дхт), положить а =хт, хт = х2, иначе - а = хь b = х2.

6 . Если Ь - а < г , закончить поиск, иначе - перейти на шаг 3.

Нетрудно подсчитать, что после п вычислений функции интервал не- W-I

определенности уменьшится в 2 2 раза. Доказано, что этот метод эффек­ тивнее других прямых методов, использующих равноудаленные точки.

8.7.4. Метод золотого сечения

Золотое сечение - это определенное отношение части к целому. Отре­ зок АВ делится точкой С в отношении золотого сечения (рис. 8.10), если

Эти отношения используются для выбора двух точек внутри интервала не­ определенности. Они располагаются, как показано на рис. 8.11. Каждая из точек делит интервал [а, Ь] в отно-

что после такого сокращения интервала одна из внутренних точек остается с изменением индекса, а вторая берется на основе золотого сечения или, что одно и то же, симметрично оставшейся (рис. 8.12). Сокращение интервала продолжается до достижения заданной точности.

6 . Вычислить функцию в новой точке и перейти на шаг 4. А

Две последовательные итерации алго­ ритма представлены на рис. 8 .12.

8.7.6. Метод первого порядка

Метод применим к дифференцируемым функциям в случаях, когда первая производная может вычисляться с высокой точностью.

Рассматриваемый метод средней точки алгоритмически является са­ мым простым из методов одномерной оптимизации на заданном интерва­ ле. Он заключается в определении средней точки интервала с = (а + Ь)/2 и вычислении в ней производной.

Если/'(с) < 0, полагают а = с, при/'(с) > 0 принимают b = с. Условие окончания поиска учитывает точность по координате е и по производной функции Еь

((Ь - а)< е ) & (|/'(с) | < £i).

Эффективность метода зависит от трудоемкости вычисления произ­ водной. Задаваемая точность ei не должна быть выше точности вычисле­ ния производной. С ростом трудоемкости и снижением точности вычисле­ ний производной предпочтение следует отдавать прямым методам.

8.7.7. Методы второго порядка

Методы применимы к дважды дифференцируемым функциям. При этом высокие требования предъявляются к точности вычисления произ­ водных. Наиболее удачными считаются задачи, в которых известно анали­ тическое выражение первой производной, а еще лучше - и второй.

Здесь рассматривается только один из наиболее часто используемых методов - метод Ньютона-Рафсона. Он основан на линейной аппроксима­ ции первой производной минимизируемой функции / в окрестности теку­ щей точки х*:

/' * / ’ = Л * * )+ /•(* * )(*-**)■

Встационарной точке аппроксимации, которая принимается за оче­ редное приближение хк+\, производная равна нулю:

/'(* * +i) = 0 .

Отсюда следует рекуррентная формула для построения последовательно­ сти приближений к искомому минимуму:

/'(* * )

Х ы = х > ~ ж у ( 8 -4 , )

Очевидно, что применение (8.41) возможно только при условии, что / (хк) * 0 для каждого к. Поиск завершается по условию достижения точ­

ности, заданной величиной первой производной | f '(хк) | < 8 j или расстоя­

нием между двумя точками |x*+i- ** | < е. Возможно одновременное исполь­ зование этих условий.

В общем случае процедура (8.41) не гарантирует сходимость к ста­ ционарной точке. Если начальная точка достаточно близка к стационарной, то метод сходится. При сходимости обеспечивается высокая скорость при-

ближения к минимуму. На рис. 8.14 приведен случай сходимости метода к искомому решению. Очередному приближению соответствует точка пе­ ресечения оси х аппроксимирующей прямой. Как видно, последователь­ ность точек хо, Х\, хц. .. приближается к минимуму х*.

Для некоторых функций результат поиска зависит от выбора началь­ ной точки. Так, например, при начальной точке, взятой правее максимума производной (рис. 8.15), метод расходится.

8 .8 . Многомерный поиск безусловного минимума

8.8.1. Метод Гаусса-Зейделя (покоординатного спуска)

Процедура поиска сводится к решению последовательности задач одно­ мерной минимизации по каждой переменной. Пусть выбрана начальная точка

х«»=(*Г.*!0)...*?”)•

Зафиксируем все переменные, кроме первой, на начальных значениях и решаем задачу

/(* ,, 4 0) *л0)) => min

одним из одномерных методов. Фиксируем х\ на полученном в решении значении xi' и делаем свободной переменную х2. Приходим к очередной одномерной задаче

Аналогично строятся и решаются еще (п—2) одномерные задачи, по­ следняя из которых имеет вид

/(*'i>,x'2»—>*,n-i»Jcn)=^niin - ^ ,x гг

Г л а в а 8. Н Е Л И Н Е Й Н О Е П Р О Г Р А М М И Р О В А Н И Е a s B S B i B B S B B S B S B B B B B S s a s B B B B B s

Последовательность п одномерных задач составляет один цикл. Его результатом является точка Х(1). Она принимается за начальную точку для следующего аналогичного цикла. Поиск заканчивается, когда расстояние между двумя последовательными точками становится меньше заданной величины:

также следует, что метод неэффективен в условиях оврага. Если функция не дифференцируема в отдельных точках, поиск может остановиться, не достигнув окрестности минимума. На рис. 8.19 приведен такой случай, ко­ гда точка останова А далека от искомого минимума.

Рис. 8.17 Рис. 8.18 Рис. 8.19

чить, что эффективность поиска повысится, если к описанным однотип ным циклам добавить движение в направлении, проходящем через точки Х(к) и Х(Ы). Это движение называют ускоряющим шагом. Он используется

вметоде, рассматриваемом в следующем разделе.

8.8.2.Метод Хука-Дживса (метод конфигураций)

Вэтом методе каждая итерация состоит из двух фаз: исследующего поиска и движения по образцу (ускоряющий шаг).

Нач. точка

х\ =-2, Х2=9

17 итераций

Конеч.точка

*1 = 2,*2=4

Д2,4) = 2,6Е-13

Рис. 8.22

8.8.3.Симплексный метод

Вэтом методе движение к минимуму осуществляется с использовани­ ем симплекса - выпуклого многогранника с числом вершин на единицу больше размерности пространства. Примером симплекса на плоскости яв­ ляется любой треугольник, в трехмерном пространстве - пирамида с тре­ угольником в основании.

Симплекс обладает замечательным свойством: если взять только одну

точку вне симплекса в качестве новой вершины, то, соединив ее с верши­ нами прилежащей грани, получим новый симплекс. На рис. 8.23, а из ис­ ходного симплекса с вершинами 1,2, 3 построено два других симплекса, а на рис. 8.23, б новый симплекс построен на грани 2, 3, 4 исходного и но­ вой вершины 5.

Очевидно, что на грани, противолежащей любой вершине, находятся все остальные вершины симплекса. Это свойство симплекса справедливо для любой размерности пространства.

Зная значения функции в вершинах симплекса, легко определить на­ правление, в котором функция может улучшиться. В этом направлении строится новый симплекс: определяется самая худшая вершина (по значе­ нию функции) и она отражается через центр противолежащей грани. Так, на рис. 8.24 показано отражение вершины 1 через центр противолежащегоребра С. В построенном симплексе значение функции неизвестно только

ввершине 4. Таким образом, после построения нового симплекса функция вычисляется всего один раз при любой размерности пространства. Лишь

вначальном симплексе необходимо вычислять функцию во всех вершинах.

3

Последовательное отражение наихудших вершин перемещает сим­ плекс в направлении уменьшения значения функции, что в конечном итоге приводит к отысканию минимума с заданной точностью. Характер движе­ ния симплекса представлен на рис. 8.25. Отражение вершин показано пунктирными линиями. Сначала от­ ражается вершина 1, затем в получен­ ном симплексе отражается вершина 5, симплекс 2, 4, 5 заменяется на 4, 5, б и т.д. Очевидно, что в процессе дви­ жения, особенно вблизи экстремума, новая вершина может оказаться не лучше отраженной. Для предотвраще­ ния зацикливания либо отражается другая вершина, либо уменьшается

размер нового симплекса.

Рассмотрим вычислительную сто­

ке Х^°\ которая принимается за базовую вершину, и относительно ее распо­ лагаются остальные вершины. Их координаты вычисляются по формуле

где / - номер вершины; j - координата вершины (индекс переменной); п - число переменных (размерность пространства); Si и бг - приращения, зави­ сящие от п и выбранного масштабного множителя ц:

5,= у/п + 1 + « - l ''

ч/^ й - Г «72

При ц = 1 все ребра имеют единичную длину.

Вычисление координат новой вершины, получающейся в результате отражения одной из вершин последнего симплекса, производится следую­ щим образом. Пусть отражается вершина к (например, вершина 1 на рис. 8.24). Тогда сначала определяется центр противолежащей грани С

1 Я+1 , S ХС= - У Х (,),

”м

i*k

азатем координаты новой вершины s:

X{s) = ХЛ + Х(ХС- Х^)

где X > 0 и 0 - параметры отражения.

Существует целый ряд методов, основанных на поиске по симплексам, отличающихся способом построения очередного симплекса и значениями па­ раметров отражения. Лучшим из них считается метод Нелдера-Мида. В нем заложено гибкое управление симплексом, при котором он может как умень­ шаться, так и увеличиваться, приспосабливаясь к поверхности функции. В ме­ тоде применяется три варианта отражения с соответствующими параметрами:

а - нормальное отражение;

0 = р-сжатие; у - растяжение.

Значения коэффициентов отражения были подобраны эксперимен­ тально: а = 1; р = 0,5; у = 2. Предложены и другие наборы значений, одна­ ко они дают лучшие результаты только в частных случаях.

В алгоритме Нелдера-Мида используются три вершины: А - с наи­ большим значением целевой функции (худшая при минимизации), В - со следующим значением и L - с наименьшим значением (лучшая). Всегда отражается вершина Л.

Сначала производится нормальное отражение. Получаемая в резуль­ тате точка D считается временной (рис. 8.26). Далее идут проверки:

•еслиf L< f D<f B, то нормальное отражение приемлемо и временная точка фиксируется;

•если f B^ f D< f A, то выполняется сжатие с 0 = р и фиксируется точка Z)p;

•если f D > f A, то симплекс сжимается с 0 = -р и фиксируется соот­

ветствующая точка D_p;

• если f D< f L, то производится растяжение (0 = у), дающее точку DT, которая фиксируется, если она не хуже временной; иначе она не учитывается и фиксируется временная точка D.

В условии останова поиска может использоваться показатель размера симплекса, например, максимальная длина ребра, и/или разность значений целевой функцииf A - f L.

Симплексный метод - эффективный по числу вычислений функции, мало чувствителен к помехам или ошибкам при определении значений це­ левой функции, так как определяющими являются отношения значений, а не абсолютные величины. Благодаря изменению размеров симплекса он может работать в условиях оврага.

Интересен вариант метода, в котором на всех итерациях симплекс ос­ тается регулярным. При изменении размеров симплекса используется ко­ эффициент уменьшения длины ребра Р > 0,85. Симплекс сжимается, стя­ гиваясь к лучшей вершине, как показано на рис. 8.27, и после этого проис­ ходит отражение. Такое значение р обусловлено тем, что на вершины

I__________ уменьшенного симплекса переносятся значения функ­ ции соответствующих вершин до сжатия. Тем самым исключаются дополнительные вычисления функции. Возможно также увеличение симплекса за счет удли­ нения всех ребер с коэффициентом 1/р при сохранении положения наихудшей вершины.

8.8.4. Градиентные методы

Если функция дифференцируема, вычисление производных дает ин­ формацию о поведении функции в исследуемой точке и, следовательно, позволяет находить лучшее направление поиска.

Скорость изменения функции J(X) в произвольном направлении / оп­ ределяется производной

df _\pdf (к,

(8.43)

dl tfcbc, dl

Здесь частные производные dXj представляют собой направляющие коси- al

нусы. Геометрическая иллюстрация для случая функции двух переменных приведена на рис. 8.28. Очевидно, что

—7 = cos(x.,/) = cos а;

•^7- = cos(x2,Г) = COS р. dl

Поверхность уровня целевой функ- х2 дни, описываемая уравнением _ДХ) = const,

имеет размерность п - 1.

в

Зададим координаты следующим образом. Про­ ведем через рассматриваемую точку п - 1 взаимно ор­ тогональные касательные к поверхности уровня, при­ няв их за оси координат. В качестве последней оси возьмем нормаль к поверхности уровня (рис. 8.29). В такой системе координат производные функции по всем Xj равны нулю. Поэтому из (8.43) имеем

Отсюда следует, что максимальная скорость увеличения функции будет в направлении /, совпадающем с нормалью. Вектор, имеющий направление нормали к поверхности функции в данной точке и длину д //d N , называет­ ся градиентом.

Обозначается градиент как grad_/(X) или У/(Х). Он полностью опреде­ ляется своими проекциями - производными функции по переменным:

В задачах на минимум используется противоположное направление -

антиградиент.

Значения производных могут быть найдены по приближенным фор­

¥А/ _ /(х„-,х,_,,х, +Дх,/2,х,+|,...,хп) - /( х „ - ,х , -Ах,/2,...,хп)

Более точный результат дает вторая формула, но она требует больше вычислений. Чем точнее необходимо вычислить производную, тем меньше должно быть Дх. Однако недопустимо, чтобы разность значений функции была соизмерима с погрешностью вычисления.

Если переменные имеют разные единицы измерения, можно перейти к относительным переменным у„ используя минимально и максимально возможные значения переменных х,:

Очевидно, что значения у, лежат в диапазоне [0,1].

Знание градиента (антиградиента) позволяет осуществлять перемеще­ ние из текущей точки в направлении наибольшего улучшения функции. Для линейных функций градиент постоянен, и поэтому его требуется оп­ ределять всего один раз. В нелинейных функциях значение градиента за-

висит от вектора X, то есть его необходимо пересчитывать при любом из­

менении X.

В градиентном методе поиск минимума производится согласно рекур­ рентным формулам:

X*+1 = Хк - h k -Vf(Xk),

(8.44)

v/(x*)

где hk - шаг. В первой формуле величина изменения переменных ДХ зави­ сит как от шага, так и от величины градиента. Более удобно, когда рас­ стояние между последовательными точками зависит только от величины шага. Поэтому предпочтительнее вторая формула. В ней используется нормированный градиент, длина которого всегда равна единице (за счет деления на длину). Поэтому он задает лишь направление, но не влияет на величину ДХ.

Формула (8.44) в записи по отдельным переменным принимает вид

Sf/Sxi

(8.45)

1.Задать начальную точку, начальное значение шага и точность по величине градиента е, вычислитьДХ°) и положить к = 0.

2.В текущей точке X* вычислить градиент (производные dfjdxi) и его

длину.

3. Если V/(X*) < е, закончить поиск.

4.Определить новую точку Х*+| согласно (8.45) и вычислить в ней значение функции.

5.^ЕслиЛХ*+|) <ДХ*), увеличить к на единицу и перейти на шаг 2 ; ес

ли.ДХ ) >Д Х ), уменьшить hk в два раза и перейти на шаг 4. А

При гладкой производной траектория поиска в идеале (при непрерывном вычислении градиента) тоже будет гладкой и ортогональной линиям уровня. При конечной величине шага траектория становится кусочно-линейной. Каче­ ственный характер поиска показан на рис. 8.30, а на рис. 8.31 приведена реализация алгоритма с двух начальных точек применительно к функ­ ции /X ) = (х| - х2)2+ (х2- 2)4. Обе траектории приводят практически в одну точку.

Самой трудоемкой частью ал­ горитма является вычисление гра­ диента, а он вычисляется после ка­ ждого успешного шага. В методе

наискорейшего спуска, который представляет собой модификацию градиентного метода, градиент оп­ ределяется реже, особенно в на­

чальный период поиска.

Модификация заключается в том, Рис.8.31 что после вычисления градиента вместо одного дискретного шага ищется

минимум на направлении антиградиента, то есть проводится одномерный поиск по И:

В результате решения задачи (8.46) определяется оптимальный шаг Л*, по которому находится следующая точка

Х*+1 =Х* - /Л V / (8.47)

Очевидно, что при таком определении новой точки, значение функции в ней будет лучше, чем в X*.

Алгоритм наискорейшего спуска:

1.Задать начальную точку и точность по величине градиента е, поло­ жить к - 0 .

2.В текущей точке Хк вычислить градиент (производные df/dx,)

иего длину.

3.Если ||V/(X*)|| < £, закончить поиск.

4.Провести одномерный поиск (8.46).

5.Определить новую точку Х*+| согласно (8.47), увеличить к на еди­ ницу и перейти на шаг 2 . ▲

На рис. 8.32 показаны две тра­ ектории движения к минимуму функции /X ) = (*i - х2)2 + (х2 - 2) , полученные алгоритмом. Минимум на направлении антиградиента дос­ тигается в точке касания с линией уровня, а градиент в этой точке орто­ гонален ей. Поэтому каждое после­ дующее направление ортогонально непосредственно предшествующему.

Из рис. 8.32 видно, что с приближением к экстремуму частота вычисления градиента увеличивается, и вблизи минимума метод наискорейшего спуска вырождается в градиентный (см. рис. 8.31 и 8.32).

Градиентные методы плохо работают в условиях оврага: при попадании на дно овра­ га резко падает скорость движения и возможна остановка поиска до достижения окрестности минимума, например / = (2 - х \)2 + 3(х2- х 2)2 (рис. 8.33).

8.8.5. Метод Ньютона

Это классический метод второго порядка. Если направление градиента находится из ли­ нейного представления функции в окрестно­ сти текущей точки, то в методе Ньютона ис­ пользуется квадратичная аппроксимация функции цели.

Квадратичная аппроксимация дифферен­ цируемой функции / в точке X* записывается

где Н - матрица вторых производных функции / (матрица Гессе). В ста­

Полагая матрицу Н неособенной (существует обратная к ней матри­ ца), из (8.49) получаем рекуррентный способ генерирования последова­

Из вывода формулы (8.50) ясно, что для квадратичной функции цели Хы является точкой минимума. Следовательно, минимум такой функции из любой начальной точки достигается за один шаг (8.50). Для нелинейной унимодальной функции, отличной от квадратичной, точки последователь­ ности (8.50) асимптотически приближаются к минимуму. Условие оконча­

ния поиска такое же, как и в градиентных методах: ||v/(x*)|| < е. Заметим,

что в случае линейной аппроксимации матрица Н становится единичной и поиск вырождается в градиентный.

Необходимым условием сходимости метода является существование обратной матрицы во всех генерируемых точках. Доказательство сходимо­ сти метода получено при условии, что начальная точка достаточно близка к точке минимума. При этом метод имеет высокую скорость сходимости. Если поиск начинается с удаленной точки и функция существенно отлича­

ется от квадратичной, метод может не сходиться или давать слабую схо­ димость. Причина такого поведения в том, что значение функции в точке Х*+1 не обязательно меньше, чем в точке X*. Так, на рис. 8.34 траектория поиска имеет зигзагообразный характер из-за того, что после 2 -й итерации значение минимизируемой функции увеличилось.

Для устранения отмеченных недостат­ ков предложены модификации метода.

В одной из модификаций для обеспече­ ния регуляризации матрицы Н (ее невырож­ денности) она деформируется в результате добавления к ней единичной матрицы с не­ отрицательным скалярным множителем е: Н' = Н + еЕ. Значение е зависит от X и под­ бирается так, чтобы все собственные значе­ ния матрицы Н' были положительными. В этом случае матрица будет положительно определена и, значит, будет существовать обратная матрица (Н')"\ которая также будет положительно определена.

Возможное ухудшение функции в оче­ редной точке исключается введением в фор­

мулу (8.50) изменяемого параметра А. Модифицированная формула при­ нимает вид

При этом возможен вариант с дискретным шагом А, как в градиентном ме­ тоде, либо вариант, предполагающий определение оптимального А с по­ мощью одномерной минимизации (наискорейший спуск):

/(х * - AH- 1V/) => min • h

Пример поиска минимума функции / = (1 - JCI)2+ 5(*i2 - х 2)2 методом Ньютона с ре­ гулируемым шагом приведен на рис. 8.35. Если сравнить траектории поиска на рис. 8.34 и 8.35, то легко заметить преимущество модифициро­ ванного варианта метода.

8.8.6. Методы сопряженных направлений

Как и метод Ньютона, методы сопряжен­ ных направлений основаны на свойствах квад­ ратичных функций. В связи с этим говорят о со­ пряженных направлениях относительно квадра­ тичной функции.

Пусть дана матрица Н„хи. Направления d|, с 1 г , d* (к < и) называются сопряженными или Н-сопряженными, если они линейно независимы и

Эти векторы определяют сопряженные направления. Для квадратич­ ной функции двух переменных сопряженные направления получаются следующим образом. Возьмем произвольное на­ правление di и на нем найдем минимум, двигаясь из точки X1. Повторим поиск минимума на di из точки Х2ф X1(рис. 8.36). Направление йг, опреде­ ляемое прямой, проходящей через найденные минимумы, является сопряженным с направлени­ ем d). При этом направление дг проходит через

Х°= (—1;1). Найдем минимум на направлении di. Для этого подставим в функ­

и минимум по Л будет при А*= 1,5. Сле­ довательно, минимум на di достигается в точке Х' = (0,5;1). Приняв ее за началь­ ную для поиска вдоль d2 и подставляя в функцию х\ = 0,5 + А, х2= 1 + 2А, получа­ ем /^ ЗА2- 9А- 5,25. Найдем А* = 1,5 и со­ ответствующую новую точку Х2= (2;4). Как видим, второй одномерный поиск привел в точку искомого минимума / (рис. 8.37). А