Глава 3. Численные методы поиска условного экстремума

8. «Принципы построения численных методов поиска условного экстремума»

Существует две группы методов:

1. Методы последовательной безусловной оптимизации – преобразование условной задачи в последовательность безусловных задач и их решение.

2. Методы возможных направлений – движение из одной допустимой точки в другую с лучшими значениями целевой функции.

Для первой группы существуют несколько подходов к решению задачи:

1. Метод штрафов (внешних штрафов).

2. Метод барьеров (внутренних штрафов).

3. Метод множителей. Использует модифицированную функцию Лагранжа вместо целевой.

4. Метод точных штрафов. Позволяет решать только одну задачу безусловной оптимизации.

Для второй группы существуют несколько подходов к решению задачи:

1. Метод проекции градиента. Градиент проектируется на касательную плоскость ограничений.

2. Метод возможных направлений Зонтейдейка. Строится возможное направление спуска (т.е. ) и оптимизируется целевая функция по этому направлению.

Пример линейных ограничений: . Здесь разделены ограничения равенства и неравенства.

Утверждение 8.1. Пусть x – допустимая точка, . Тогда вектор x – возможен . Если d – возможное направление спуска.

Пример 8.1. Конус возможных направлений, полупространство направлений спуска, конус возможных направлений спуска.

Замечание. Возможен случай при , поэтому надо добавить к задаче какое-то ограничение на величину спуска, например, .

Утверждение 8.2. Если нет ограничений равенств и , то d – возможное направление спуска.

Поскольку движение по каждому из векторов антиградиентов должно привести на границу допустимой зоны, то можно для нахождения вектора d ввести и решать задачу

Минимизируя максимум проекций градиентов, мы спускаемся в наиболее благоприятном направлении вдоль одной из касательных (с наибольшей по модулю проекции на соответствующей ей градиент), до того момента, пока спуск по соответствующей координате или целевой функции станет невозможным и мы перейдём к следующему шагу итеративного процесса – в итоге мы достигнем минимума целевой функции и решим задачу.

9. «Методы последовательной безусловной минимизации».

9.1. Метод штрафов.

Ищется минимум вспомогательной функции , где – функция штрафа.

При невыполнении ограничений и .

Часто , т.е. для ограничений равенств – квадрат, а для ограничений неравенств – квадрат срезки.

ЗАНЯТИЕ №11 – 18 апреля 2013.

Глава 4. Задачи линейного программирования

§ 11. «Методы решения задач линейного программирования»

Рассматривается задача («каноническая»):

Важным элементом в такой формулировке является неотрицательность переменных . Данное ограничение устраняется приёмом стандартным для теории линейного программирования, а именно, представлением этой переменной в виде разности двух неотрицательных переменных: .

Множество допустимых решений задачи образует выпуклый политоп, имеющий конечное число крайних точек:

Крайняя точка – не может быть представлена выпуклой комбинацией других точек.

Классический метод Гаусса решения систем линейных уравнений состоит в приведении её к виду с «базисными» переменными (остальные n-m переменных – небазисными, свободными):

Базисным решением называется решение Базисное решение называется допустимым, если , и невырожденным, если .

Множество крайних точек политопа соответствует множеству допустимых базисных решений, и при этом одному базисному решению – одна крайняя точка.

Утверждение 11.1. достигает max на политопе – этот максимум достигается хотя бы в одной крайней точке. Для нескольких крайних точках – max достигается на их выпуклой комбинации.

На этом утверждении основан симплекс-метод, состоящий в направленном переборе базисных решений, определяющих крайние точки политопа. На первом шаге находиться начальное базисное решение. На всех следующих переходят от одного базисного к другому с возрастанием max .

Способы нахождение базисного решения:

1. Используем алгоритм Гаусса для приведения к приведённому выше нужному виду.

2. Переход к М-задаче. Для каждого уравнения вводится по 1-ой новой искусственной переменной.

Здесь – достаточно большое число, для унификации. Назначение дополнительного слагаемого состоит в том, чтобы в процессе решения вывести искусственные переменные из базиса. Если в результате окажется, что искусственные переменные входят в состав базисных и их значения не равны 0, то ограничения в задаче несовместны.

Начальное базисное решение при этом: . Геометрически этому соответствует начало координат в – пространстве переменных.

Переход от одного базиса к другому осуществляется переходом к новой вершине политопа (многогранника) в направлении возрастания целевой функции .

Алгоритм решения использует технологический приём: симплекс-таблицы для каждого текущего базиса. Пропуск вершины будет исключён, если базисы отличаются только на 1 вершину. Новая координата в базисе соответствует максимальному приросту целевой функции. Прирост целевой функции при введении в базис координаты равен: .

					…	–M
	БП	БР			…
						0
			…	…
						1

БП – базисная переменная, БР – базисное решение.

В базис вводиться , из небазисных.

Удаляется старая базисная переменная (и соответствующий номер строки таблицы), определяемая условием:

.

Рассматриваются только неотрицательные отношения: если , то на место в таблице ставиться «--». Строка, отвечающая выбранному отношению помечается символом .

Вместо координаты в состав базиса вводится . Элемент называется разрешающим и выделяется в таблице прямоугольником. Координата становиться небазисной и равной 0. Новое базисное решение определяется по формуле:

.

Процесс заканчивается, когда получен такой базис, что все относительные оценки становятся неположительными (нельзя увеличить целевую функцию!).

АЛГОРИТМ.

1. Задаём начальное базисное решение: методом Гаусса (число переменных n) или методом расширенной задачи (число переменных n+m). Найти начальное базисное решение , полагая свободные переменные равными 0.

2. Заполнить таблицу 11.1: столбец БП (символы), столбец БР (цифры), строку (целевая функция), столбец (коэффициенты для базисных переменных).

3. Вычислить относительные оценки . Для базисных переменных они равны 0 – соответствующий базисной переменной столбец в таблице содержит единственную 1 для данной переменной и 0 для остальных .

4. Анализ оценок: решение найдено. Если число равно числу базисных переменных решение единственно. Если число превышает число базисных переменных бесконечное множество решений. Если имеется в БР искусственная переменная – ограничения задачи несовместны. Если имеется – проанализировать столбец коэффициентов для этого j. Если имеется несколько таких r, выбираем наименьший номер. Если столбец содержит хоть 1 положительный коэффициент, то переменная вводится в базис. Если нет ни одного положительного коэффициента – множество допустимых решений неограниченно, не ограничена сверху, решение отсутствует.

Почему – это прирост целевой функции?

Для базисной переменной отвечающий ей столбец коэффициентов состоит из 0, кроме 1 в строке этой базисной переменной: откуда – прирост равен 0.

Для небазисного величина равна разности между коэффициентом ценности при введении его в базис , и вкладом при текущем базисе (который будет потерян), полученном в результате разложения этого элемента по элементам текущего базиса : .

Новую базисную переменную обозначим индексом r: .

Теперь поговорим об удаляемой переменной ( – номер удаляемой строки в таблице):

. Т.е. надо значения всех координат текущего базиса разделить на новый разрешающий элемент матрицы A: , и выбрать минимум.

НЕСТРОГОЕ ДОКАЗАТЕЛЬСТВО СИМПЛЕКС-МЕТОДА

Рассмотрим постановку задачи линейного программирования в форме, для которой применяется симплекс-метод, т.е. максимизировать линейную форму (функцию) при двух видах ограничений: 1) линейные равенства, 2) положительность переменных. Разобьём доказательство на следующие этапы:

1. Замкнутая внутренность (вместе с границами) политопа (многогранника), образованного гранями – осями координат 1-го квадранта, и гранями ограничений равенств (выбирается полупространство, в котором лежит начало координат) является выпуклым множеством. Тогда локальный экстремум является глобальным. (Берём 2 точки многогранника, соединяем их прямой, проверяем неравенство выпуклости – которое для линейной формы превращается в равенство).

2. Экстремум может достигаться только в вершине многогранника. (Берём внутреннюю точку многогранника и её окрестность. Так как движение по градиенту возможно в любом направлении, то функция в этой окрестности имеет большие значения, чем в выбранной точке.)

3. В симплекс-методе используются специальные вершины многогранника. Экстремум ищется в пространстве n переменных . Число ограничений-равенств равно m < n – иначе, либо определённая либо переопределённая система линейных уравнений, которая в общем случае имеет не более одного решения и ни о каком экстремуме речи не идёт. Каждая вершина многогранника в имеет n координат, и нее более, чем m из них определяются ограничениями равенствами. Значит остальные n – m вершин лежат на координатных подпространствах, определяемых равенствами . При каждом изменении базиса происходит смена этого подпространства размерности n – m, таким образом, что меняется только одна координатная ось.

4. При шаге алгоритма симплекс-метода (переход к новому базису) целевая функция не убывает (возрастает в общем случае, когда экстремум достигается в одной вершине – невырожденный случай), а ограничения сохраняются.

5. При неположительности процесс завершён и экстремум найден. Невозможен пропуск вершины, так как каждые две вершины принадлежат какому-нибудь общему n – m координатному подпространству и участвуют в исследовании нового, лучшего, базиса.