gos_янв_2009 / 2.3. МО

1. Основные понятия и определения. Задача оптимизации об­щего вида. Целевая функция, ограничения. Оптимальное решение. Точность.

Математическое программирование в самом общем виде можно определить как задачу оптимизации с ограничениями в пространстве Rⁿ:

min f(x), g_k(x) = 0, ; l_j(x)  0, j = 1, J; x D  Rⁿ.

Вектор xD имеет компоненты x₁, x₂, … x_n, которые являются неизвестными задачи.

Функция f(x) называется целевой функцией (ЦФ) (функцией качества, критерием оптимальности), а множество условий g_k(x), l_j(x) и xD – ограничениями задачи.

Решением задачи называют любой вектор x, удовлетворяющий ограничениям.

Оптимальным решением или глобальным экстремумом задачи называют вектор x^*, минимизирующий значение f(x) на множестве всех решений: f(x^*)  f(x) для всех x D.

Задача максимизации функции сводится к задаче поиска минимума функции F = - f(x).

Точность. Характеристикой точности полученного решения может служить величина абсолютного отклонения значения минимизируемой функции, достигнутого в точке xⁿ  D, от точного значения ее минимума на множестве D:

 (x) =, xD.

Ясно, что чем меньше неотрицательная величина , тем точнее полученное решение. Недостатком использования абсолютной погрешности является то обстоятельство, что она меняется при умножении ЦФ на положительную константу : f (x)   f (x).

Целесообразнее использовать следующую оценку точности:

,где f (x^*) – либо точное значение минимума ЦФ, либо полученное "точным" алгоритмом. Алгоритм называется "–приближенным", если выполняется неравенство c  .

2. Основные этапы постановки и решения задачи оптимизации.

Для того чтобы использовать математические результаты и численные методы теории оптимизации для решения конкретных инженерных задач, необходимо:

1. Установить границы подлежащей оптимизации инженерной системы или объекта.

2. Построить математическую модель (ММ) системы.

3. Составить целевую функцию. Иногда удается подставить в целевую функцию ММ и получить явную зависимость ЦФ от управляющих воздействий, т. е. возможных стратегий управления системой. В остальных случаях ММ выступает в роли ограничений на управление.

4. Определить критерий оптимальности - как правило, требование экстремума ЦФ по управляющим воздействиям при наличии ограничений.

5. Выбрать или построить оптимизационный алгоритм и решить экстремальную задачу.

Корректная постановка задачи служит ключом к успеху оптимизационного исследования. Искусство постановки задачи постигается в практической деятельности на примерах успешно реализованных алгоритмов и основывается на четком представлении преимуществ, недостатков и специфических особенностей различных методов оптимизации.

Значительный интерес представляет деление задач оптимизации по виду целевой функции и ограничений, поскольку специфические особенности тех или иных задач играют важную роль при разработке методов и их решений.

3. Классификация задач оптимизации по виду целевой функ­ции и ограничений.

Значительный интерес представляет деление задач оптимизации по виду целевой функции и ограничений, поскольку специфические особенности тех или иных задач играют важную роль при разработке методов и их решений.

Задача оптимизации с одной переменной: min f (x), xR¹, ограничения отсутствуют, т.е. в задаче g_k(x) = 0, ; l_j(x)  0, j = 1, J; x D  Rⁿ. k = j = 0, xD  R¹.

Задача оптимизации без ограничений (безусловная оптимизация): min f(x), xRⁿ, k = j = 0, x_i[- , + ].

Задача оптимизации с ограничениями (условная оптимизация): min f(x), g_k(x) = 0, k = 1, K; l_j(x) > 0, j = 1, J; т.е. компоненты вектора х ограничены сверху и снизу.

Задача условной оптимизации с линейными ограничениями. Функции–ограничения g_k и l_j в задаче min f(x), g_k(x) = 0, k = 1, K; l_j(x) > 0, j = 1, J;

являются линейными, а целевая функция может быть либо линейной, либо нелинейной.

Задача линейного программирования (ЛП): т.е. и целевая функция, и ограничения являются линейными функциями переменных .

Задача целочисленного программирования: В задаче ЛП компоненты вектора х принимают только целые значения.

Задача нелинейного программирования с линейными ограничениями: Целевая функция f(x) – нелинейная, а все ограничения – линейные функции.

Оптимизационные задачи такого рода можно классифицировать на основе структурных особенностей нелинейных целевых функций.

Задача квадратичного программирования: Найти минимум f(x), где целевая функция f(x) является квадратичной.

Задача дробно-линейного программирования: Целевая функция есть отношение линейных функций: .

4. Унимодальные функции. Критерии для проверки унимо­дальности.

Многие методы оптимизации применимы только тогда, когда целевая функция f(x) является унимодальной, т. е. любой локальный минимум ЦФ одновременно является и глобальным.

Множество функций, унимодальных на отрезке [a, b], обозначим Q[a, b].

Для проверки унимодальности функции f(x) на практике используют следующие критерии:

– если функция f(x) дифференцируема на отрезке [a, b] и производная f'(x) не убывает на этом отрезке, то f (x)  Q [a, b];

– если функция f(x) дважды дифференцируема на отрезке [a, b] и вторая производная f''(x)≥0 при х  [a, b], то f(x) Q[a, b].

Если эти критерии не выполняются, то функция f(x) является мультимодальной или многоэкстремальной.

5. Выпуклые множества и функции.

Функция f(x) выпукла на [a, b], если справедливо неравенство Иенссена:

,

для произвольных х¹ и х² [a, b] и μ [0, 1].

На практике обычно используют следующие критерии:

одномерный случай:

1) дважды дифференцируемая функция f(x) выпукла на [a, b], если вторая производная f " (x) ≥ 0 при всех х  [a, b];

многомерный случай (критерий Сильвестра):

2) если функция f(x) дважды дифференцируема на выпуклом множестве D  Rⁿ и все угловые миноры матрицы Гессе – матрицы вторых производных H_f(x) = ∂²f(x) / (∂x_i ∂x_j) – положительны при хD, то функция f(x) выпукла на множестве D.

6. Квадратичные формы. Критерии определенности квадратичных форм (теорема Сильвестра).

Во многих задачах оптимизации рассматриваются функции вида:

или в матричном виде: , где x и b есть векторы – столбцы размерности n; А – симметричная матрица (n x n); С – константа.

Градиент и матрица Гессе этой функции равны соответственно grad f(x) = Ax + b, H_f(x) = A = (a _{i j}).

Таким образом, для того чтобы функция была выпуклой в Rⁿ, достаточно, чтобы матрица А была положительно определена.

Критерии определенности матрицы (теорема Сильвестра).

Положительная определенность:

• все диагональные элементы матрицы должны быть положительны;

• все ведущие главные определители должны быть положительны.

Положительная полуопределенность:

• все диагональные элементы неотрицательны;

• все главные определители неотрицательны.

Главный определитель – это определитель главного минора.

Для положительной определенности квадратичной формы – матрицы А – необходимо и достаточно, чтобы все угловые миноры матрицы А были положительны, т. е.

Стационарной точкой функции f(x) называется такая точка x^*, в которой выполняется равенство

Если стационарная точка не соответствует локальному экстремуму, то она является точкой перегиба или седловой точкой.

7. Необходимые и достаточные условия существования экстремума: скалярный случай; векторный случай; минимиза­ция при ограничениях.

Скалярный случай xr¹

Если в точке x^* первые (n - 1) производные функции f(x) обращаются в нуль, а производная порядка n отлична от нуля, т.е. то:

1) если n – нечетное, то x^* – точка перегиба;

2) если n – четное, то x^* – локальный экстремум;

причем, если

• f ^{( n)} (x) > 0, то x^* - точка локального минимума;

• f ^{( n)} (x) < 0, то x^* - точка локального максимума.

Примечание. При поиске глобального минимума функции f(x), заданной на отрезке [a, b], необходимо найти все точки локальных минимумов, вычислить в них значения функции, а также вычислить значения функции на границах отрезка f(a) и f(b) и выбрать среди этих значений наименьшее.

Векторный случай

Функция f(x) имеет в точке x^* локальный минимум, если выполняется равенство: grad f(x^*) = 0, т. е. x^* - стационарная точка, и матрица Гессе H _f(x^*) положительно определена.

Для выпуклых функций найденный локальный минимум будет являться одновременно и глобальным.

Минимизация при ограничениях

Рассматривается задача: Обозначим L(x, λ) функцию Лагранжа ,где λ - неопределенные множители Лагранжа.

Здесь все функции f, g_k, L предполагаются непрерывно дифференцируемыми.

Точка x^*_­ будет глобальным экстремумом задачи, если в точке x^* выполняются условия Куна-Таккера: существует такое ^*  0, что grad L( x, ^*) = 0; ^* g_k(x) = 0; k = .

Пара векторов (x^*, ^*) образует седловую точку функции Лагранжа, если при всех x  D и   0 выполняется неравенство: L(x^*, )  L(x^*, ^*)  L( x, ^*). Таким образом, точка x^* является точкой глобального минимума задачи, если пара векторов (x^*, ^*) является седловой точкой функции L( x,  ).

8. Основные характеристики алгоритмов оптимизации.

Сходимость алгоритма является наиболее важным вопросом оптимизации. Большинство методов решения ЗО имеют итерационную природу: x_i+1 = A (x_i), т. е. Исходя из некоторой начальной точки x₀, они порождают последовательность { x₀, x₁, …, x_i, …} на основе алгоритма A, сходящуюся к точке экстремума x^*.

Априорные характеристики методов: трудоемкость вычислений, скорость сходимости, устойчивость метода к ошибкам в вычислениях, чувствительность метода к значениям параметров алгоритма и ряд других.

Сходимость алгоритма является наиболее важным вопросом оптимизации. Большинство методов решения ЗО имеют итерационную природу: x_i+1 = A (x_i), т. е. Исходя из некоторой начальной точки x₀, они порождают последовательность { x₀, x₁, …, x_i, …} на основе алгоритма A, сходящуюся к точке экстремума x^*.

Глобальная сходимость. Алгоритм A обладает свойством глобальной сходимости, если для любой начальной точки x₀, последовательность {x_k}, определяемая выражением x_k = A (x_k-1), сходится к точке, удовлетворяющей необходимым условиям оптимальности. Данное свойство отражает надежность работы алгоритма.

Асимптотическая сходимость и скорость сходимости. С практической точки зрения эффективность алгоритма зависит от числа итераций, необходимых для получения приближенного решения x^* с заданной точностью .

Для получения критерия с некоторым абсолютным значением необходимо прибегнуть к другому типу анализа, взяв за объект исследования асимптотическую сходимость – поведение последовательности точек {x_k} в окрестности предельной точки x^*. Это значит, что каждому алгоритму приписывается индекс эффективности – скорость сходимости.

Линейная сходимость. Выполняется неравенство: _, где  - коэффициент сходимости.

Суперлинейная сходимость:

Сходимость порядка p. Если существует такое число p > 1 (2,3…), что _, где c – константа, значит, имеем сходимость порядка p; p = 2 – квадратичная сходимость; p = 3 – кубическая сходимость; p = n – сходимость порядка n.

Исследование скорости сходимости алгоритма позволяет оценить его эффективность и осуществить его сравнение с другими алгоритмами.

Для оценки эффективности выбранных методов можно рекомендовать три характеристики: время, затраченное на получение решения; точность решения; чувствительность к изменению параметра сходимости. Для одномерных методов оптимизации первые две характеристики можно исследовать на типовых тестовых функциях, например, f(x) = sin ^k (x), путем варьирования значений показателя степени k на множестве нечетных чисел от 1 до 79.

9. Связь методов оптимизации и поиска нулей функции. Кри­терии останова. Численная аппроксимация градиента.

Методы поиска нулей функции

Поиск нулей функции f(x) широко используется в методах оптимизации. Например, такая необходимость возникает при определении стационарной точки f ' (x) = 0 или решении системы нелинейных уравнений f / x_i = 0, i = , как в методе Ньютона.

Кроме широко известных методов поиска нулей функции можно предложить следующие методы:

1) упрощенный метод Ньютона (сходимость линейная): x_i+1 = x_i – (x_i)/, где  – константа, например,  = f ' (x₀);

2) метод ложного положения (сходимость линейная): .Значение абсциссы вспомогательной точки z необходимо выбирать как можно ближе к корню функции;

3) метод Стефенсена (квадратичная сходимость): ;

4) метод Уолла (кубическая сходимость): .

Критерии останова

Приведем несколько наиболее распространенных критериев останова оптимизационных методов ( – заданная точность):

1); 2) ; 3) ;

4) max ; 5) || grad f(x) || ² = ;

6) grad|| f(x) || = ; 7) ,

где k – четное число (данный критерий используется в методах штрафных и барьерных функций).

При выполнении неравенств полагают: x^*  x^k и f^*  f(x^k).

Численная аппроксимация градиента.

В методах оптимизации с использованием производных аналитическое вычисление производных может быть затруднительно или невозможно. В этом случае производные (компоненты вектора градиента) можно определять на основе численной аппроксимации:

1) "конечная разность вперед":; ;

2) "центральная конечная разность": ; .

Выбор  осуществляется в зависимости от вида функции f(x), координат точки и точности ЭВМ. Аппроксимация (2) более точна, однако здесь используется дополнительное значение функции.

10. Методы интервальной оценки: дихотомии, золотого сечения, Фибоначчи.

Суть методов интервальной оценки заключается в последовательном исключении, интервалов в которых не может содержаться нуль функции.

В методе дихтомии исходный отрезок делится пополам, происходит сравнения значения функции на границах отрезка и его в середине. И исключается тот интервал значение функции на границе которого имеет один и тот же знак. В итоге получается с заданной точностью оценка интервала, в котором содержится нуль функции. В методах оптимизации нуль обычно ищется нуль первой производной (градиента)

Метод золотого сечечения и Фибоначчи аналогичны методу дихтомии с той разницей, что вместо середины интервала берется точка вычисленная по золотому сечению или числам Фибоначчи. Метод Фибоначчи является предельным случаем метода золотого сечения.

PS: Показать метод дихотомии (половинного деления отрезка) с помощью рисунка.

11. Методы полиномиальной аппроксимации.

Основная идея рассматриваемых методов связана с возможностью аппроксимации гладкой функции полиномом и последующего использования этого полинома для оценивания координаты точки экстремума.

Необходимые условия эффективной реализации такого подхода – унимодальность и непрерывность исследуемой функции. Согласно теореме Вейерштрасса об аппроксимации, если функция непрерывна на некотором интервале, то ее с любой степенью точности можно аппроксимировать полиномом высокого порядка. Координату точки экстремума функции можно оценить путем вычисления координаты точки экстремума полинома.

Метод Пауэлла

Этот метод основан на последовательном применении процедуры оценивания с использованием квадратичной аппроксимации.

Схема алгоритма Пауэлла: пусть - начальная точка; - выбранная величина шага по оси х.

Шаг 1: Вычислить .

Шаг 2: Вычислить и .

Шаг 3: Если , положить , если , то .

Шаг 4: Вычислить и найти . равно точке , которая соответствует .

Шаг 5: По трем точкам вычислить , используя квадратичную аппроксимацию.

Шаг 6: Проверка на окончание поиска:

а) является ли разность ;

б) является ли разность , где и - заданные точности.

Если условия а) и б) выполняются одновременно, то закончить поиск. Иначе переход на Шаг 7.

Шаг 7: Выбрать "наилучшую" точку ( или ) и две точки по обе стороны от нее. Обозначить эти точки в естественном порядке и перейти на Шаг 4.

12. Методы с использованием производных на примере одного из методов: Коши, Ньютона, Больцано.

Необходимым условием существования локального минимума функции в некоторой точке является требование стационарности точки , т.е.

Если содержит члены, содержащие в третьей и более высоких степенях, то непосредственное получение аналитического решения уравнения может оказаться затруднительным. В таких случаях используются приближенные методы последовательного поиска стационарной точки .

Одним из таких методов является метод средней точки (поиск Больцано)

Пусть , т.е. функция унимодальна и дифференцируема на отрезке .

Для нахождения корня уравнения можно воспользоваться эффективным алгоритмом исключения интервалов, на каждой итерации которого рассматривается лишь одна пробная точка.

Если в точке значение функции , то точка не может быть левее точки . В этом случае исключается интервал .

Если в точке , то минимум не может быть расположен правее . Исключается интервал .

Определим две точки и таким образом, что и . Стационарная точка .Вычислим координату средней точки и найдем .

Формализованное описание алгоритма. Пусть задана функция , и задана точность .

Шаг 1: Положить при этом .

Шаг 2: Вычислить .

Шаг 3: Если , закончить поиск. Иначе:

13. Сравнение эффективности одномерных методов оптимиза­ции.

С помощью теоретических выкладок можно показать, что такие методы точного оценивания, как метод Пауэлла, метод поиска с использованием кубичной аппроксимации и производных существенно эффективнее методов исключения интервалов, среди которых выделяется метод золотого сечения. Данный вывод справедлив лишь в предположении, что интервалы сходимости сравнимы между собой, а исследуемая функция является достаточно гладкой и унимодальной.

1. Если необходимо получить решение с очень высокой степенью точности, то лучшими оказываются методы на основе полиномиальной аппроксимации.

2. Если важно добиться надежной работы алгоритма, то целесообразно выбрать метод золотого сечения.

3. Поисковые методы типа метода Пауэлла следует использовать совместно с МЗС, когда возникают затруднения с реализацией соответствующих итераций на ЭВМ.

Для оценки эффективности методов обычно используются три характеристики:

• время, затраченное на получение решения;

• точность решения;

• чувствительность к изменениям параметра сходимости.

Например, метод средней точки, метод Пауэлла и поиск с использованием кубичной аппроксимации могут быть исследованы при поиске для различных нечетных значений k:

для любого k.

При возрастании значения k увеличивается время решения и уменьшается точность. Однако МЗС не чувствителен к росту k.

14. Прямые методы безусловной многомерной оптимизации на примере одного из методов: симплекс-метод, Хука-Дживса, сопряженных направлений Пауэлла.

Методы прямого поиска (нулевого порядка) основаны на вычислении только значений ЦФ, к ним относятся: поиск по симплексу; метод Хука-Дживса; метод сопряженных направлений Пауэлла и другие.

Достоинства данных методов: относительная простота вычислительных процедур, легкость реализации и корректировки.

Недостатки: значительные затраты времени по сравнению с градиентными методами.

Для примера рассмотрим симплексный метод

Метод поиска по симплексу был предложен в 1962 г. Спендли, Хекстом и Химсвортом. Этот метод называют последовательным симплекс-методом (ПСМ). Следует отметить, что указанный метод и другие подобные методы не имеют отношения к симплекс-методу линейного программирования, а сходство названий носит чисто случайный характер.

Симплекс-метод

Этот метод называют последовательным симплекс-методом (ПСМ).

Определение: В к-мерном эвклидовом пространстве, к-мерный симплекс представляет собой фигуру, образованную к+1 точками (вершинами), не принадлежащими одновременно ни одному пространству меньшей размерности.

В одномерном пространстве симплекс (С) есть отрезок прямой; в двумерном – треугольник; в трехмерном – треугольная пирамида (тетраэдр) и т.д.

Симплекс называется регулярным, если расстояния между вершинами равны. В ПСМ используются регулярные симплекс-планы.

Из любого симплекса, отбросив одну его вершину, можно получить новый симплекс, если к оставшимся добавить всего лишь одну точку.

Для оценки направления движения во всех вершинах С Vj, j=1, ... , n+1, где n- размерность вектора X, необходимо оценить значение ЦФ f_j=f (Vj).

При поиске min наиболее целесообразно будет движение от вершины Vs с наибольшим значением fs к противоположной грани С. Шаг поиска выполняется переходом из некоторого С. Sm-1 в новый С. Sm путем исключения вершины Vs и построения ее зеркального отображения относительно грани , общей (см. рис.4.5). Многократное отражение худших вершин приводит к шаговому движению центра С к цели по траектории некоторой ломанной линии.

Алгоритм ПСМ.

Определение координат (j=1,..., n+1; i=1,...,n), где n- размерность пространства (размерность вектора X) исходного (начального) симплекса

производится с помощью матрицы

. (4.6)

Здесь j - номер вершины j = 1, ..., n + 1, i – номер координаты i=1,..., n, где

, .

Координата вершин регулярного симплекса с ребром L=1 определяется строками матрицы. При этом вершина V₁ будет в начале координат, а векторы соответствующие вершинам V₁,...,V_n+1 составят одинаковые углы с координатными осями x₁, ... , x_n.

15. Градиентные методы оптимизации на примере методов Ко­ши, Ньютона и модифицированного метода Ньютона.

Предполагается, что целевая функция f(x) непрерывна и имеет, по крайней мере, непрерывные первые производные. Необходимым условием существования экстремума является наличие стационарной точки ЦФ. Т.о., основная идея многих методов оптимизации без ограничений в пространстве Rⁿ заключается в отыскании стационарной точки x*, в которой градиент ЦФ .

Градиентные методы работают следующим образом. Исходя из начальной точки x⁰, вычисляют в точке x⁰. Поскольку указывает направление наибольшего возрастания ЦФ, снабжаем направление, противоположное градиенту, величиной и находим следующую точку: Повторение процедуры дает последовательность точек: .

В этом семействе методов следует выделить методы градиента с заданным шагом, в которых заранее задаются значения.

Доказано, что построенная последовательность сходится к решению, т.е. , если выполняются два условия:

1) при ;

2) (например, ).

Данная процедура ("метод расходящегося ряда") может оказаться медленной.

Критерии останова (наиболее употребительные).

Пусть - заданная точность:

1) 2) ; 3) ; 4) ; 5) .

Необходимо учитывать точность ПЭВМ.

Метод наискорейшего спуска (метод Коши)

В этом широко используемом методе (МК) выбираются так, чтобы минимизировать функцию по :

на множестве значений (одномерная минимизация).

Алгоритм Коши.

Ш. 1 Выбрать начальную точку .

Ш. 2 На -ой итерации, где , найти такое , что

.

Положить .

Ш. 3 Проверка критерия останова.

Да: окончание поиска конец. Нет: , Ш. 2.

Определение. Будем говорить, что алгоритм А глобально сходится, если для любой выбранной исходной точки последовательность , порожденная точками , сходится к точке, удовлетворяющей необходимым условиям оптимальности.

МК обладает устойчивостью, т.е. при достаточно малом значении обеспечивается выполнение неравенства: .

МК позволяет существенно уменьшить значение ЦФ (быстро спуститься на "дно оврага") при движении из точек, расположенных на значительных расстояниях от точки , но в дальнейшем может произойти "зацикливание". Поэтому МК часто используются совместно с другими градиентными методами (например, методом Ньютона) в качестве начальной процедуры.

Недостаток: для некоторых типов функций сходимость может оказаться медленной. В самом деле, если минимизирует функцию , то должно быть , откуда вытекает равенство: , которое доказывает, что последовательные направления ортогональны. В случае ярко выраженной нелинейности ("овражности") ЦФ происходит "зацикливание.

16. MO - Варианты градиентных методов на примере одного из методов: Марквардта, Флетчера-Ривза, Поллака-Рибьера.

Метод Флетчера-Ривза

Флетчер и Ривз расширили метод сопряженных градиентов (МГС) для квадратичных функций на случай произвольных функций. В применении к квадратичным функциям он становится равносильным методу сопряженных градиентов.

К достоинствам данного метода можно отнести: малый объем памяти (необходимо хранить 3 n-мерных вектора); скорость сходимости значительно выше классических градиентных методов. Данный метод полезен для решения задач большой размерности.

Алгоритм Флетчера-Ривза:

Шаг 1. Задаем начальную точку x⁰ положить .

Шаг 2. Выбрать значение λ^k, минимизирующее значение функции g(λ)=f(x^k+λd_k)

Положить: x^k+1=x^k+ λ_kd_k , ,

Шаг 3. Проверка критерия останова:

Да: конец. Нет: k=k+1 -> Ш.2.

Таким образом, на каждом этапе требуется хранить в памяти лишь три n-мерных вектора: и , а также текущее направление d^k.

17. MO - Сравнение многомерных методов оптимизации.

Сравнение методов безусловной оптимизации

Предполагается, что выполняются следующие условия: f(x) дважды дифференцируема; гессиан ²f(x*) положительно определен.

1. Метод наискорейшего спуска (метод Коши). Последовательность f(x^k) удовлетворяет неравенству: , где λmax, λmin - соответственно наибольшее и наименьшее собственные значения матрицы Гессе ²f(x*) вычисленные в точке x*. Таким образом, в худшем случае имеет место линейная сходимость, для которой коэффициент асимптотической сходимости α (называемый отношением Канторовича) непосредственно связан с K(A) - обусловленностью матрицы H_f(x*). Для плохо обусловленной функции (овражного типа) сходимость может быть очень медленной (α≈1).

2. Ускоренные методы наискорейшего спуска.

Для ускоренного метода второго порядка имеем ,

λ_m2 - второе наибольшее собственное значение ²f(x*). В двумерном случае имеем λ_m2=λmin, и следовательно, ускоренный метод второго порядка имеет сходимость высшего порядка, что очень эффективно. Однако в размерностях выше 2-ой сходимость методов с p=2 может практически быть такой же плохой, как и в обычном методе, т.к. 2-ое собственное значение может мало отличаться от λmax.

При p=n (размерность производства) имеем суперлинейную сходимость. Но при этом на каждой итерации требуется применение (n+1) одномерных минимизаций. В таком случае метод становится эквивалентным методу сопряженного градиента.

Метод Ньютона. Обладает квадратичной локальной сходимостью. На практике глобальная сходимость не гарантируется.

Методы сопряженных направлений (относительно метода Флетчера-Ривза). Доказано, что ,т.е. последовательность x⁰, xⁿ, x²ⁿ,…,x^gn сходится к x^k суперлинейно.

Если удовлетворяет условию Липшица в окрестности точки x*, то имеем квадратичную сходимость по n шагам: .

К

Преимущества квазиньют-ких мет. по сравнению с методами сопряженных градиентов: требуют в n раз меньше этапов (шагов), т.е. в n раз меньше числа одномерных минимизаций. Сходимость для одного и того же поведения - квадратичная или суперлинейная. Недостатки. загрузка памяти пропорциональна n²; объем вычислений пропорционален n². Выводы: метод Коши+дихотомия – обеспечивает нахождение наиболее точного значения ЦФ, но требует больших затрат машинного времени; метод Б-Ф-Г-Ш с использованием кубичной аппроксимации – самый эффективный по количеству вычислений функции.

18. MO - Формы записи задач линейного программирования (ЗЛП). Графическое решение ЗЛП с 2-мя переменными.

Общий вид задачи линейного программирования записывается следующим образом:

найти минимум (максимум) , (5.1) при ограничениях: ; (5.2) . (5.3)

Задачу линейного программирования (5.1 – 5.3), например, можно записать таким образом:

(5.4)

при ограничениях: (5.5) . (5.6)

Здесь: n – число переменных; m – число ограничений; A={a_ij} - действительная матрица ограничений размерностью (m×n); a_ij - коэффициенты при переменных в ограничениях (5.2), (5.5); C=(c₁,c₂,…,c_n) – вектор–строка, c_j – коэффициенты при переменных в целевой функции (5.1), (5.4); b=(b₁,b₂,…,b_m)^T – вектор правой части ограничений; - целевая функция. Не отрицательность элементов вектора b легко получить, умножив, соответствующие неравенства (5.5) на (5.1).

Стандартная форма задач линейного программирования (в матричной записи). Задача линейного программирования имеет стандартную (каноническую) форму, если все ее ограничения имеют форму равенства (кроме ограничений не отрицательности переменных x_j≥0):

min f(x)=Cx; Ax=b; x≥0.

Задачи линейного программирования со смешанными ограничениями.

min f(x)=Cx; A₁x=b¹; A₂x=b²; x≥0.

Замечание: Если ищется максимум целевой функции f(x), то заменой целевой функции на -f(x) сводят исходную задачу к минимизации функции min[-f(x)].

Основные методы решения задач линейного программирования ориентированы на использование стандартной формы записи. Любую задачу линейного программирования можно представить в стандартной форме, введя дополнительные переменные.

Графическое решение задач линейного программирования с двумя переменными

Пример: Задача технического контроля:

min f=40x₁+36x₂,5x₁+3x₂≥45;x₁≥0; x₂≥0.

В качестве первого шага решения следует определить все возможные неотрицательные значения x₁, x₂, которые удовлетворяют ограничениям. Например, для точки x=(8;10) выполняются все ограничения.

Такая точка называется допустимым решением. Множество всех допустимых точек называется допустимой областью или ОДР. Решение задачи линейного программирования состоит в отыскании наилучшего решения в ОДР. Для изображения ОДР следует начертить графики всех ограничений. Все допустимые решения лежат в первом квадранте, так как x₁, x₂≥0. В силу ограничения 5x₁+3x₂≥45 все допустимые решения (x₁, x₂) располагаются по одну сторону от прямой 5x₁+3x₂=45. Нужную полуплоскость можно найти, проверив, например, удовлетворяет ли начало координат неравенству (5.12). Нужная полуплоскость отмечается штриховкой. Аналогичным образом представлены ограничения x₁≤8, x₂≤10. ОДР или многогранник (n>2) решений MABC содержит бесконечное число допустимых точек с минимальным значением целевой функции f(x). Если зафиксировать значение целевой функции f=40x₁+36x₂, то соответствующие ему точки будут лежать на некоторой прямой. При изменении величины f прямая подвергается параллельному переносу. Рассмотрим прямые, соответствующие различным значениям f, имеющие с ОДР хотя бы одну общую точку. Положим, f0=600. При приближении прямой к началу координат значение f уменьшается. Ясно, что для прямой, проходящей через угловую точку A=(8;1,6), дальнейшее движение невозможно. Следовательно, x*=(8;1,6) - оптимальное решение (план) и f*=(8;1,6)=377,6 – оптимальное значение целевой функции.

19. Приближенные методы решения ЗЛП на примере транс­портной задачи.

Содержательная постановка транспортной задачи (ТЗ) заключается в следующем: составить план перевозок однородного груза из нескольких исходных пунктов (заводов) в исходные пункты назначения (потребления) таким образом, чтобы общая стоимость перевозок была наиболее экономичной (минимальной). Цель построения модели состоит в определении количества продукции, которое следует перевезти из каждого исходного пункта в пункт назначения. Основное предположение – величина транспортных расходов на каждом маршруте прямо пропорциональна объему перевозимой продукции.

Исходная информация: - количество продукции, производимое в i-ом пункте; b_j - количество продукции, производимое в j-ом пункте; x_ij- количество продукции, производимое из i в j; c_ij- стоимость перевозки единицы продукции из i в j;

Рассмотрим приближенный метод Фогеля для решения транспортной задачи. Этот метод является эвристическим и часто дает оптимальное и субоптимальное решение. Схема ПМФ:

1. Вычислить штраф для каждой строки (столбца), вычитая наименьший элемент этой строки (столбца) из следующего за ним по величине элемента той же строки (столбца).

2. Отметить строку или столбец с максимальным штрафом. Если их несколько, то отметить любую (ой). В отмеченной строке (столбце) выбрать переменную с минимальной стоимостью и придать ей максимально возможное исходя из ограничений. Скорректировать объем производства и спроса и вычеркнуть строку или столбец, соответствующие выполненному ограничению. Если ограничения по строке и столбцу выполняются одновременно, то вычеркнуть либо строку, либо столбец, а оставшемуся столбцу (строке) приписать нулевой спрос (объем производства). Строка или столбец с нулевым объемом производства (спросом) в дальнейших вычислениях не используется.

3. А) Если не вычеркнутой остается одна строка (столбец), то вычисления заканчиваются. Б) Если не вычеркнутой остается одна строка (столбец) с положительным объемом производства (спроса), то найти базисные элементы, используя метод наименьшей стоимости. В) Если не вычеркнутым строкам и столбцам соответствуют нулевые объемы производства и спроса, то найти базисные элементы, используя метод наименьшей стоимости. Г) В других случаях вычислить новые значения штрафов для не вычеркнутых строк и столбцов и перейти на шаг 2).

Строки и столбцы с нулевыми значениями объема производства и спроса не должны использоваться при вычислении штрафов.

20. Методы штрафных и барьерных функций. Основные виды штрафов.

Их общий принцип заключается в замене исходной задачи на решение последовательности экстремальных задач без ограничений.

Понятие штрафных функций

Штрафная функция (ШФ) определяется выражением: где - набор штрафных параметров, - штраф – функция и ограничений, .

Выражение для штрафа H определяется таким образом, чтобы допустимые точки задачи имели преимущество перед недопустимыми в отношении безусловной минимизации ШФ.

Методы внутренней точки связаны с такими H, при которых стационарные точки функции оказываются заведомо допустимыми. Эти методы называют также методами барьеров, поскольку здесь штраф как бы создает вдоль границы допустимой области S барьер из бесконечно больших значений функции P.

Методы ШФ представляют большой интерес лишь при выполнении следующих требований:

1) решения подзадач должны стремиться к решению задачи нелинейного программирования вида:

;

2) сложность минимизации должна быть того же порядка, что и для функции ;

3) правило пересчета должно быть простым.

Рассмотрим широко используемые типы штрафов и различные процедуры учета ограничений при переходе к задачам безусловной минимизации.

Квадратичный штраф используется для учета ограничений–равенств вида:

.

При минимизации этот штраф препятствует отклонению величины от нуля (как вправо, так и влево). Ниже будет видно, что при увеличении R стационарная точка соответствующей ШФ приближается к точке , т. к. в пределе . Поскольку допустимая область S определяется ограничением , то в допустимой области значение штрафа , а вне допустимой области и тем больше, чем дальше точка выйдет за пределы допустимой области и чем больше R.

Здесь предпочтительнее стратегия многоэтапного последовательного приближения к решению:

1) процесс начинают с относительно малого R, например, R=0,01 и находят точку минимума функции ;

2) увеличивают и находят минимум , используя ранее полученную точку в качестве начальной;

3) R увеличивают до тех пор, пока не окажется, что элементы итерационных последовательностей изменяются от шага к шагу достаточно мало. Однако при этом увеличивается число итераций и время решения задачи. В этом основная трудность МШФ.

Рассмотрим несколько типов штрафов для ограничений–неравенств.

Бесконечный барьер

Для этого штрафа функция является разрывной и недифференцируемой на границе допустимой области.

Так как машинная реализация бесконечных штрафов невозможна, то в качестве штрафа используется большое положительное число, например, , где I - множество индексов нарушенных ограничений, т. е. при .

Логарифмический штраф.

Штраф положителен при всех x таких, что , и отрицателен при . В данном случае вводится как бы искусственная дискриминация точек допустимой области: внутренним точкам отдается предпочтение перед граничными точками. Отрицательных значений штрафа можно было бы избежать, положив H=0 для таких х, что . Однако при этом у градиента появились бы разрывы.

Логарифмический штраф – это барьерная функция, не определенная в недопустимых точках (т. е. для таких , для которых ).

Штраф типа обратной функции.

H - здесь, в отличие от логарифмического штрафа, не имеет отрицательных значений в допустимой области. Данный штраф называют также барьерной функцией.

Очевидна необходимость предотвращения появления недопустимых точек, в которых . В точках вблизи границы значения штрафа положительны и быстро убывают при удалении от границы внутрь допустимой области. На самой границе и не определены. Итерации начинаются с точки - начальной допустимой точки при , причем в процессе вычисления .

Штраф типа квадрата срезки.

H- внешний штраф, и стационарные точки функции могут оказаться недопустимыми. С другой стороны, недопустимые точки не создают в данном случае дополнительных сложностей по сравнению с допустимыми. Различие между ними состоит лишь в том, что в допустимых и граничных точках .

Достоинства: функция определена и непрерывна всюду. Вычисления проводятся с положительными R; после решения очередной задачи безусловной минимизации R увеличивается.

Штраф – обратная функция (барьерная функция)

Имеем .

Методы ШФ демонстрируют, с одной стороны, принципиальную возможность использования методов ШФ, а с другой стороны – их общие недостатки, а именно: сходимость метода связана с ярко выраженной нелинейностью ("овражностью") ШФ, и здесь традиционные методы безусловной минимизации могут оказаться неэффективными.