Шпоры ГОС / МО

1. MO - Прямые методы безусловной многомерной оптимизации на примере одного из методов: симплекс-метод, Хука-Дживса, сопряженных направлений Пауэлла.

Симплекс-метод. Этот метод называют последовательным симплекс-методом (ПСМ).

Определение: В к-мерном эвклидовом пространстве, к-мерный симплекс представляет собой фигуру, образованную к+1 точками (вершинами), не принадлежащими одновременно ни одному пространству меньшей размерности. В одномерном пространстве симплекс (С) есть отрезок прямой; в двумерном – треугольник; в трехмерном – треугольная пирамида (тетраэдр) и т.д. Симплекс называется регулярным, если расстояния между вершинами равны. В ПСМ используются регулярные симплекс-планы. Из любого симплекса, отбросив одну его вершину, можно получить новый симплекс, если к оставшимся добавить всего лишь одну точку. Для оценки направления движения во всех вершинах С Vj, j=1, ... , n+1, где n- размерность вектора X, необходимо оценить значение ЦФ f_j=f (Vj).

П

Алгоритм ПСМ. Определение координат xⁱ_j (j=1,..., n+1; i=1,...,n), где n- размерность пространства (размерность вектора X) исходного (начального) симплекса производится с помощью матрицы

Здесь j - номер вершины j = 1, ..., n + 1, i – номер координаты i=1,..., n, где

, .

Координата xⁱ_j вершин регулярного симплекса с ребром L=1 определяется строками матрицы. При этом вершина V₁ будет в начале координат, а векторы соответствующие вершинам V₁,...,V_n+1 составят одинаковые углы с координатными осями x₁, ... , x_n.

2. MO - Методы интервальной оценки: дихотомии, золотого сечения, Фибоначчи.

К данному классу относятся такие методы как равномерного поиска, метод дихотомии, метод золотого сечения, метод Фибоначчи. Проведем сравнение относительных эффективностей этих методов.

Обозначим: L₁ – длина исходного интервала неопределенности; L_n – длина полученного интервала в результате n-вычислений функций; FR(n) = L_n/L₁ – относительное уменьшение первоначального интервала; FR(n)– показатель эффективности.

При использовании метода дихотомии и метода золотого сечения длина получаемого интервала составляет соответственно и исходного.

Следовательно, относительное уменьшение первоначального интервала неопределенности после n-вычислений значений функции равно:

Метод Фибоначчи (МФ) – предельный случай метода золотого сечения (МЗС). Покажем это.

В МЗС: .

В Методе Фибоначчи: .

Например, для n = 12 значение  составляет :

.

4. MO - Формы записи задач линейного программирования (ЗЛП). Графическое решение ЗЛП с 2-мя переменными.

Общий вид задачи линейного программирования записывается следующим образом:

найти минимум (максимум) , (5.1) при ограничениях: ; (5.2) . (5.3)

Задачу линейного программирования (5.1 – 5.3), например, можно записать таким образом:

(5.4)

при ограничениях: (5.5) . (5.6)

Здесь: n – число переменных; m – число ограничений; A={a_ij} - действительная матрица ограничений размерностью (m×n); a_ij - коэффициенты при переменных в ограничениях (5.2), (5.5); C=(c₁,c₂,…,c_n) – вектор–строка, c_j – коэффициенты при переменных в целевой функции (5.1), (5.4); b=(b₁,b₂,…,b_m)^T – вектор правой части ограничений; - целевая функция. Не отрицательность

Продолжение 2.

4. MO - Формы записи задач линейного программирования (ЗЛП). Графическое решение ЗЛП с 2-мя переменными.

Такая точка называется допустимым решением. Множество всех допустимых точек называется допустимой областью или ОДР. Решение задачи линейного программирования состоит в отыскании наилучшего решения в ОДР.

Для изображения ОДР следует начертить графики всех ограничений. Все допустимые решения лежат в первом квадранте, так как x₁, x₂≥0.

В силу ограничения 5x₁+3x₂≥45 все допустимые решения (x₁, x₂) располагаются по одну сторону от прямой 5x₁+3x₂=45. Нужную полуплоскость можно найти, проверив, например, удовлетворяет ли начало координат неравенству (5.12). Нужная полуплоскость отмечается штриховкой. Аналогичным образом представлены ограничения x₁≤8, x₂≤10. ОДР или многогранник (n>2) решений MABC содержит бесконечное число допустимых точек с минимальным значением целевой функции f(x).

Если зафиксировать значение целевой функции f=40x₁+36x₂, то соответствующие ему точки будут лежать на некоторой прямой. При изменении величины f прямая подвергается параллельному переносу. Рассмотрим прямые, соответствующие различным значениям f, имеющие с ОДР хотя бы одну общую точку.

Положим, f₀=600. При приближении прямой к началу координат значение f уменьшается. Ясно, что для прямой, проходящей через угловую точку A=(8;1,6), дальнейшее движение невозможно. Следовательно, x*=(8;1,6) - оптимальное решение (план) и f*=(8;1,6)=377,6 – оптимальное значение целевой функции.

5. MO - Градиентные методы оптимизации на примере методов Коши, Ньютона и модифицированного метода Ньютона.

Метод наискорейшего спуска (метод Коши)

В этом широко используемом методе (МК) λ_k выбираются так, чтобы минимизировать функцию по λ:

на множестве значений λ≥0 (одномерная минимизация).

Алгоритм Коши.

Ш. 1 Выбрать начальную точку x⁰.

Ш. 2 На k-ой итерации, где , найти такое λ_k, что .

Положить x^k+1=x^k+λ_kd_k.

Ш. 3 Проверка критерия останова. Да: окончание поиска-> конец. Нет: k=k+1, -> Ш. 2.

Замечание. МК обладает глобальной сходимостью, но это не означает обязательного получения глобального экстремума функции f(x). Если f(x) дважды дифференцируема в стационарной точке и гессиан положительно определен, то - локальный минимум ЦФ. И только если f(x) является выпуклой функцией, то является точкой глобального минимума f(x).

МК обладает устойчивостью, т.е. при достаточно малом значении λ_k обеспечивается выполнение неравенства: f(x^k+1) ≤ f(x^k)

Недостаток: для некоторых типов функций сходимость может оказаться медленной. В случае ярко выраженной нелинейности ("овражности") ЦФ происходит "зацикливание".

Метод Ньютона (МН)

Итерационная формула МН имеет вид: .

Эта формула есть не что иное, как МН в применении к решению системы нелинейных уравнений:

6. MO - Необходимые и достаточные условия существования экстремума: скалярный случай; векторный случай; минимизация при ограничениях.

Скалярный случай xr¹.

Если в точке x^* первые (n - 1) производные функции f(x) обращаются в нуль, а производная порядка n отлична от нуля, т.е.

f^(*) = d^(*) f(x)/dx^* | _x-x^* ≠ 0, то:

1) если n – нечетное, то x^* – точка перегиба;

2) если n – четное, то x^* – локальный экстремум;

Примечание. Если

• f ^{( n)} (x) > 0, то x^* - точка локального минимума;

• f ^{( n)} (x) < 0, то x^* - точка локального максимума.

При поиске глобального минимума функции f(x), заданной на отрезке [a, b], необходимо найти все точки локальных минимумов, вычислить в них значения функции, а также вычислить значения функции на границах отрезка f(a) и f(b) и выбрать среди этих значений наименьшее.

Векторный случай.

Функция f(x) имеет в точке x^* локальный минимум, если выполняется равенство: grad f(x^*) = 0, т. е. x^* - стационарная точка, и матрица Гессе H _f(x^*) положительно определена.

Для выпуклых функций найденный локальный минимум будет являться одновременно и глобальным.

Минимизация при ограничениях.

Рассматривается задача:

f(x) -> min,

g_k(x) ≤ 0, k= (3.8)

x  D ≡ Rⁿ

8. MO - Выпуклые множества и функции.

Выпуклые функции. Функция f(x) выпукла на [a, b], если справедливо неравенство Иенссена:

f[μx¹+(1-μ)x²] ≤ μf(x¹)+(1-μ)f(x²), для произвольных х¹ и х² [a, b] и μ [0, 1].

На практике обычно используют следующие критерии:

1) одномерный случай: дважды дифференцируемая функция f(x) выпукла на [a, b], если вторая производная f " (x) ≥ 0 при всех х  [a, b];

2) многомерный случай (критерий Сильвестра): если функция f(x) дважды дифференцируема на выпуклом множестве D  Rⁿ и все угловые миноры матрицы Гессе – матрицы вторых производных H_f(x) = ∂²f(x) / (∂x_i ∂x_j) – положительны при хD, то функция f(x) выпукла на множестве D.

10. MO - Классификация задач оптимизации по виду целевой функции и ограничений.

Значительный интерес представляет деление задач оптимизации по виду целевой функции и ограничений, поскольку специфические особенности тех или иных задач играют важную роль при разработке методов и их решений. Задачи оптимизации (по виду целевой функции):

Задача оптимизации с одной переменной. min f(x), xR¹, ограничения отсутствуют, k = j = 0, xD  R¹.

Задача оптимизации без ограничений (безусловная оптимизация). min f(x), xRⁿ, k = j = 0, x_i[- , + ].

З

Задача условной оптимизации с линейными ограничениями. Целевая функция может быть либо линейной, либо нелинейной.

Задача линейного программирования (ЛП).

т.е. и целевая функция, и ограничения являются линейными функциями переменных x_j.

Задача целочисленного программирования. В задаче ЛП компоненты вектора х принимают только целые значения.

З

Задача квадратичного программирования.

Н

Задача дробно-линейного программирования.

Целевая функция есть отношение линейных функций:

12. MO - Квадратичные формы. Критерии определенности квадратичных форм (теорема Сильвестра).

В задачах оптимизации рассматриваются квадратичные функции вида:

или в матричном виде: ,

где x и b есть векторы – столбцы размерности n; A – симметричная матрица (n×n); С – константа.

Критерии определенности матрицы (теорема Сильвестра):

• Положительная определенность

- все диагональные элементы матрицы должны быть положительны; - все ведущие главные определители должны быть положительны.

• Положительная полуопределенность

- все диагональные элементы неотрицательны; - все главные определители неотрицательны.

Главный определитель – это определитель главного минора.

Для положительной определенности квадратичной формы – матрицы А – необходимо и достаточно, чтобы все угловые миноры матрицы А были положительны, то есть Δ₁ = a₁₁ > 0,

.

Необходимым и достаточным условием отрицательной определенности матрицы является выполнение следующих условий:

,т.е. необходимо и достаточно, чтобы миноры нечетных степеней были отрицательны, а миноры четных степеней положительны.

14. MO - Основные характеристики алгоритмов оптимизации.

Априорные характеристики методов: трудоемкость вычислений, скорость сходимости, устойчивость метода к ошибкам в вычислениях, чувствительность метода к значениям параметров алгоритма и ряд других.

Сходимость алгоритма; Большинство методов решения ЗО имеют итерационную природу: x_i+1=A(x_i), т.е. исходя из некоторой начальной точки x₀, они порождают последовательность {x₀, x₁, …, x_i, …} на основе алгоритма A, сходящуюся в точке экстремума x*.

Глобальная сходимость; Алгоритм A обладает свойством глобальной сходимости, если для любой начальной точки x₀, последовательность {x₀}, определяемая выражением x_k=A(x_k-1), сходиться в точке, удовлетворяющей необходимым условиям оптимальности. Данное свойство отражает надежность работы алгоритма.

Асимптотическая сходимость и скорость сходимости; С практической точки зрения эффективность алгоритма зависит от числа итераций, необходимых для получения приближенного решения x* с заданной точностью ε. Для получения критерия с некоторым абсолютным значением необходимо прибегнуть к другому типу анализа, взяв за объект исследования асимптотическую сходимость – поведение последовательности точек {x_k} в окрестности предельной точки x*. Это значит, что каждому алгоритму приписывается индекс эффективности – скорость сходимости.

Линейная сходимость; Предположим, что последовательность {x_k} сходиться к точке x*. ||.|| - знак евклидовой нормы в пространстве Rⁿ.

Выполняется неравенство:

, где α – коэффициент сходимости.

Продолжение

2. MO - Методы интервальной оценки: дихотомии, золотого сечения, Фибоначчи.

Для сравнения рассмотрим метод равномерного поиска (МРП).

, следовательно, .

МЗС наиболее эффективен в смысле точности. С другой стороны, можно также сравнивать количество вычислений значений функций, требуемых для достижения заданной точности ε.

для метода дихотомии: ;

для МЗС: n = 1+[ln ε/ln(0,618)]; для МРП: .

Наиболее эффективны МЗС и МФ.

3. MO - Методы с использованием производных на примере одного из методов: Коши, Ньютона, Больцано.

Методы полиномиальной аппроксимации основаны на предположениях об унимодальности и, в ряде случаев, о непрерывности исследуемой целевой функции. Если в дополнение к условию непрерывности ввести требование дифференцируемости, то эффективность поисковых процедур можно существенно повысить.

Метод средней точки (поиск Больцано)

Пусть f(x)Q[a,b], т.е. функция унимодальна и дифференцируема на отрезке [a,b].

Для нахождения корня уравнения f ’(x)=0 можно воспользоваться эффективным алгоритмом исключения интервалов, на каждой итерации которого рассматривается лишь одна пробная точка.

Если в точке z значение функции f ’(z) x* не может быть левее точки z. В этом случае исключается интервал x ≤ z. Если в точке z f ’(z)>0, то минимум x* не может быть расположен правее z. Исключается интервал x ≥ z.

Определим две точки L и R таким образом, что f’(L)<0 и f’(R)>0. Стационарная точка X[L,R]. Вычислим координату средней точки Z=(L+R/2) и найдем f’(z).

Формализованное описание алгоритма. Пусть задана функция f(x), x[a,b] и задана точность ε.

Шаг 1: Положить R=b; L=a при этом f ’(a)<0; f ’(b)>0.

Шаг 2: Вычислить Z=(L+R/2); f ’(z).

Шаг 3: Если |f’(z)|≤ ε, закончить поиск. Иначе:

Замечание: Здесь исследуется лишь знак производной независимо от ее значения.

7. MO - Основные этапы постановки и решения задачи оптимизации.

Для того чтобы использовать математические результаты и численные методы теории оптимизации для решения конкретных инженерных задач, необходимо:

1. Установить границы подлежащей оптимизации инженерной системы или объекта.

2. Построить математическую модель (ММ) системы.

3. Составить целевую функцию. Иногда удается подставить в целевую функцию ММ и получить явную зависимость ЦФ от управляющих воздействий, т. е. возможных стратегий управления системой. В остальных случаях ММ выступает в роли ограничений на управление.

4. Определить критерий оптимальности - как правило, требование экстремума ЦФ по управляющим воздействиям при наличии ограничений.

5. Выбрать или построить оптимизационный алгоритм и решить экстремальную задачу.

Корректная постановка задачи служит ключом к успеху оптимизационного исследования. Искусство постановки задачи постигается в практической деятельности на примерах успешно реализованных алгоритмов и основывается на четком представлении преимуществ, недостатков и специфических особенностей различных методов оптимизации.

Продолжение 1.

4. MO - Формы записи задач линейного программирования (ЗЛП). Графическое решение ЗЛП с 2-мя переменными.

Стандартная форма задач линейного программирования (в матричной записи). Задача линейного программирования имеет стандартную (каноническую) форму, если все ее ограничения имеют форму равенства (кроме ограничений не отрицательности переменных x_j≥0):

min f(x)=Cx;

Ax=b;

x≥0.

Задачи линейного программирования со смешанными ограничениями.

min f(x)=Cx;

A₁x=b¹;

A₂x=b²;

x≥0.

Замечание: Если ищется максимум целевой функции f(x), то заменой целевой функции на -f(x) сводят исходную задачу к минимизации функции min[-f(x)].

Основные методы решения задач линейного программирования ориентированы на использование стандартной формы записи. Любую задачу линейного программирования можно представить в стандартной форме, введя дополнительные переменные.

Графическое решение задач линейного программирования с двумя переменными

Пример: Задача технического контроля:

min f=40x₁+36x₂,

5x₁+3x₂≥45; (5.12)

x₁≥0; x₂≥0.

В качестве первого шага решения следует определить все возможные неотрицательные значения x₁, x₂, которые удовлетворяют ограничениям. Например, для точки x=(8;10) выполняются все ограничения.

Продолжение

6. MO - Необходимые и достаточные условия существования экстремума: скалярный случай; векторный случай; минимизация при ограничениях.

Обозначим L(x, λ) функцию Лагранжа

,

где λ _k - неопределенные множители Лагранжа.

Здесь все функции f, g_k, L предполагаются непрерывно дифференцируемыми.

Точка x^*_­ будет глобальным экстремумом задачи, если в точке x^* выполняются условия Куна-Таккера: существует такое ^*  0, что grad L( x, ^*) = 0; ^* g_k(x) = 0; k =.

Пара векторов (x^*, ^*) образует седловую точку функции Лагранжа, если при всех xD и   0 выполняется неравенство: L(x^*, )  L(x^*, ^*)  L( x, ^*).

Таким образом, точка x^* является точкой глобального минимума задачи (3.8), если пара векторов (x^*, ^*) является седловой точкой функции L( x,  ).

Продолжение

5. MO - Градиентные методы оптимизации на примере методов Коши, Ньютона и модифицированного метода Ньютона.

Замечание. В МН и направление, и шаг перемещения фиксированы.

Если f(x) строго выпуклая функция, то МН сходится за одну итерацию.

Модифицированный метод Ньютона

Если функция не квадратичная, то МН не отличается высоким быстродействием и надежностью. В модифицированном МН последовательность итераций строится в соответствии с формулой:

, где E – единичная матрица

На начальной стадии λ₀ присваивается большое значение, так что

Таким образом, большим значениям λ₀ соответствует направление поиска , т.е. направление поиска совпадает с направлением антиградиента. Из формулы (1) можно заключить, что при уменьшении λ до нуля направление d(x) изменяется от до .

Если после первого шага получена точка с меньшим значением ЦФ (т.е. f(x₁)<f(x₀)), следует выбрать λ₁< λ₀ и реализовать еще один шаг. В противном случае следует положить λ₀ = βλ₀, и вновь реализовать предыдущий шаг.

11. MO - Унимодальные функции. Критерии для проверки унимодальности.

Унимодальные функции. Многие методы оптимизации применимы только тогда, когда целевая функция f(x) является унимодальной, т. е. любой локальный минимум ЦФ одновременно является и глобальным.

Множество функций, унимодальных на отрезке [a, b], обозначим Q[a, b].

Для проверки унимодальности функции f(x) на практике используют следующие критерии:

– если функция f(x) дифференцируема на отрезке [a, b] и производная f'(x) не убывает на этом отрезке, то f (x)  Q [a, b];

– если функция f(x) дважды дифференцируема на отрезке [a, b] и вторая производная f''(x)≥0 при х  [a, b], то f(x) Q[a, b].

Если эти критерии не выполняются, то функция f(x) является мультимодальной или многоэкстремальной.

9. MO - Методы штрафных и барьерных функций. Основные виды штрафов.

В зависимости от того, являются ли элементы последовательности { x^t } допустимыми или недопустимыми точками, говорят соответственно о методах внутренней или внешней точки. Иногда их называют методами внутреннего или внешнего штрафа. Методы внутренних штрафных функций называют также методами барьерных функций.

Квадратичный штраф используется для учета ограничений–равенств вида: H=R·(h(x))²

Бесконечный барьер

Для этого штрафа функция P(x,R) является разрывной и недифференцируемой на границе допустимой области. Логарифмический штраф. Это барьерная функция, не определенная в недопустимых точках (т. е. для таких x, для которых g(x)<0). Штраф типа обратной функции. .

H здесь, в отличие от логарифмического штрафа, не имеет отрицательных значений в допустимой области. Данный штраф называют также барьерной функцией.

Штраф типа квадрата срезки.

Отметим, что H - внешний штраф, и стационарные точки функции P(x,R) могут оказаться недопустимыми. С другой стороны, недопустимые точки не создают в данном случае дополнительных сложностей по сравнению с допустимыми. Различие между ними состоит лишь в том, что в допустимых и граничных точках H=0. Достоинства: функция P(x,R) определена и непрерывна всюду. Вычисления проводятся с положит-ми R; после решения очередной задачи безусловной минимизации R увеличивается

Продолжение

14. MO - Основные характеристики алгоритмов оптимизации.

Суперлинейная сходимость;

.

Сходимость порядка р. Если существует такое число p>1 (2,3…), что

,

где c – константа, значит, имеем сходимость порядка p;

p=2 – квадратичная сходимость;

p=3 – кубическая сходимость;

p=n – сходимость порядка n.

Исследование скорости сходимости алгоритма позволяет оценить его эффективность и осуществить его сравнение с другими алгоритмами. Для оценки эффективности выбранных методов можно рекомендовать три характеристики: время, затраченное на получение решения; точность решения; чувствительность к изменению параметра сходимости;

13. MO - Основные понятия и определения. Задача оптимизации общего вида. Целевая функция, ограничения. Оптимальное решение. Точность.

Математическое программировании в самом общем виде можно определить как задачу оптимизации с ограничениями в пространстве Rⁿ:

min f(x),

g_k(x), k=1,2,…,K; l_j>0, j=1,2,…,J (1.1)

x D  Rⁿ

Вектор x D имеет компоненты x₁, x₂,…, x_n, которые являются неизвестными задачи (1.1).

Функция f(x) называется целевой функцией (ЦФ) (функцией качества, критерием оптимальности), а множество условий g_k(x), l_j(x) и x D - ограничениями задачи.

Решением задачи (1.1) называют любой вектор x, удовлетворяющий ограничениям.

Оптимальным решением или глобальным экстремумом задачи (1.1) называют вектор x*, минимизирующий значение f(x) на множестве всех решений: f(x*)≤ f(x) для всех x D.

Задача максимизации функции сводиться к задаче поиска минимума функции F = - f(x).

Точность. Характеристикой точности полученного решения может служить величина абсолютного отклонения, достигнутого в точке xⁿ D, значения минимизируемой функции от точного значения ее минимума на множестве D: δ(x) = f(xⁿ) – min f(x), x D.

Ясно, что чем меньше неотрицательная величина δ, тем точнее полученное решение.

Недостатком использования абсолютной погрешности является то обстоятельство, что она меняется при умножении ЦФ на положительную константу α: f(x) -> α f(x).