![](/user_photo/1334_ivfwg.png)
- •Основные понятия.
- •1. Безусловная оптимизация (многомерные функции)
- •1.1 Методы первого порядка (градиентные методы)
- •1.1.1. Градиентный метод с постоянным шагом
- •1.1.2. Выпуклые функции и множества
- •Теорема
- •Определение.
- •Без доказательства
- •2.Теорема:
- •1.2. Градиентные методы (продолжение)
- •1.2.1. Градиентный метод с дроблением шага.
- •1.2.2. Метод наискорейшего спуска.
- •Без доказательства
- •1.2.3. Масштабирование
- •1.3. Метод Ньютона.
- •1.4. Многошаговые ( двухшаговые ) методы.
- •1.3.1. Метод тяжелого шарика
- •1.3.2. Метод сопряженных градиентов
- •1.3.3. Модификация Полака-Ривьера
- •1.5. Квазиньютоновские методы
- •1.6. Методы нулевого порядка (методы прямого поиска)
- •1.6.1. Методы аппроксимации
- •Метод покоординатного спуска
- •1.6.3. Метод симплексов (Нелдера-Мида)
- •1.6.4. Метод Пауэлла (сопряженных направлений)
- •1.7. Методы прямого поиска в задачах одномерной минимизации.
- •1.7.1. Метод квадратичной интерполяции.
- •1.7.2. Метод дихотомии ( половинного деления.).
- •1.7.3. Метод «золотого» сечения.
- •1.7.4. Метод Фибоначчи.
- •2. Условная минимизация.
- •2.1 Задача нелинейного программирования.
- •2.1.1. Ограничения типа равенства.
- •2.1.2. Ограничения типа неравенств.
- •2.2. Задача выпуклого программирования
- •2.3. Методы условной минимизации.
- •2.3.1. Метод проекции градиента.
- •2.3.2. Метод условного градиента.
- •2.3.3. Метод модифицированной функции Лагранжа.
- •2.3.4. Метод штрафных функций.
- •2.4. Двойственность звп
- •2.4.1. Двойственность злп
- •3. Линейное программирование
- •3.1. Основные понятия
- •3.2. Геометрическая интерпретация злп.
- •3.3. Условие оптимальности для злп.
- •3.4. Базис и базисное решение.
- •3.5. Симплекс - метод решения злп.
- •3.6 Транспортная задача
- •3.5.1. Построение первоначального опорного плана.
- •3.5.2. Построение оптимального плана. Метод потенциалов.
- •4. Решение переборных задач.
- •4.1. Метод ветвей и границ.
- •4.1.1. Задача о коммивояжере.
- •4.2. Динамическое программирование.
- •4.2.1. Абстрактная схема.
- •4.2.2. Вывод уравнения Беллмана.
- •4.2.3. Методика применения функции Беллмана для решения исходной задачи.
- •4.2.4. Примеры задач динамического программирования
- •5. Вариационное исчисление (ви)
- •5.1. Уравнение Эйлера-Лагранжа.
- •5.1.1. Частные случаи уравнения Эйлера-Лагранжа.
- •5.1.2. Задача о брахистохроне.
- •5.2. Вариационные задачи на условный экстремум.
- •5.2.1. Модельные задачи на условный экстремум.
- •6. Принцип максимума Понтрягина ( на примере задачи оптимального управления ).
- •6.1. Принцип максимума в задаче о быстродействии.
- •Список литературы
2.2. Задача выпуклого программирования
Рассмотрим задачу поиска минимума функции f на допустимом множестве X.
X=xRn,gi(x)0,i=1...m,fи всеgii-
выпуклы.
Утверждение:
Допустимое множество в задаче выпуклого программирования (ЗВП) выпукло.
Доказательство:
Пусть x1,x2X,0,1
Рассмотрим
z=x1+(1-)x2X.
Так какRn– выпукло, тоzRn.
Надо проверитьgi(z)
0.
Воспользуемся свойством выпуклости gi :
gi(x1+(1-)x2)
gi (x1)
+ (1-
)
gi(x2)
0
тогда
x1+(1-
)x2
X(см. определениеX), но
рассматривается только отдельнаяgi.
Все допустимое множество Xрассматривается как пересечение выпуклых
множествXвыпукло.
Определение :
Функцией Лагранжа в ЗВП называется функция
f(x)+f(x) + (
,g(x)),
где
i
0.
Справедлива теорема Каруша-Джона:
f(x)+=0,
i
gi(x*)
= 0,i=1..m
В
случае выпуклости множества X
условие линейной независимости векторов
gi(x),
соответствующее активным ограничениям,
можно заменить более просто проверяемыми,
а именно, так называемыми условиями
регулярности.
Существуют различные условия регулярности ограничений:
А)
если для любого i
(1
i
m)
существует такая точка xi
X
: gi
(xi)
0,
то говорят, что множество X
удовлетворяет
условию регулярности.
Б) условие регулярности Слейтера:
Существует
точка xX
такая, что для всех i=1...m
gi(x)0.
Легко
доказать эквивалентность условий А и
Б . Очевидно, что из Б следует А. Пусть
теперь выполняется А. Выберем x
=,
=1,
0,
i=1...m
это
возможно, так как X
выпукло. Тогда Б следует из неравенства
Иенсена.
Замечание:
Условие регулярности означает, что допустимое множество имеет внутреннюю точку (то есть оно не вырождено в точку)
Определение:
Пусть
существует функция (x,y),
точка (x
,y
)
называется седловой точкой функции
,
если выполняется следующее неравенство:
(x
,y)
(x
,y
)
(x,y
)
Теорема (о седловой точке):
Пусть функция Лагранжа ЗВП имеет седловую точку, то есть
f(x)+
f(x
)+
f (x)+
для любого xRn, i 0, i =1...m
тогда x*- оптимальная точка ЗВП.
Доказательство:
Из левого неравенства следует:
,i*
0,
gi(x*)
0
(см. определение X)
Так
как -любое,
то при
=0
получится:
0(*
,
g(x*))=0.
Из правого неравенства имеем:
f(x*)+0
f(x)+
f(x)
x
X
Тогда по определению оптимальной точки x* оптимальна.
Теорема Куна-Таккера:
Пусть в ЗВП выполнено условие регулярности Слейтера. Тогда для того, чтобы x* была оптимальной точкой ЗВП, необходимо и достаточно, чтобы для некоторого вектора* с неотрицательными компонентами точка (x*,*) была седловой точкой функции Лагранжа, то есть
,где
Если на xналожены ограничения (x0), то :
Доказательство:
Достаточность следует из теоремы о седловой точке.
Необходимость - без доказательства.
2.3. Методы условной минимизации.
Рассматривается задача поиска минимума функции f на допустимом множестве X.
X=xRn,gi(x)0,i=1...m,fи всеgii-
выпуклы.
2.3.1. Метод проекции градиента.
Этот метод является обобщением градиентного метода. Так как возможен выход за пределы допустимого множества, то вводится операция проектирования на X(поиск ближайшей точки наX).
xk+1=px(xk-f(xk)), гдеpxпроектор наX.
Пример:
Если X- круг, то проекция точки наXесть точка пересечения окружности и прямой, соединяющей центр и проектирующую точку. Чем сложнее областьX, тем сложнее операция проектирования.
Метод обладает теми же свойствами, что и градиентный метод с постоянным шагом.