Шпоры по методам оптимизации / шпора
.docЗадача многомерной безусловной оптимизации формулируется в виде:
min f(x),
xX
где x={x(1), x(2),…, x(n)} – точка в n-мерном пространстве X=IRn, то есть целевая функция f(x)=f(x(1),…,f(x(n)) – функция n аргументов.
Т. Необх-ое условие min 1-го порядка
стационарная X*
Т. Необходимое условие 2-го порядка
Т. Необходимое условие 2-го порядка
Х* - стационарная точка
Квадратичная форма записи
Достаточное условие 2-го порядка
Х* - стационарная точка
необх. условие
Х* - стацю точка
достат. условие
Х* - стацю точка
Вычислительные методы нахождения min в многомерном случае
(прямые методы)
первого значения f(x)
1-го порядка f(x), и df/d(x)(1)
2-го порядка – f(x), (df/dx)*(x), (d2f/dxdx)(x)
Методы нулевого порядка
усл-е ______: h≤ε
Метод симплекса
Метод деформируемого симплекса
Градиентные методы
Хк
приращение
Общая схема
Градиент всегда _|_ линии уровня
- скаляр. пр-ие
Д-во:
Пусть мы выбрали направ-е (м.б. не совпадающее с напр-ем f ’(x))
Тогда
Нужно найти
Скалярное пр-ие:
-f ’(x) – антиградиент
Метод с дроблением шага
опр-я век-ра
Т. || Если ф-ия f(x) удовл-ет усл-ю для любых 2-х точек (x1,x2):
усл-е ___________
то α м. не дробить :
Без доказательства
Метод наискорейшего спуска
св-во метода:
Т. || о сходимости градиентных методов ||
Если f(x) удовл-ет усл-ю Липшица ,
тогда для любого Х0 обл-т св-вом
Методы покоординатного спуска
замечание: это тоже методы 1-го порядка!
Методы Ньютона(м-ды 2-го порядка)
Общая схема: