- •Д. Р. Воденин Численные методы оптимизации Учебно-методическое пособие
- •Оглавление
- •Глава 1. Одномерная оптимизация 14
- •Глава 2. Многомерная оптимизация без ограничений 25
- •Глава 3. Многомерная оптимизация с ограничениями 43
- •Глава 1. Одномерная оптимизация
- •Основные понятия
- •Классический подход
- •Метод деления отрезка пополам.
- •Метод золотого сечения
- •Метод Фибоначчи.
- •Симметричные методы
- •Метод Ньютона.
- •Глава 2. Многомерная оптимизация без ограничений
- •Основные понятия
- •Классический подход.
- •Классификация численных методов поиска экстремума функции нескольких переменных без ограничений
- •Метод покоординатного спуска
- •1. Задать: начальную точку ;точность ;шаги по координатам
- •Метод Хука и Дживса(метод конфигураций)
- •1.Задать: начальную точку ;точность ;шаги по координатам
- •2.Осуществить исследовательский поиск
- •4. Провести поиск по образцу.
- •Метод наискорейшего спуска
- •1.Задать: начальную точку ;точность ;
- •Метод Флетчера-Ривса
- •1.Задать: начальную точку ;точность ; ;
- •Эвристический выбор начального интервала одномерной минимизации
- •Алгоритм
- •Вычислить функцию в трех точках ;
- •Проверить условие окончания:
- •Метод Давидона-Флетчера-Пауэлла
- •1.Задать: начальную точку ;точность ; ;
- •Методы Ньютона и Ньютона-Рафсона.
- •1.Задать: начальную точку ;точность ; ;
- •1. Задать: начальную точку ;точность ; ;
- •О методе наименьших квадратов
- •Глава 3. Многомерная оптимизация с ограничениями
- •Классическая задача на условный экстремум
- •Нелинейное программирование
- •Классификация численных методов многомерной оптимизации при наличии ограничений
- •Метод внешних штрафных функций
- •Алгоритм
- •1.Задать: начальную точку ;точность ; ; ;
- •Замечания
- •Метод барьерных функций
- •Алгоритм
- •1.Задать: начальную точку внутри области ;точность ; ; ; ;
- •Замечания
- •Комбинированный метод штрафных функций
- •Алгоритм
- •Замечания
- •4. Справедливы замечания для внешних штрафных функций и для барьерных функций.
- •Алгоритм
- •1. Задать: начальную точку точность ; ; ; ; ит начальные значения параметра
- •Замечания
- •Метод точных штрафных функций
- •Алгоритм
- •Замечания
- •Метод проекции градиента
- •Алгоритм
- •1. Задать: начальную точку ; точность ; ;
- •Замечания
- •Литература
Метод внешних штрафных функций
Будем
предполагать, что
дважды непрерывно дифференцируемая
функция. Рассмотрим задачу:
(3.5)
Рассмотрим вспомогательную функцию
- штрафная функция,
-
параметр. Наиболее часто используется
следующая штрафная функция:
/
(3.12)
Здесь
- срезка.
(3.13)
Штрафная функция обладает свойством:
,
если нарушаются ограничения.
Начальная
точка задается вне допустимой области.
На каждой итерации ищется точка
минимизирующую вспомогательную функцию
.
Полученная точка
используется в качестве начальной на
следующей итерации. При неограниченном
возрастании параметра
последовательность
стремится к точке условного минимума
.
Алгоритм
1.Задать: начальную точку ;точность ; ; ;
2. Составить вспомогательную функцию , где
3. Находим
точку
безусловного минимума функции
с помощью одного из методов безусловной
минимизации 0,1 или 2 порядка:
.
В качестве начальной выбирается точка , при этом должны быть заданы все начальные параметры соответствующего метода.
4. Проверяем условия окончания работы метода:
a) Если
,
то считаем, что найдено оптимальное
решение
;конец;
иначе
б)
Переход
на 2.
Теорема
18.
Пусть
единственное
решение задачи поиска условного минимума,
а функции
непрерывно дифференцируемы в
окрестности точки
.
Тогда для достаточно больших значений
найдется точка
локального минимума функции
в окрестности точки
и
.[1]
Замечания
1. В качестве начальных значений параметра обычно выбирают
;
2.
Поскольку сходимость метода обеспечивается
при
,
возникает вопрос, нельзя ли получить
решение, взяв сразу в качестве
достаточно
большое число. Однако, при таком подходе
функция
становится сильно овражной, и методы
безусловной оптимизации работаю слишком
медленно.
3. При решении задач процедура завершается при некотором конечном значении параметра . При этом приближенное решение, как правило, не лежит в области допустимых решений. Это один из недостатков метода. Именно поэтому метод и называют методом внешних штрафных функций.
4. Точка - точка локального минимума функции . Однако, функция может быть неограниченной снизу и процедуры методов безусловной минимизации могут расходиться. Это надо учитывать при реализации данного метода.
5. В методе внешних штрафных функций имеется тесная связь между значением параметров штрафа и множителями Лагранжа для регулярной точки минимума:
(3.14)
При этом
Метод барьерных функций
Будем предполагать, что дважды непрерывно дифференцируемая функция. Рассмотрим задачу:
(3.15)
Идея метода заключается в сведении задачи на условный минимум к решению последовательности задач поиска минимума вспомогательной функции:
,
Где штрафная функция, а параметр штрафа. Как правило, используются такие штрафные функции:
a)
- обратная штрафная функция.
б)
- логарифмическая штрафная функция.
Обе штрафные функции определены и непрерывны внутри множества
и стремятся к бесконечности при
приближении к границе.
Логарифмическая
штрафная функция положительна при
и отрицательна при
.
Начальная точка задается внутри множества . На каждой итерации ищется точка минимума вспомогательной функции с помощью одного из методов безусловной минимизации. Полученная точка
используется в качестве исходной на следующей итерации, при этом надо вести контроль, чтобы точки не вышли за пределы допустимого множества . Поэтому такие штрафные функции называют также барьерными.
