- •Д. Р. Воденин Численные методы оптимизации Учебно-методическое пособие
- •Оглавление
- •Глава 1. Одномерная оптимизация 14
- •Глава 2. Многомерная оптимизация без ограничений 25
- •Глава 3. Многомерная оптимизация с ограничениями 43
- •Глава 1. Одномерная оптимизация
- •Основные понятия
- •Классический подход
- •Метод деления отрезка пополам.
- •Метод золотого сечения
- •Метод Фибоначчи.
- •Симметричные методы
- •Метод Ньютона.
- •Глава 2. Многомерная оптимизация без ограничений
- •Основные понятия
- •Классический подход.
- •Классификация численных методов поиска экстремума функции нескольких переменных без ограничений
- •Метод покоординатного спуска
- •1. Задать: начальную точку ;точность ;шаги по координатам
- •Метод Хука и Дживса(метод конфигураций)
- •1.Задать: начальную точку ;точность ;шаги по координатам
- •2.Осуществить исследовательский поиск
- •4. Провести поиск по образцу.
- •Метод наискорейшего спуска
- •1.Задать: начальную точку ;точность ;
- •Метод Флетчера-Ривса
- •1.Задать: начальную точку ;точность ; ;
- •Эвристический выбор начального интервала одномерной минимизации
- •Алгоритм
- •Вычислить функцию в трех точках ;
- •Проверить условие окончания:
- •Метод Давидона-Флетчера-Пауэлла
- •1.Задать: начальную точку ;точность ; ;
- •Методы Ньютона и Ньютона-Рафсона.
- •1.Задать: начальную точку ;точность ; ;
- •1. Задать: начальную точку ;точность ; ;
- •О методе наименьших квадратов
- •Глава 3. Многомерная оптимизация с ограничениями
- •Классическая задача на условный экстремум
- •Нелинейное программирование
- •Классификация численных методов многомерной оптимизации при наличии ограничений
- •Метод внешних штрафных функций
- •Алгоритм
- •1.Задать: начальную точку ;точность ; ; ;
- •Замечания
- •Метод барьерных функций
- •Алгоритм
- •1.Задать: начальную точку внутри области ;точность ; ; ; ;
- •Замечания
- •Комбинированный метод штрафных функций
- •Алгоритм
- •Замечания
- •4. Справедливы замечания для внешних штрафных функций и для барьерных функций.
- •Алгоритм
- •1. Задать: начальную точку точность ; ; ; ; ит начальные значения параметра
- •Замечания
- •Метод точных штрафных функций
- •Алгоритм
- •Замечания
- •Метод проекции градиента
- •Алгоритм
- •1. Задать: начальную точку ; точность ; ;
- •Замечания
- •Литература
Метод золотого сечения
Будем считать, что функция определена и унимодальна на отрезке . Пусть требуемая точность вычислений.
Как известно, золотым сечением отрезка называется деление отрезка на две неравные части так, чтобы отношение длины всего отрезка к длине большей части равнялось отношению длины большей части к длине меньшей части отрезка.
Обозначим
точку, делящую отрезок
в отношении золотого сечения через
.
Тогда
(1.9)
.
Так как
-посторонний
корень.
Получаем
(1.10)
Очевидно, что точка
,
у которой
также делит отрезок
в отношении золотого
сечения.
(1.11)
(1.12)
(1.13)
Замечательно то, что
точка
в свою очередь
делит отрезок
в отношении золотого сечения. Так как
и
.
Аналогично точка
делит отрезок
в отношении золотого сечения. Опираясь
на эти свойства, можно предложить
следующий метод минимизации унимодальной
функции
на отрезке
.
Положим
На отрезке
.возьмем
точки
,
производящие золотое сечение отрезка,
и вычислим
Если
то
иначе
Поскольку функция
унимодальна на отрезке
Ø.
Кроме того
и при этом внутри отрезка
находится точка
,
которая производит
золотое сечение отрезка
.
Предположим, что уже
найдены точки
,
вычислены значения функции
,
найден отрезок
,
такой, что
Ø
(1.14)
и известна точка
производящая
золотое сечение отрезка
.
Тогда в качестве
следующей точки возьмем точку
также производящую
золотое сечение отрезка
.
Пусть для определенности
.
(Случай
рассматривается
аналогично).
Если
то
иначе
Новый отрезок
таков, что
Ø,
,
(1.15)
точка
производит золотое
сечение отрезка
и
. (1.16)
Итак,
проводим описанную выше процедуру до
тех пор пока не будет выполнено неравенство
, где
- заданная точность.
После
этого в считаем, что
при этом максимальная абсолютная
погрешность
(1.17)
Метод Фибоначчи.
Для
реализации этого метода нам понадобятся
числа Фибоначчи. Напомним, что
.
Остальные числа Фибоначчи определяются
по формуле:
(1.18)
Будем
считать, что функция
определена и унимодальна на отрезке
.
Пусть
- параметр метода.
Положим
Находим точки.
(1.19)
(1.20)
(1.21)
На отрезке .возьмем точки , и вычислим
Если то иначе
Поскольку функция
унимодальна на отрезке
Ø.
Кроме того
и при этом внутри отрезка
находится точка
.
С помощью метода математической индукции можно показать, что на k-ом шаге (k<n), когда вычислены значения функции в точках
и получен отрезок
,его
длина будет
(1.22)
Причем точка
(
со значением
совпадает с одной
из точек:
(1.23)
(1.24)
Заметим,
что
;
.
Расположены
симметрично на отрезке
относительно его
середины.
Как видно из (1.23)
и (1.24)
при
точки
и
совпадают,
то есть
совпадают с серединой
отрезка
.
В заключение,
нарушая симметричность процесса,
вычислении
функции проводится в точке
(или точке
)
в зависимости от
того, что требует метод.
Последний отрезок таков, что Ø,
,
(1.25)
точка является внутренней точкой отрезка и . (1.26)
Следует подчеркнуть, что метод Фибоначчи для своей реализации требует, чтобы число n вычислений значений минимизируемой функции было задано заранее. Выбор первой точки в этом методе невозможен без знания n. В тех случаях, когда число n по каким-либо причинам не может быть задано заранее следует использовать метод золотого сечения.
Заметим, что
(1.27)
(1.28)
А, значит, при больших n начальные точки и методов Фибоначчи и золотого сечения практически совпадают.
