- •5. Поисковая минимизация
- •5.1.Метод покоординатного спуска Гаусса-Зейделя (Gauss - Seidel)
- •5.2.Метод конфигураций Хука – Дживса (Hooke - Jeeves)
- •7. Градиентные методы
- •7.1.Градиентный метод
- •7.1.1.Итерационная схема метода
- •7.1.2.Основные модификации метода
- •7.2.Оптимальный градиентный метод
- •7.2.1.Итерационная схема метода
- •7.2.2.Анализ сходимости метода
- •7.2.3.Траектория поиска
- •7.2.4.Выводы
- •7.4.Метод сопряженных градиентов
- •7.4.1.Оценивание направления поиска
- •7.4.2.Оценивание шага
- •7.4.3.Основные соотношения метода сопряженных градиентов Флетчера-Ривса
- •7.4.6.Траектория поиска и некоторые выводы
- •7.4.7.Модификации метода сопряжённых градиентов
- •8. Ньютоновские методы
- •8.1.Методы Ньютона и Ньютона-Рафсона
- •8.2.Скорость сходимости методов Ньютона и Ньютона - Рафсона
- •8.3.Модификации методов Ньютона и Ньютона – Рафсона
- •8.4.Некоторые результаты и выводы
- •10. Методы штрафных и барьерных функций
- •10.1.Методы преобразования
- •10.2.Условия Куна - Таккера
- •10.3.Барьерные функции
- •10.3.1.Функция барьера
- •10.3.2.Сходимость методов барьерных функций
- •10.3.5.Многократная безусловная минимизация
- •10.3.6.Проблемы применения барьерных методов
- •10.4.Штрафные функции
5.2.Метод конфигураций Хука – Дживса (Hooke - Jeeves)
Стратегия метода конфигураций предполагает циклическое повторение двух этапов поиска:
исследующего поиска вокруг базисной точки;
ускоряющего поиска по образцу в направлении минимизации .
Выполнение
метода начинается с выбора начальной
базисной
точки
,
длины шага
и параметра критерия окончания поиска
.
В
процессе первого цикла
шагового
исследующего
поиска (Рис.5.3)
генерируются и отбираются точки
при
этом на
м
шаге на
изменяется только
я
координата вектора
и из координатных значений
выбирается такое, при котором оценка
минимальна.
Так,
на первом шаге используется точка
,
у которой варьируется первая координата
(5.2.1)
Рис.5.3.
На
втором шаге используется точка
,
у которой варьируется вторая координата
(5.2.2)
Аналогично,
на
шаге используется точка
,
у которой варьируется
координата
(5.2.3)
Таким
образом, в результате
кратного
применения правила выбора соответствующей
координаты вектора
,
получаем последовательность точек
,
которым отвечают, по крайней мере,
невозрастающие оценки функции, а именно
(5.2.4)
Обозначим
новую точку
через
и констатируем, что в результате
исследующего
поиска
получена новая базисная
точка.
Пара
базисных
точек
определяет первую
конфигурацию.
Дальнейший поиск, называемый поиском по образцу, основан на ключевой гипотезе локального характера:
направления поиска из предыдущей и новой базисных точек совпадают.
Опираясь
на эту гипотезу, откажемся от исследующего
поиска
вокруг новой базисной
точки
и продвинемся из базисной
точки
в направлении
на двойную длину вектора
.
Это движение определит вершину первой конфигурации
(5.2.5)
В
процессе второго цикла положим
и с центром в точке x
проведём второй исследующий
поиск,
который завершается нахождением
координат второй базисной
точки.
Поиск
по образцу
на основе пары базисных
точек
приведет к вершине
второй конфигурации
.
(5.2.6)
Циклический
процесс генерации
базисных точек
следует продолжать вплоть до
шага, на котором впервые выполнится
равенство
,
(5.2.7)
означающее
либо нахождение минимума
,
либо продолжение поиска, но уже с
уменьшенными значениями
,
например, по формуле
,
.
Для разрешения этой ситуации в методе используется критерий окончания поиска
.
(5.2.8)
Выполнение критерия означает достижение покоординатной - сходимости процесса минимизации и окончание поиска.
В
противном случае, вокруг предпоследней
базисной точки
проводится исследующий
поиск
с уменьшенными значениями
,
,
определяется новая базисная
точка,
производится поиск
по образцу,
затем определяется вершина
новой конфигурации
и т.д.
Схематически метод Хука - Дживса можно представить в виде (Рис.5.4)
Рис.5.4.
В верхней части рис.5.4 приведены последовательные точки , генерируемые методом за один шаговый цикл. В нижней части - критерий окончания поиска (5.2.8), а также условие и операции, необходимые для перехода к новому циклическому поиску, поиску по образцу и т.д.
Приложения.
Считается, что метод хорошо приспособлен для моделирования кривых методом наименьших квадратов. В частности, метод был применён для оценки параметров нелинейных уравнений термодинамики и кинетики по результатам эксперимента (Химмельблау), для оптимизации химических процессов (Блюм), моделирования потока нейтронов в ядерном реакторе (Хук - Дживс) и т. д.
