2.3. Метод сопряженных направлений Пауэлла
Описание алгоритма:
Метод ориентирован на решение задач с квадратичными целевыми функциями. Основная идея алгоритма заключается в том, что если квадратичная функция:
приводится к виду сумма полных квадратов
то процедура нахождения оптимального решения сводится к одномерным поискам по преобразованным координатным направлениям.
В методе Пауэлла поиск реализуется в виде:
вдоль
направлений
,
,
называемых
-сопряженными
при линейной независимости этих
направлений.
Сопряженные
направления определяются алгоритмически.
Для нахождения экстремума квадратичной
функции
переменных необходимо выполнить
одномерных поисков.
Алгоритм метода:
Шаг
1. Задать исходные точки
,
и направление
.
В частности, направление
может совпадать с направлением
координатной оси;
Шаг
2. Произвести одномерный поиск из точки
в направлении
получить точку
,
являющуюся точкой экстремума на заданном
направлении;
Шаг
3. Произвести одномерный поиск из точки
в направлении
получить точку
;
Шаг
4. Вычислить направление
;
Шаг
5. Провести одномерный поиск из точки
(либо
)
в направлении
с выводом в точку
.
Ход решения:
Исходные данные:
Шаг 1.
- начальная точка
Шаг 2.
а)
Найдем значение
,
при котором
минимизируется в направлении
:
Откуда
;
Значение
функции в этой точке:
;
Продифференцируем полученное выражение по , получим:
.
Приравняв его к нулю, находим
;
Получили
б) Аналогично находим значение минимизирующее функцию
в
направлении
:
Откуда
;
.
Значение
функции в этой точке:
;
Продифференцируем полученное выражение по , получим:
.
Приравняв его к нулю, находим
;
Получили
в)
Найдем значение
минимизирующее
:
Откуда
;
.
Значение
функции в этой точке:
;
Продифференцируем полученное выражение по , получим:
.
Приравняв его к нулю, находим
;
Получили
Шаг
3.
Шаг4.
Найдем такое значение
,
при котором
минимизируется в направлении
.
Откуда
;
.
Значение
функции в этой точке:
;
Продифференцируем
полученное выражение по
,
и приравняем его к нулю, находим
;
Получили
Таким
образом, получили точку
,
значение функции в которой равно
,
что максимально приближено к стационарной
точке.
рис.4 Графическое пояснение метода сопряженных направлений Пауэлла
3.Нахождение безусловного экстремума градиентными методами
В отличии от методов прямого поиска градиентные методы поиска используют информацию о производных функции. Это позволяет уменьшить
количество необходимых вычислений значений функции. Эти методы делятся на две группы: методы, использующие информацию только о первых производных , и методы, учитывающие информацию и первых, и вторых производных.