4. Метод сопряжённых направлений Пауэлла

4.1 Описание алгоритма

Метод ориентирован на решение задач с квадратичными целевыми функциями. Основная идея алгоритма заключается в том, что если квадратичная функция:

приводится к виду сумма полных квадратов

то процедура нахождения оптимального решения сводится к одномерным поискам по преобразованным координатным направлениям.

В методе Пауэлла поиск реализуется в виде:

вдоль направлений , , называемых -сопряженными при линейной независимости этих направлений.

Сопряженные направления определяются алгоритмически. Для нахождения экстремума квадратичной функции переменных необходимо выполнить одномерных поисков.

4.2 Алгоритм метода

Шаг 1. Задать исходные точки , и направление . В частности, направление может совпадать с направлением координатной оси;

Шаг 2. Произвести одномерный поиск из точки в направлении получить точку , являющуюся точкой экстремума на заданном направлении;

Шаг 3. Произвести одномерный поиск из точки в направлении получить точку ;

Шаг 4. Вычислить направление ;

Шаг 5. Провести одномерный поиск из точки (либо ) в направлении c выводом в точку .

4.3 Нахождение минимума целевой функции методом сопряжённых направлений Пауэлла.

Исходные данные:

- начальная точка

1. , .

1. Найдем значение , при котором минимизируется в направлении :

Откуда ; .

Значение функции в этой точке: ;

Продифференцируем полученное выражение по , получим:

. Приравняв его к нулю, находим ;

Получили

2. Аналогично находим значение минимизирующее функцию в направлении :

Откуда ; .

Значение функции в этой точке: ;

Продифференцируем полученное выражение по , получим:

. Приравняв его к нулю, находим ;

Получили

3. Найдем значение минимизирующее :

Откуда ; .

Значение функции в этой точке: ;

Продифференцируем полученное выражение по , получим:

. Приравняв его к нулю, находим ;

Получили

3. 

4. Найдем такое значение , при котором минимизируется в направлении .

Откуда ; .

Значение функции в этой точке: ;

Продифференцируем полученное выражение по , получим:

. Приравняв его к нулю, находим ;

Получили

Таким образом, получили точку , значение функции в которой равно , что совпадает со стационарной точкой

Рисунок 4. Графическое пояснение метода сопряженных направлений Пауэлла

5. Метод Коши

5.1 Описание алгоритма

В методе Коши или методе наискорейшего спуска в качестве направления поиска выбирается направление антиградиента.

- градиент функции

Алгоритм метода выглядит следующим образом:

, где - градиент.

Значение на каждой итерации вычисляется путем решения задачи одномерного поиска экстремума вдоль направления градиента . Если в качестве взять некоторое положительное число, то получится простейший градиентный алгоритм:

Одно из главных достоинств метода Коши является его устойчивость, так как всегда выполняется условие:

Однако вблизи экстремума скорость сходимости алгоритма становится недопустимо низкой, так как вблизи экстремума значение градиента стремится к нулю.

5.2 Нахождение минимума целевой функции методом Коши.

Исходные данные:

- начальная точка (начальное приближение)

Вычислим компоненты градиента:

Начальное приближение

1. Новое приближение определим по формуле:

Выбираем такое, чтобы минимизировать функцию

2. Далее найдем точку:

3. Далее найдем точку:

4. Далее найдем точку:

После 4 итераций найдено достаточно точное значение минимума, при котором значение целевой функции в точке , .

Рисунок 5. Графическое пояснение метода Коши