3.3. Метод сопряженных градиентов

Описание алгоритма:

Данный метод обладает положительными свойствами методов Коши и Ньютона. Кроме того, этот метод использует информацию только о первых производных исследуемой функции. Метод сопряженных градиентов позволяет получить решение за шагов в -мерном пространстве и обладает квадратичной сходимостью. В основе метода лежит организация поиска вдоль сопряженных направлений, причем для получения сопряженных направлений используется квадратичная аппроксимация целевой функции и значения компонент градиента.

Операции аргумента проводятся по формуле:

Направление поиска на каждой итерации определяется с помощью формулы:

В этом случае направление будет -сопряжено со всеми ранее построенными направлениями поиска.

Если функция квадратичная, то для нахождения точки экстремума требуется определить таких направлений и провести поиски вдоль каждой прямой. Если не является квадратичной, то количество поисков возрастёт.

Используемые в методе формулы:

Изменение градиента при переходе от точки к точке :

Изменения аргумента:

Направление поиска:

, , .

(рекуррентная формула Флетчера-Ривса).

Алгоритм метода:

Шаг 1. Задать: начальную точку х⁽⁰⁾. Перейти к шагу 2.

Шаг 2. Вычислить направление поиска. Произвести поиск вдоль прямой .

Шаг 3. Вычислено ли N-1 направлений.

Да: закончить поиск;

Нет: перейти к шагу 2.

Ход решения:

Исходные данные:

_{Шаг 1.}

- начальная точка;

Шаг 2.

Поиск вдоль прямой:

_{отсюда:} ; .

. Приравняв его к нулю, находим

Шаг 2.

Определим направление :

Поиск вдоль прямой:

_{отсюда:} ; .

. Приравняв его к нулю, находим

Таким образом, решение (точка минимума) , значение функции в которой , получено в результате двух одномерных поисков, поскольку целевая функция квадратична.

рис.7 Графическое пояснение метода сопряженных градиентов

3.4 Квазиньютоновский метод

Описание алгоритма:

Данный метод обладает положительными чертами метода Ньютона, однако, использует информацию только о первых производных. В этом методе приближение к очередной точке в пространстве оптимизируемых параметров задается формулой:

Направление поиска определяется выражением:

, где - матрица порядка (метрика).

Матрица - вычисляется по формуле.

, где:

Где изменение градиента на предыдущем шаге.

Данный алгоритм отличается устойчивостью, так как обеспечивает убывание целевой функции от итерации к итерации.

Алгоритм метода:

Шаг 1. Задать: начальную точку х⁽⁰⁾. Перейти к шагу 2.

Шаг 2. Вычислить направление поиска s^(k). Перейти к шагу 3.

Шаг 3. Произвести поиск вдоль прямой . Перейти

к шагу 4.

Шаг 4. Проверка условия окончания поиска.

Да: закончить поиск;

Нет: перейти к шагу2.

Ход решения:

Исходные данные:

- целевая функция;

Шаг 1.

- начальная точка;

Шаг 2.

Положим

Шаг 3.

Поиск вдоль прямой:

Шаг 2.

Шаг 3.

Поиск вдоль прямой:

Таким образом, точка минимума , значение функции в которой найдена за одну итерацию.

рис.8 Графическое пояснение квазиньютоновского метода