6. Метод Ньютона

6.1Описание алгоритма

Этот метод использует информацию о вторых производных целевой функции. Эта информация появляется при квадратичной аппроксимации целевой функции, когда при её разложении в ряд Тейлора учитываются члены ряда до второго порядка включительно. Алгоритм метода выглядит следующим образом:

, где:

- гессиан (матрица Гессе)

В случае, когда гессиан положительно определён, направление по методу Ньютона оказывается направлением спуска.

6.2 Нахождение минимума целевой функции методом Ньютона.

Исходные данные:

- начальная точка;

;

Таким образом, точка минимума , значение функции в которой найдена за одну итерацию.

Рисунок 6. Графическое пояснение метода Ньютона

7. Метод сопряженных градиентов

7.1 Описание алгоритма

Данный метод обладает положительными свойствами методов Коши и Ньютона. Кроме того, этот метод использует информацию только о первых производных исследуемой функции. Метод сопряженных градиентов позволяет получить решение за шагов в -мерном пространстве и обладает квадратичной сходимостью. В основе метода лежит организация поиска вдоль сопряженных направлений, причем для получения сопряженных направлений используется квадратичная аппроксимация целевой функции и значения компонент градиента.

Операции аргумента проводятся по формуле:

Направление поиска на каждой итерации определяется с помощью формулы:

В этом случае направление будет -сопряжено со всеми ранее построенными направлениями поиска.

Если функция квадратичная, то для нахождения точки экстремума требуется определить таких направлений и провести поиски вдоль каждой прямой. Если не является квадратичной, то количество поисков возрастёт.

Используемые в методе формулы:

Изменение градиента при переходе от точки к точке :

Изменения аргумента:

Направление поиска:

, , .

(рекуррентная формула Флетчера-Ривса).

7.2 Нахождение минимума целевой функции методом сопряженных градиентов.

Исходные данные:

- начальная точка;

1. 

2. Поиск вдоль прямой:

3. Определим направление :

4. Поиск вдоль прямой:

Таким образом, решение (точка минимума) , значение функции в которой , получено в результате двух одномерных поисков, поскольку целевая функция квадратична.

Рисунок 7. Графическое пояснение метода сопряженных градиентов

8. Квазиньютоновский метод

8.1 Описание алгоритма

Данный метод обладает положительными чертами метода Ньютона, однако, использует информацию только о первых производных. В этом методе приближение к очередной точке в пространстве оптимизируемых параметров задается формулой:

Направление поиска определяется выражением:

, где - матрица порядка (метрика).

Матрица - вычисляется по формуле.

, где:

(1)

Где изменение градиента на предыдущем шаге.

Данный алгоритм отличается устойчивостью, так как обеспечивает убывание целевой функции от итерации к итерации.

8.2 Нахождение минимума целевой функции квазиньютоновским методом:

Исходные данные:

- начальная точка;

Положим

2. Поиск вдоль прямой:

3. 

4. Поиск вдоль прямой:

Таким образом, решение (точка минимума) , значение функции в которой , найдена за одну итерацию.

Рисунок 8. Графическое пояснение квазиньютоновского метода

9. Простейший градиентный метод

   1. Описание алгоритма

Если в качестве α^(k) в выражении принять некоторое положительное исло, получим процедуру простейшего градиентного метода, для которого текущее приближение к точке минимума описывается следующей формулой:

Построение последовательности приближений к решению заканчивается в точке , для которой , где - заданное число.

2. Алгоритм метода

Шаг 1. Определить:

начальную точку ;

параметр окончания поиска ;

;

Величину шага .

Шаг 2. Определить значение градиента в точке .

Шаг 3. Проверить условие окончания поиска ?

Да: поиск закончен .

Нет: перейти к шагу 4.

Шаг 4. Вычислить новое приближение к решению .

Шаг 5. Проверить выполняется ли неравенство ?

Да: поиск закончен .

Нет: , перейти к шагу 2.

3. Нахождение минимума целевой функции простейшим градиентным методом

Исходные данные

1. - начальная точка;

;

;

.

1 итерация

2 итерация

3 итерация

4 итерация

5 итерация

6 итерация

7 итерация

8 итерация

9 итерация

10 итерация

11 итерация

12 итерация

Таким образом, точка минимума , значение функции в которой , найдена за 12 итераций

Рисунок 9. Графическое пояснение простейшего градиентного метода