Добавил:

Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Южно-Уральский Государственный Университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

Методы безусловной оптимизации.rtf

Скачиваний:

Добавлен:

01.07.2025

Размер:

7 Мб

Скачать

☆

<<< < Предыдущая 1 2 3 4 5 6 7 8 9 10 11 1213 / 1313

2.9. Метод Ньютона

Метод Ньютона использует информацию о производных первого и второго порядка. Поэтому он относится к градиентным методам второго порядка.

Метод Ньютона для функции многих переменных является обобщением метода Ньютона для одномерного случая (разд. 1.8)

Пусть дана дважды непрерывно дифференцируемая функция n переменных f(x) = f(x₁, x₂, … ,x_n) и начальная точка x⁽⁰⁾ = (x , x , … , x )^T.

Разложим функцию f(x) в ряд Тейлора в точке x⁽⁰⁾ как функцию многих переменных и ограничимся тремя членами:

f(x)=f(x⁽⁰⁾) + (2.28)

Пусть x⁽^m⁾ приближенное значение точки минимума, полученное на m-ом шаге итерационного процесса. Разложение (2.28) будет иметь место и для точки x⁽^m⁾, а именно

f(x)=f(x⁽^m⁾)+ (2.29)

или в векторной форме

f(x)  f(x⁽^m⁾) + (g(x⁽^m⁾), (x – x⁽^m⁾) + (G(x⁽^m⁾)(x – x⁽^m⁾), (x – x⁽^m⁾)), (2.30)

где G(x⁽^m⁾) – матрица Гессе (матрица вторых производных) функции f(x) в точке x⁽^m⁾.

Из соотношения (2.29) видно, что в окрестности точки x⁽^m⁾ поведение функции f(x) может быть приближенно описано квадратичной функцией с точностью до величины порядка o(||x – x⁽^m⁾||)²

Необходимое условие минимума – равенство нулю в точке минимума первой производной функции f(x), т. е.

f ^'(x)  g(x⁽^m⁾)+ G(x⁽^m⁾)(x – x⁽^m⁾) = 0. (2.31)

Умножим (2.31) на G^–1(x⁽^m⁾):

G^–1(x⁽^m⁾)g(x⁽^m⁾)+ (x – x⁽^m⁾) = 0.

Следовательно,

x = x⁽^m⁾ – G^–1(x⁽^m⁾)g(x⁽^m⁾).

Пусть точка минимума x^*x⁽^m⁺¹⁾. Тогда

x⁽^m⁺¹⁾ = x⁽^m⁾ – G^–1(x⁽^m⁾)g(x⁽^m⁾). (2.32)

Формула (2.32) является расчетной формулой метода Ньютона.

Для квадратичной функции матрица Гессе есть матрица квадратичной формы, равенство (2.31) является точным, и решение (точка минимума) находится за одну итерацию. В общем случае метод Ньютона обеспечивает , как правило, быструю сходимость. Недостатком метода Ньютона является необходимость на каждой итерации вычисления матрицы Гессе и обратной к ней матрицы. Кроме того, если начальная точка выбрана недостаточно близко к точке минимума x^*, то последовательность x⁽⁰⁾, x⁽¹⁾, …, x⁽^m⁾, … может расходиться. Для избежания подобной ситуации используется обобщенный метод Ньютона, со следующей расчетной формулой:

x⁽^m⁺¹⁾ = x⁽^m⁾ – ⁽^m⁾G^–1(x⁽^m⁾)g(x⁽^m⁾). (2.33)

Формула (2.33) есть расчетная формула метода спуска (см. формулу (2.18)) с направлением в точке x⁽^m⁾, определяемым вектором p⁽^m⁾ = G^–1(x⁽^m⁾)g(x⁽^m⁾), и с шагом ⁽^m⁾.

Величина шага ⁽^m⁾ может быть выбрана из условия одномерной минимизации функции ⁽^m⁾() = f(x⁽^m⁾ – ⁽^m⁾G^–1(x⁽^m⁾)g(x⁽^m⁾).

Формулу (2.32) также можно рассматривать как формулу спуска с шагом ⁽^m⁾= 1.

Опишем теперь алгоритм метода Ньютона.

Алгоритм 2.6 (Алгоритм метода Ньютона).

Шаг 1. Выбрать произвольную начальную точку x⁽⁰⁾ = (x , x , … , x )^T, например, x⁽⁰⁾= (0, 0, … , 0)^T и погрешность вычислений  > 0.

В цикле по m =0, …, пока не будет выполнен критерий окончания вычислений,

Шаг 2. Вычислить g(x⁽^m⁾)и G(x⁽^m⁾).

Шаг 3. Вычислить G^–1(x⁽^m⁾).

Шаг 4. Вычислить x⁽^m⁺¹⁾ = x⁽^m⁾ – G^–1(x⁽^m⁾)g(x⁽^m⁾).

Вычисления продолжить до тех пор, пока не будет выполнен критерий окончания вычислений:

x⁽^m⁺¹⁾ – x⁽^m⁾ = <  ,

или

f(x⁽^m⁺¹⁾) – f(x⁽^m⁾) < .

Если критерий окончания вычислений выполнен, то положить x^* = x⁽^m⁺¹⁾, f^* = f(x^*) и закончить вычисления.

В случае, когда f(x) – квадратичная функция, матрица Гессе есть матрица квадратичной формы и не зависит от x (G(x⁽^m⁾) = A). Для этого случая получим следующий алгоритм.

Алгоритм 2.7 (Алгоритм метода Ньютона для квадратичной функции).

Шаг 1. Для квадратичной функции f(x) = + +с ввести матрицу A =(a_ij), вектор b = (b₁, b₂, … , b_n)^T и коэффициент c, i = 1, … , n; j = 1, … , n. Выбрать произвольную начальную точку x = (x₁, x₂, … , x_n)^T, например, x= (0, 0, … , 0)^T и погрешность вычислений  > 0.