1.2.2. Метод Ньютону

У методі Ньютону послідовність точок спуску визначається формулою (6). Для поточної точки x_k напрямок і величина спуску визначається вектором . Хоч у визначенні вектору p_k фігурує обернена до H(x_k) матриця , на практиці немає необхідності обчислювати останню, оскільки напрямок спуску p_k можливо знайти як розв’язок системи лінійних рівнянь

(7)

яким-небудь із методів.

С хема алгоритму методу Ньютону.

Крок 1.

На першій ітерації, при k=0, задаються:

x₀ — початкове наближення;

ε — умова зупинки.

Обчислюються градієнт і матриця .

Крок 2.

Визначається напрямок спуску p_k, як розв'язання системи лінійних рівнянь

(наприклад, методом виключення Гаусу).

Крок 3.

Визначається наступна точка спуску:

.

Крок 4.

Обчислюються в цій точці x_k+1 градієнт f '(x_k+1) і матриця f ''(x_k+1).

К

~

рок 5.

Якщо , то пошук на цьому закінчується й покладається

.

Інакше k=k+1 і перехід до кроку 2.

Особливістю методу Ньютону є те, що для квадратичної цільової функції він знаходить мінімум за один крок, незалежно від початкового наближення x₀ і ступеня яружності.

У загальному випадку, коли функція, що мінімізується, не квадратична, вектор не вказує в точку її мінімумі, однак має велику складову вздовж осі яру та значно ближче до напрямку на мінімум, ніж антиградієнт. Цим і пояснюється вища збіжність методу Ньютону в порівнянні з градієнтними методами при мінімізації яружних цільових функцій.

Недоліками методу Ньютону є те, що він, по-перше, вимагає обчислення других похідних і, по-друге, може розходитися, якщо початкове наближення перебуває занадто далеко від мінімуму.

Рис. 

1. Алгоритм методу Ньютону для випадку n=2.

1.2.3. Методи з регулюванням кроку (методи Ньютону-Рафсона).

Вдалий вибір початкового наближення x₀ гарантує збіжність методу Ньютону. Однак відшукання вдалого початкового наближення — далеко не проста задача. Тому необхідно якось змінити формулу (4), щоб домогтися збіжності незалежно від початкового наближення. Доведено, що в деяких припущеннях для цього досить у методі Ньютону крім напрямку руху обирають і довжину кроку вздовж нього. Такі алгоритми називаються методами Ньютону з регулюванням кроку (методами Ньютону-Рафсона) та виглядають так:

.

(8)

Як і в градієнтних методах величина _k вибирається так, щоб забезпечити спадання цільової функції на кожній ітерації. Ми розглянемо два способи вибору кроку _k. Перший з них пов'язаний з перевіркою нерівності

,

(9)

де  — напрямок спуску, а 0<<½ — деяке задане число, загальне для всіх ітерацій. Якщо ця нерівність виконується при _k=1, то крок приймається рівним одиниці та виконується наступна ітерація. Якщо ні — ділиться доти, поки воно не виконається.

А лгоритм методу Ньютону-Рафсона з дробленням кроку.

Крок 1.

На першій ітерації, при k=0, задаються

x_0,

,

ε_.

Обчислюються значення градієнта і матриця .

Крок 2.

Привласнюється =1. Визначається напрямок спуску p_k як розв'язання системи лінійних рівнянь .

Крок 3.

Перевіряється умова

.

Якщо виконується, то перехід до кроку 4.

Інакше дробимо значення кроку α (наприклад, α=α/2) і повторюємо крок 3.

Крок 4.

Визначається наступна точка:

.

К

~

~

рок 5.

Обчислюються значення градієнта f '(x_k+1) в точці x_k+1.

Крок 6.

Якщо , то пошук на цьому закінчується й покладається

.

Інакше k=k+1 і перехід до кроку 2.

Другий метод визначення кроку _k у схемі (6), як і в методі найшвидшого спуску полягає в мінімізації функції

.

 ≥ 0