А лгоритм методу Ньютону-Рафсона з вибором оптимального кроку.

Крок 1.

При k=0, задаються

x₀,

ε_.

Обчислюються f '(x₀) і f ''(x₀).

Крок 2.

Визначення напрямку спуску p_k, як розв'язання системи лінійних рівнянь .

К

 ≥ 0

рок 3.

Визначається наступна точка спуску:

,

де  — розв'язання задачі одномірної оптимізації: min f(x_k +p_k).

Крок 4.

Обчислюються в точці x_k+1: f '(x_k+1) і f ''(x_k+1).

К

~

~

рок 5.

Якщо , то пошук закінчується й покладається

.

Інакше k=k+1 і перехід до кроку 2.

1.2.3. Модифікації методу Ньютону

Значні труднощі, що виникають при практичній реалізації методу Ньютону, пов'язані з необхідністю обчислити матрицю f ''(x). Ми розглянемо дві модифікації методу Ньютону, які використовують не точні значення, а деякі наближені аналоги матриці других похідних. У результаті зменшується трудомісткість методів, але, звичайно, погіршується їхня збіжність.

Як перша модифікація методу Ньютону розглянемо наступний алгоритм:

,

(10)

тут для побудови напрямку спуска використовується один раз обчислена й звернена матриця других похідних f ''(x₀).

С хема модифікації I методу Ньютону.

Крок 1.

При k=0, задаються

x₀,

ε_.

Обчислюються f '(x₀) і f ''(x₀).

Крок 2.

Визначення зворотної матриці (f ''(x₀))^–1.

Крок 3.

Визначення напрямку спуску p_k:

.

Крок 4.

Визначення наступної точки:

,

де  — розв'язання задачі одномірної мінімізації функції

.

К

~

~

рок 5.

Обчислення в точці x_k+1.градієнта f '(x_k+1)

Крок 6.

Якщо , то пошук закінчується й покладається

.

Інакше k=k+1 і перехід до кроку 3.

У розглянутій схемі для вибору кроку _k використовується спосіб аналогічний використовуваному в методі найшвидшого спуску. Але можна було б скористатися й способом аналогічним використовуваному в градієнтному методі з дробленням кроку.

Якщо матриця f ''(x) додатньо визначена, то ітераційний процес () є однією з модифікацій градієнтного спуску, незалежно від початкового наближення x₀.

Інша модифікація методу Ньютону пов'язана з відновленням матриці других похідних через певну кількість кроків. Формула обчислення чергової точки x_k+1, у цьому випадку, буде мати наступний вигляд:

,

.

Тут m>0 — ціле число, що визначає кількість кроків, через яке відбувається відновлення матриці других похідних f ''(x). Цей метод займає проміжне місце між методом Ньютону і його модифікацією I.

С хема модифікації II методу Ньютону.

Крок 1.

Задаються:

x₀,

ε,

m.

Приймається j=0 і k=0.

Обчислюється градієнт f '(x₀).

Крок 2.

Обчислюється (оновлюється) матриця f ''(x_jm) і обернена матриця .

Крок 3.

Визначення напрямку спуску p_jm+1:

.

Крок 4.

Визначення чергової точки x_jm+i+1:

,

де  — розв'язок задачі одномірної мінімізації функції

.

К

~

рок 5.

Обчислення в черговій точці x_jm+i+1.градієнта f '(x_jm+i+1)

Крок 6.

Якщо , то пошук закінчується та приймається

.

Інакше k=k+1 і перехід до кроку 7.

Крок 7.

Визначається i=i+1.

Якщо i=m, то j=j+1, i=0 і перехід до кроку 2 (тобто оновлюється матриця f ''(x)).

Інакше перехід до кроку 3 (тобто використовується матриця f ''(x), обчислена на одному з попередніх кроків).

2. Завдання на лабораторну роботу

1. Вивчити всі викладені методи багатомірної безумовної оптимізації.

2. Запрограмувати методи оптимізації у відповідності зі своїм варіантом.

Кожен метод повинен бути оформлений у вигляді окремої функції, що викликається з головної функції програми.

Всі параметри методів (границі проміжку невизначеності, різні граничні значення, точність розв’язання, вказівник на цільову функцію тощо) мають передаватись як аргументи відповідних функцій.

Передбачити для користувача можливість вибору виводу на екран проміжних результатів процесу пошуку або виводу тільки кінцевої відповіді.

3. Порівняти результати, отримані різними методами для однієї й тієї ж цільової функції, зокрема, це можуть бути наступні результати:

   1. кількість ітерацій, що знадобилась для досягнення заданої точності розв’язку;

   2. число обчислень цільової функції та її похідних, що знадобилися для одержання заданої точності;

   3. час виконання програм.

4. Для кожного застосованого методу побудувати траєкторію проміжних точок, одержуваних на чергових кроках методу й збіжних до точки мінімуму.

5. Оформити звіт про виконання завдання, що має містити:

   1. умову задачі;

   2. код програм зазначених у завданні методів оптимізації;

   3. графіки траєкторій проміжних наближень;

   4. таблиці результатів порівняння розглянутих методів;

   5. висновок за результатами порівняння методів.