Лабораторна робота №10

Тема: " Методи мінімізації другого порядку."

(2 Години)

Ціль роботи: використовуючи метод Ньютона та модифікований метод Ньютона знайти мінімум функції.

Теоретичні відомості:

Н апрямок пошуку, що відповідає найшвидшому спуску, інтерпретується як наслідок лінійної апроксимації цільової функції. Методи другого порядку, що використовують інформацію про другі похідні, засновані на квадратичній апроксимації цільової функції.

На малюнку а) зображена апроксимація першого порядку (лінеаризація) функції f(x) у крапці - (найшвидший спуск); на малюнку б) – апроксимація другого порядку (квадратична) функції f(x) у крапці - метод Ньютона.

Метод Ньютона.

Розкладемо цільову функцію в ряд Тейлора, відкинемо всі члени розкладання третього порядку й вище – одержимо квадратичну апроксимацію f(x)

де f(x) - апроксимуюча функція змінної x у крапці .

Якщо - напрямок пошуку в методі Ньютона, тоді

Мінімум функції f(x) у напрямку визначається диференціюванням f(x) по кожному з компонентів і прирівнюванням отриманих виражень нулю

.

Звідки

,

де - матриця зворотна матриці Гесе в крапці .

Перехід із крапки в крапку визначається по методу Ньютона в такий спосіб:

.

Напрямки й величина кроку тут точно визначені. У задачі пошуку мінімуму довільної квадратичної функції з позитивно певною матрицею Гесе метод Ньютона дає рішення за одну ітерацію, причому незалежно від вибору початкової крапки. У випадку загальної нелінійної цільової функції метод Ньютона зійдеться до шуканої крапки квадратично при наступних умовах: матриця Гесе мінімізуємої функції в крапці повинна бути позитивно визначеної, початкова крапка повинна перебувати досить близько до. Тому що метод Ньютона заснований на квадратичній апроксимації, він має квадратичну швидкість збіжності, тобто виконується нерівність

,

де постійна З пов'язана з обумовленістю матриці Гесе. Алгоритм не має властивість убування значень цільової функції від ітерації до ітерації. Для того, щоб напрямок пошуку був напрямком спуска повинне виконуватися нерівність

.

Припустимо, що поточне наближення не є стаціонарною крапкою ( ), і знайдемо проекцію напрямку пошуку по методу Ньютона на напрямок, що задається градієнтом у крапці

.

У випадку, коли матриця Гесе позитивно визначена в крапці , ця умова виконується, отже, напрямок пошуку по методу Ньютона виявляється напрямком спуска. Якщо в деякій крапці негативно визначена, то даний напрямок є напрямком підйому. У випадку невизначеності матриці Гесе не можна зробити однозначний висновок. При мінімізації, коли всі власні значення позитивні (матриця позитивно визначена), локальна квадратична апроксимація відповідає круговій або еліптичній западині, що має мінімум. Якщо пари власних значень має протилежні знаки (матриця невизначена), квадратична апроксимація являє собою сідло, що не має локального мінімуму. У цьому випадку рух по напрямку пошуку по методу Ньютона приведе до сідлової крапки. Критерій, що гарантує збіжність методу Ньютона в припущенні, що функція f(x) двічі діференцуєма, полягає в тім, що матриця, зворотна матриці Гесе цільової функції повинна бути позитивно визначена.

Модифікований метод Ньютона.

Для неквадратичних функцій загального виду метод Ньютона не відрізняється надійністю. Збіжність методу дуже залежить від вибору початкової крапки . Якщо перебуває на значній відстані від шуканого мінімуму, крок по методу Ньютона може виявитися досить великим, і це може привести до відсутності збіжності даного методу. Щоб забезпечити зменшення значення цільової функції від ітерації до ітерації вводиться наступний параметр довжини кроку:

,

де відношення - деякий скаляр , тому

.

Напрямок пошуку задається вектором :

.

Вибір здійснюється таким чином, щоб

.

Такий вибір гарантує виконання нерівності

.

Порядок виконання роботи:

1. Ознайомитися з теоретичними відомостями;

2. Вибрати варіант завдання, згідно списку підгрупи у журналі;

3. Написати програму в середовище Delphi, яка реалізує методи;

4. За допомогою програми, виконати завдання, згідно варіанту;

5. Зробити висновки .

Варіанти завдань:

Методом Ньютона та модифікованим методом Ньютона знайти мінімум функції пошук почати з точки . Порівняти швидкість збігу методів.

1. .

2.

3. .

4. .

5. .

6. .

7.

8.

9.

10. F(x)= (x₁+3)² + 4(x₂–1)²–2.

Зміст звіту:

1. Титульний лист, згідно встановленого образка;

2. Основні теоретичні відомості;

3. Варіант завдання;

4. Код програми, яка реалізує даний метод;

5. Розв`язок з поясненнями;

6. Висновок.

Контрольні питання:

1. Що таке матриця Гесе?

2. Яка матриця називається позитивно визначеною?

3. Що таке методи мінімізації другого порядку?

4. У чому полягає метод Ньютона?

5. Модифікований метод Ньютона.

6. Як визначається збіг методів другого порядку?