1. Які переваги та недоліки методу Гауса?

2. Знайти значення інтеграла методом Гауса:

РОЗДІЛ 6. Числові методи мінімізації функцій.

Тема 6: Основні методи мінімізації функцій.

Методи штрафних функцій: суть методу, штрафна функція.

Метод найшвидшого спуску.

В результаті вивчення теми студенти повинні:

Знати – суть методу штрафних функцій, принципи побудови штрафної функції, алгоритм методу найшвидшого спуску.

Вміти – виконувати мінімізацію функцій за допомогою методу штрафних функцій, методу найшвидшого спуску.

Завдання:

1. Опрацювати теоретичний матеріал, наведений в методичці, а знайти відповідний теоретичний матеріал в підручниках Коссак О. Методи наближених числень стор.98-100, Калиткин М.М. Численные методы. (папка «Підручники»), стор. 198-202.

2. Коссак о., Тумашова о., Коссак о. – Методи наближених обчислень: Навчальний посібник, стор. 100

3. Дати відповіді на питання:

1.В чому полягає властивість унімодальності функцій і в чому полягає важність цієї властивості при розв’язку задач оптимізації з однією змінною?

2. Якщо точка цільової функції задовольняє достатнім умовам існування локального мінімума, то як встановити чи є цей мінімум глобальним?

3. Чи є методи виключення інтервалів в цілому більш ефективними, ніж методи точкового оцінювання? Чому?

4. Задані наступні функції однієї змінної: а) ; б) .

Для кожної з заданих функцій знайдіть:

•  інтервал(и) зростання, спадання;

•  точки перегину (якщо такі існують);

•  інтервал(и), в якому функція вогнута, випукла;

•  локальний і глобальний максимуми (якщо такі існують);

•  локальний і глобальний мінімуми (якщо такі існують).

5. Встановіть області, в яких наступна функція випукла чи вогнута: . Знайдіть глобальний максимум і глобальний мінімум цієї функції.

6. В чому суть алгоритму метода дихотомії? Складіть схему алгоритма цього метода. Виберіть і обґрунтуйте умову виходу з ітераційного циклу.

7. В чому сутність алгоритму метода Фібоначчі? Складіть схему алгоритма метода, наведіть основну математичну модель метода.

8. В чому полягає алгоритм методу?

9. За виконання якого критерію припиняють процес оптимізації?

Цей метод відноситься до групи непрямих методів розв’язання задач нелінійного програмування виду:

Він зводить задачу з обмеженнями в послідовність задач безумовної оптимізації деяких допоміжних функції. Останні отримуються шляхом модифікації цільової функції за допомогою функій-обмежень таким чином, щоб обмеження в явному вигляді в задачі оптимізації не фігурували. Це забезпечує можливість застосування методів безумовної оптимізації. В загальному випадку допоміжна функція має вигляд: , де функція визначається з обмежень вихідної задачі і називається штрафною функцією. Необхідно, щоб при порушенні обмеження вона “штрафувала” функцію Z, тобто збільшувала її значення. В такому випадку Z буде знаходитися всередині області обмежень. Штрафну функцію можна будувати різними способами. Розглянемо один з варіантів, коли , де , - параметр штрафної функції.

Далі розв’язують задачу мінімізації для функції , використовуючи один з відомих методів безумовної оптимізації. Будемо розв’язувати задачу мінімізації для градієнтним методом зі сталим кроком. Тоді алгоритм розв’язування задачі буде таким:

1. Обирається точність обчислень, а в якості початкової точки беруть довільну точку, яка належить допустимій множині задачі. Також зазначається крок і покладають .

2. Знаходять . Якщо точка належить допустимій множині задачі, то коефіцієнти будуть рівними нулю, якщо ж не належать, то вибираємо параметри так, щоб точка належала допустимій множині.

3. Перевіряють чи виконується умова . Якщо не виконується, то переходять до наступного кроку, якщо виконується , то .

4. Покладають, що і переходять до кроку 2.

Перейдемо тепер безпосередньо до нашої задачі. Так як ми розглянули алгоритм методу штрафних функцій для випадку пошуку мінімуму функції, то перейдемо від задачі максимізації до задачі мінімізації:

Запишемо штрафну функцію: і розв’яжемо тепер задачу мінімізації для цієї функції.

За точність обчислень оберемо , а крок , а початкову точку візьмемо таку ж як ми брали у методі Франка-Вулфа, тобто . Отже

;

.

Тобто ,

Точка належить допустимій множині задачі, оскільки задовольняє обмеженням задачі:

Обчислимо значення штрафної функції в цій точці: . Перевіримо критерій зупинки: , отже тепер по аналогії шукаємо наступне наближення до оптимального розв’язку.

Точка належить допустимій множині задачі, оскільки задовольняє обмеженням задачі:

Обчислимо значення штрафної функції в цій точці: . Тепер перевіримо критерій зупинки: , отже шукаємо наступне наближення до оптимального розв’язку.

Точка належить допустимій множині задачі, оскільки задовольняє обмеженням задачі.

Обчислимо значення штрафної функції в цій точці: .

Тепер перевіримо критерій зупинки:

, отже шукаємо наступне наближення до оптимального розв’язку.

Точка належить допустимій множині задачі, оскільки задовольняє обмеженням задачі.

Обчислимо значення штрафної функції в цій точці: .

Тепер перевіримо критерій зупинки:

, отже шукаємо наступне наближення до оптимального розв’язку.

Точка належить допустимій множині задачі, оскільки задовольняє обмеженням задачі.

Обчислимо значення штрафної функції в цій точці: .

Тепер перевіримо критерій зупинки:

, отже шукаємо наступне наближення до оптимального розв’язку.

Точка належить допустимій множині задачі, оскільки задовольняє обмеженням задачі.

Обчислимо значення штрафної функції в цій точці: .

Тепер перевіримо критерій зупинки:

, отже шукаємо наступне наближення до оптимального розв’язку.

Точка не належить допустимій множині задачі, оскільки не виконується друге обмеженням задачі ( ), отже параметр відмінний від нуля. Оберемо його так, щоб друге обмеження задачі виконувалося.

З другого обмеження задачі маємо:

Отже в якості параметру візьмемо . Тоді

Точка належить допустимій множині задачі. Обчислимо значення штрафної функції в цій точці: .

І так далі продовжується процес пошуку нового наближення до розв’язку задачі.

Метод найшвидшого спуску.

Розв’яжемо задачу мінімізації для функції , використовуючи метод найшвидшого спуску. Цей метод відноситься до градієнтних методів.

За даним методом будується послідовність точок , яка прямує до оптимального розв’язку задачі - . Від точки до точки рухаються в напрямі градієнта цільової функції, обчисленого в точці .

Широке застосування цього методу обумовлено тим, що в напряму антиградієнту — похідна функції за напрямом досягає найменшого значення.

Алгоритм методу найшвидшого спуску:

1. Обираємо довільну початкову точку , яка називається початковим наближенням розв’язку задачі , і покладаємо, що При цьому функція вважається опуклою і неперервно диференційованою в . Також обираємо точність обчислень .

2. Обчислюємо градієнт цільової функції . Якщо , то покладаємо і зупиняємо обчислення, інакше - переходимо до кроку 3.

3. Шукаємо наступне наближення за формулою: - для задачі мінімізації, а для задачі максимізації: . Число - параметр, який називається довжиною кроку в точці . Його обирають довільно, однак зазвичай, параметр обирається з умови, щоб в точці спостерігалося максимальне зменшення (збільшення) цільової функції .

4. Перевіряємо умову зупинки, а саме: . Якщо умова виконана, то покладаємо і зупиняємо обчислення, якщо ні, то переходимо до наступного кроку.

5. Покладаємо, що і переходимо до кроку 2.

Тепер перейдемо безпосередньо до нашого прикладу.

Оберемо спочатку точність обчислень . За початкове наближення як і в методі Ньютона візьмемо точку . З аналізу, проведеного в методі Ньютона, маємо що цільова функція є опуклою і неперервно диференційованою в Rn, отже даний метод застосовувати можна.

З методу Ньютона маємо, що градієнт цільової функції в точці буде рівним . Оскільки , то шукаємо наступне наближення розв’язку вихідної задачі:

.

Знайдемо : . Оскільки обирається з умови, щоб в точці спостерігалося максимальне зменшення , знайдемо похідну від цільової функції в точці і прирівняємо її до нуля.

Отже можемо тепер знайти координати точки : . Обчислимо значення цільової функції в цій точці: .

Перевіряємо умову зупинки:

отже шукаємо наступне наближення аналогічним чином.

Отже можемо тепер знайти координати точки : Обчислимо значення цільової функції в цій точці: .

Перевіряємо умову зупинки:

отже шукаємо наступне наближення:

Отже можемо тепер знайти координати точки : .

Обчислимо значення цільової функції в цій точці: Перевіряємо умову зупинки:

отже шукаємо наступне наближення:

Отже можемо тепер знайти координати точки : .

Обчислимо значення цільової функції в цій точці: Перевіряємо умову зупинки:

, тобто умову зупинки виконано. Отже .

Як бачимо, розв’язки задачі, знайдені обома методами майже однакові, але при цьому метод Ньютона дав результат вже на першому кроці ( на відміну від методу найшвидшого спуску, де довелося робити 4 ітерації). Це пов’язано з тим, що цільова функція є квадратичною, а отже напрям спуску завжди співпадає з напрямом в точку мінімуму . Тобто основна перевага методу Ньютона - швидка збіжність, однак при цьому суттєвим недоліком є залежність збіжності від початкового наближення . Крім того у випадку не квадратичної цільової функції трудомісткість ітерації методом Ньютона може виявитись дуже великою за рахунок необхідності обчислення матриці других похідних мінімізуємої функції, що потребує затрат великої кількості часу.

Теоретичні завдання:

1.В чому полягає властивість унімодальності функцій і в чому полягає важність цієї властивості при розв’язку задач оптимізації з однією змінною?

2. Якщо точка цільової функції задовольняє достатнім умовам існування локального мінімума, то як встановити чи є цей мінімум глобальним?

3. Чи є методи виключення інтервалів в цілому більш ефективними, ніж методи точкового оцінювання? Чому?

4. При реалізації пошукових алгоритмів на ЕОМ в якості умови закінчення ітераційного процесу використовуються як аналіз абсолютної величини різниці поточних значень кінців відрізка дослідження, так і абсолютної величини різниці поточних значень цільової функції. Чи можлива ситуація, коли результат однієї з перевірок вказує на збіжність до точки мінімума, тоді як отримана точка в дійсності мінімуму не відповідає. Поясніть відповідь рисунком.

5. Задані наступні функції однієї змінної: а) ; б) .

Для кожної з заданих функцій знайдіть:

•  інтервал(и) зростання, спадання;

•  точки перегину (якщо такі існують);

•  інтервал(и), в якому функція вогнута, випукла;

•  локальний і глобальний максимуми (якщо такі існують);

•  локальний і глобальний мінімуми (якщо такі існують).

6. Встановіть області, в яких наступна функція випукла чи вогнута: . Знайдіть глобальний максимум і глобальний мінімум цієї функції.

7. В чому суть алгоритму метода дихотомії? Складіть схему алгоритма цього метода. Виберіть і обґрунтуйте умову виходу з ітераційного циклу.

8. В чому сутність алгоритму метода Фібоначчі? Складіть схему алгоритма метода, наведіть основну математичну модель метода.

1. Для функцій якого типу метод практично не використовують?

Обчислення будемо проводити за наступними формулами та алгоритмом:

Значення ≈ 0,618.

1. обчислюють значення х₁ та х₂;

2. обчислюють Ф(х₁), Ф(х₂);

3. якщо Ф(х₁) ≤ Ф(х₂), то для подальшого ділення залишають інтервал [а, х₂];

4. якщо Ф(х₁) > Ф(х₂), то для подальшого ділення залишають інтервал [х₁, b].

Процес ділення продовжують до тих пір, поки довжина інтервалу невизначеності не стане меншою заданої точності ε.

t	a	b	x1	x2	f(x1)	f(x2)	end
0,618	-2,0000	2,0000	-0,4720	0,4720	4,604	4,604	!
	-2,0000	0,4720	-1,0557	-0,4723	4,013	4,604	!
	-2,0000	-0,4723	-1,4164	-1,0559	5,013	4,013	!
	-1,4164	-0,4723	-1,0558	-0,8330	4,013	4,094	!
	-1,4164	-0,8330	-1,1935	-1,0558	4,180	4,013	!
	-1,1935	-0,8330	-1,0558	-0,9707	4,013	4,003	!
	-1,0558	-0,8330	-0,9707	-0,9181	4,003	4,025	!
	-1,0558	-0,9181	-1,0032	-0,9707	4,000	4,003	!
	-1,0558	-0,9707	-1,0233	-1,0032	4,002	4,000	end

Отже,

РОЗДІЛ 7. Наближене обчислення диференціальних рівнянь.