3. 4 Метод градієнтного спуску з постійним кроком.
Напрямок
спуска задається вектором
Початковий крок спуска
де
На
відміну від попередніх методів, у яких
градієнт визначається на кожнім кроці,
у
даному методі рух у знайденому напрямку
продовжується однаковими кроками
у даному методі рух у знайденому напрямку
продовжується однаковими кроками
.
Якщо на якомусь кроці значення функції
зросло, то рух у даному напрямку
припиняється, останній крок знімається
й обчислюється новий градієнт, а отже,
і новий напрямок руху. Точки, у яких
обчислюється новий градієнт, утворять
послідовність:
Якщо
перехід від точки
до точки
на першому кроці не приводить до зменшення
значення функції, то зменшується в два
рази і процедура побудови точки
повторюється. Дроблення
продовжується доти , поки не буде отримана
точка з меншим значенням функції. Ця
точка і вибирається рівної
.
Процедура спуска завершується, коли
величина градієнта
стане
менше
.
Початковий крок вибирається малим, але в кілька разів більше .
Алгоритм методу
1.
Покладемо
.
Виберемо початковий крок
і початкову точку спуска
Обчислимо
.
2.
Обчислимо градієнт
і його довжину
.
Якщо величина градієнта менше
,
таким чином
,
те процес обчислень завершується.
Думаємо
;
.
У противному випадку думаємо
,
.
3
.
Обчислимо
,
.
4.
Якщо
,
те зменшуємо
у два рази і повертаємося до пункту 3. У
противному випадку переходимо до пункту
5.
5.
Обчислимо
і порівняємо з
.
Якщо
,
те думаємо
і переходимо до пункту 2. У противному
випадку думаємо
,
і повторюємо пункт 5.
Приклад 3.2.
Методом
градієнтного спуска з постійним кроком
знайти точку мінімуму з точністю
=0.05
і мінімальне значення функції
1.
Виберемо
початкову точку спуска
і початковий крок
=0,2.
Обчислимо
.
2. Обчислимо градієнт
.
Довжина
градієнта
3.
Оскільки
,
тоді думаємо
;
;
.
4. Обчислимо координати крапки спуска
,
5.
Оскільки
,
тоді обчислюємо
6.
,
тому наступна точка в даному напрямку
7. Обчислюємо
8.
Оскільки
,
тоді
9.
Обчислимо
10.
Оскільки
,
тоді точка
є останньою в даному напрямку;
.
11. Обчислюємо градієнт
Довжина
градієнта
,
отже, продовжуємо спуск у напрямку
.
12. Обчислимо координати першої точки спуска в новому напрямку:
13.
Оскільки
тоді спускаємося далі в тім же напрямку.
Знаходимо
14.
Оскільки
,
тоді наступною точкою спуска стає точка
15.
Знаходимо
16.
Одержимо,
що
Виходить, спуск у даному напрямку
припинений і точка
остання точка спуска в цьому напрямку;
.
17.
Обчислимо градієнт
Довжина
градієнта
.
На цьому обчислення закінчуються
.
Точка наближеного мінімуму:
;
Мінімальне
значення функції
Основні обчислення мінімуму функції зведемо в таблицю 3.2
Таблиця 3.2.
|
|
|
|
0 |
(0.0) |
0 |
1,414 |
1 |
(-0.6 ; -0.6) |
-0.756 |
0.225 |
2 |
(-0.644 ; -0.644) |
-0.7697 |
0.00976 |
