3.2 Метод найшвидшого градієнтного спуска.

У цьому методі визначається так, щоб значення функції було найменшим з можливих значень , тобто найменшим у напрямку

.

Це вимагає рішення задачі одномірної мінімізації на кожнім кроці спуска.

Алгоритм методу.

1. Нехай . Виберемо початкову точку спуска

.

2. Обчислимо градієнт . Визначимо напрямок спуска, думаючи .

3. Обчислимо величину кроку , вирішуючи задачу мінімізації функції однієї перемінної : .

У якості виберемо точку мінімуму для функції .

4. Покладемо .

5. Якщо відстань

, де – задана точність, то процес обчислень завершуємо, думаючи , .

У противному випадку думаємо і переходимо до пункту 2.

3.3 Метод градієнтного спуску з дробленням кроку.

У цьому методі напрямок спуска задається вектором;

,

що має одиничну довжину і напрямок антиградієнта, початковий крок покладається рівним заданій величині . Спуск із даним кроком продовжується доти , поки значення функції при переході від у зменшується, т. е. .

Якщо для точці маємо , те величина зменшується в два рази і точка будується знову. Подальший спуск продовжується зі зменшеним кроком. Дроблення кроку продовжується доти , поки величина кроку не стане менше заданої точності: .

Алгоритм методу.

1. Покладемо . Виберемо крок і початкове наближення

.

Обчислимо значення функції в цій крапці .

3. Обчислимо градієнт функції і його довжину . Якщо , те думаємо , і завершуємо спуск. У противному випадку

покладемо .

3. Покладемо . Обчислимо: .

4. Порівняємо та .

Якщо , та вважаємо і перевіряємо виконання умови: . Якщо нерівність вірна, то та . Якщо , те переходимо до пункту.3.

Якщо , те думаємо і переходимо до пункту 2.

Приклад 3.1

Знайти точку мінімуму і мінімальне значення цільової функції

с точністю .

Точка початкового спуска . Крок .

Рішення

Обчислимо частинні похідні:

Напрямок спуска:

;

1) ; ; ; .

Обчислимо значення функції:

Значення похідних

Довжина градієнта:

Напрямок спуска:

Будуємо нову точку:

2)

Значення функції зменшилося.

Обчислимо частинну похідну в точці :

Напрямок спуска:

3)

Значення функції зменшилося.

Обчислимо частинні похідні в точці :

Напрямок спуска:

4)

Значення функції зменшилося.

Знаходимо частинні похідні:

Напрямок спуска:

5)

Значення функції зросло, зменшуємо крок у два рази . Точку будуємо знову.

6)

Значення функції зросло, зменшуємо крок у два рази .

Точку будуємо знову.

7)

Значення функції зросло, зменшуємо крок у два рази . Точку будуємо знову.

8)

Значення функції зросло, зменшуємо крок у два рази . Точку будуємо знову.

9)

Значення функції зросло, зменшуємо крок у два рази .

Точність досягнута.

10) Останній крок.

Значення функції зменшилося.

Відповідь:

Точка наближеного мінімуму:

;

Мінімальне значення функції:

Розрахунки занесемо в таблицю 3.1 :

Таблиця 3.1

Номер точці ( k)					Крок
0	-3	2	-3	7.11969	1
1	-2.8174	2.9832	-9.8357	6.5145	1
2	-2.7402	3.9802	-15.7421	5.1282	1
3	-2.9099	4.9565	-18.98928	0.50361	1
4	-3.9094	4.99644	0,78325	0.50361	0.5
4	-3.4097	4.98107	-16.4679	0.50361	0.25
4	-3.1598	4.9734	-18.4578	0.50361	0.125
4	-3.03485	4.96954	-18.8958	0.50361	0.0625
4	-2.97238	4.96762	-18.98138	0.50361	0.03125
4	-2.94115	4.99644	-18.99511	0.14319	0.03125