3. Градиентный с убыванием шага как 1/k

Итерационная формула метода имеет вид , единственное убывает с каждым шагом как 1/k

X0\a	a=0.1		a=1		a=10
	X*	F(X*)	X*	F(X*)	X*	F(X*)
(3,8)			(2,995358, 8,000579)	4,925443
(2,5)
(4,23)

Ниже приведены итерационный процесс и график убывания функции по шагам для начального шага 0,0001 а=1 х₀=(3,8)

шаг	x1	x2	f(x1,x2)
1	2,9984	8,0002	4,974104
2	2,997606	8,000299	4,961336
3	2,997079	8,000365	4,952886
4	2,996685	8,000414	4,94658
5	2,99637	8,000453	4,941554
6	2,996109	8,000486	4,937378
7	2,995884	8,000513	4,933809
8	2,995688	8,000538	4,930692
9	2,995514	8,000559	4,927927
10	2,995358	8,000579	4,925443

Выводы: В первых трех методах исследования проведены за 10 шагов с начальной длиной шага равной 0,0001. Однако видна, медленная скорость сходимости (геометрическая сходимость, скорость сходимости , ).

4. Метод наискорейшего спуска

Определяет оптимальное значение шага на каждом такте.

.

X0\a	a=0.1		a=1		a=10
	X*	F(X*)	X*	F(X*)	X*	F(X*)
(3,8)			(1,337706, 1,71014)	0,120337
(2,5)
(4,23)

Ниже приведены итерационный процесс и график убывания функции по шагам для начального шага 0,0001 а=1 х₀=(3,8)

Ном. шага	x1	x2	f(x1,x2)
1	2,777813	8,027773	3,257669
2	2,230456	4,404785	1,839093
3	2,045866	4,432672	1,154896
4	1,884515	3,286254	0,852665
5	1,759673	3,303825	0,620108
6	1,650663	2,546314	0,455181
7	1,546753	2,561267	0,32744
8	1,472199	2,047662	0,237301
9	1,38815	2,059863	0,168323
10	1,337706	1,71014	0,120337

Вывод: Значение функции, полученное этим методом, значительно меньше чем в предыдущих методах, т.е. данный метод сходится гораздо быстрее. Скорость сходимости метода наискорейшего спуска – геометрическая ,где q=(L-l)/(L+l) и l*I<=g²f(x)<=L*I (g-градиент)