Добавил:

ivanov666 Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Башкирский Государственный Аграрный Университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

Применение временных рядов для анализа больших данных. Учебное пособие по курсу «Математические методы анализа больших данных»

.pdf

Скачиваний:

Добавлен:

12.08.2026

Размер:

1 Мб

Скачать

☆

<<< < Предыдущая 12 / 92 3 4 5 6 7 8 9 > Следующая >>>

1.5. Предиктор-корректор схемы и схемы с весами

ограничения 0 < ω < 2, причём

−1

соответствует

, а

0 + соответствует

0 1.

Покомпонентно вычислительная схема выглядит следующим обра-

зом:

x1(s +1)

= (b1 + a11x1(s ) − a12 x2(s ) − a13 x3(s ) − − a1n xn(s )) ((1 + )a11 ),

= (− a21x1(s

+1) + b2 + a22 x2(s ) − a23 x3(s ) − − a2n xn(s )) ((1 + )a22 ),

x2(s +1)

x3(s +1) = (− a31x1(s +1) − a32 x2(s +1) + b3 + a33 x3(s ) − − a3n xn(s )) ((1 + )a33 ),

(s +1)

+1)

(s +1)

−

(s )

) ((1 + )ann ).

= (− an1x1

− an2 x2

− an3 x3

+ bn + ann xn

Выразим итерационную схему метода релаксации

+ (1+ )D)x(s +1)

= Dx(s)

+ b − A x(s)

−1

через параметр

= (1+ )

(

−1

)

(s+1)

(

−1

)

(s)

D x

−1 Dx

− A x

В результате преобразований получим

(s+1)

= x

(s)

+ D

−1

(b − ALx

(s+1)

− (D + AU )x

(s)

Покомпонентно вычислительная схема может быть представлена в

виде:

(s +1) = x

(s ) + (b − a

x(s ) − a

(s ) − − a

(s ))

(s +1) = x

(s ) + (− a

x(s +1)

+ b

− a

x(s ) − a

x(s )

− − a

x(s )) a

(s +1) = x

(s ) + (− a

(s +1)

− a

(s +1)

+ b

− a

x(s ) − − a

x(s ))

33 3

(s +1) = x

(s ) + (− a

(s +1)

x(s +1)

(s +1) − + b

x(s ))

− a

1.Численные методы решения систем линейных алгебраических уравнений

1.5.Предиктор-корректор схемы и схемы с весами

Если обозначить обновление приближения x(S+1) к решению в методе Зейделя как

x = D−1 (b − ALx(s+1) − AU x(s) ),

то итерация метода релаксации будет выглядеть следующим образом:

(s+1)

(1− )x

(s)

+ D

−1

(b − ALx

(s+1)

− AU x

(s)

)= (1− )x

(s)

+ x.

Схемы подобного формата называют предиктор-корректор схема-

ми, где:

x = D

−1

(b − ALx

(s+1)

− AU x

(s)

);

Предиктор-шаг

Корректор-шаг

x(s+1) =

1−

)

x(s)

+ x.

(

(s+1)

= (1− )x

(s)

В свою очередь схемы формата

+ x

называют

схемами с весами.

Если 0 1

(случай нижней релаксации), то весовым множите-

лям можно придать смысл вероятностей

=1− и

p2 =

. В этом слу-

чае

(s +1)

= p1x

(s )

можно рассматривать как математическое ожи-

+ p2 x

дание значений

(s )

с вероятностями их появления p1 и p2.

Естественно, в этом случае

min x(s)

;x x(s+1)

max x(s);x ,

что соответствует сглаживанию x(S+1) в сторону предыдущего значения x(S) ~ по сравнению с обновлённым значением x . Сходимость в этом случае

ожидается более монотонной.

Если 1 2 (случай верхней релаксации), то один из весовых коэффициентов оказывается отрицательным, и смысл вероятностей им при-

дать нельзя. Такой случай не отличается от случая 0 , если при этом по-

~ менять ролями x(S) и x . Но в таком случае можно провести аналогию с

функционированием участника финансового рынка (например, банка).

1.6. Соответствие между задачей минимизации квадратичного функционала…

Пусть банк на каждую единицу собственных средств может при-

влечь ω единиц средств вкладчиков. За такой заём банк обещает процент
по вкладам	~	. Но у самого банка есть возможность предоставления в
	x

кредит собственных и привлечённых средств, которые приносят банку процент x(S). С единицы предоставленных в кредит собственных средств процент полностью достаётся банку. А с привлечённых средств достаётся разница между процентом по кредиту и процентом по вкладу.

Итоговый доход банка (в процентах) составит

	(		)			(	)
	x(s+1) = 1	−		x(s) + x		= 1+		x(s) − x,
что больше дохода без привлечения средств вкладчиков.
Случай 1 2		аналогичен, и тенденция, наметившаяся при за-
мене x(S) на	~				(s +1)	с «усилением» по сравнению с ме-
мене x(S) на	x , учитывается в x					с «усилением» по сравнению с ме-

тодом Зейделя, что ускоряет изменение x(S) в силу наметившейся тенденции.

1.6. Соответствие между задачей минимизации квадратичного функционала и задачей решения СЛАУ с симметричной матрицей

Квадратичным функционалом называется следующая скалярная функция Ф векторного аргумента x

(Ax,x)− (b,x)

+ c =

x x

−

b x

+ c,

j=1

k=1

i=1

где

A = (a

)

– матрица квадратичной формы,

b = (b )

–

вектор ли-

i, j

n n

i n

нейной формы, c – число (скаляр).

Необходимыми условиями минимума

(Ax, x)− (b, x)+ c → min

(1)

будет система равенств нулю частных производных Ф по всем неизвестным xi (1 i n):

1. Численные методы решения систем линейных алгебраических уравнений

= a

+ 1

+ a

+ 1

+ a

+ +

+ a

− b = 0,

+ a

+ 1

+ a

+ +

+ a

− b

= 0,

+ a

+ + 1

+ a

− b

= 0,

+ a

+ + a

− b

= 0,

которую можно представить в матричной форме

(A + AT )x = b.

(2)

Таким образом, решение задачи безусловной минимизации (1) сводится к решению СЛАУ (23) с симметричной матрицей. Верно и обратное, что решение СЛАУ с симметричной матрицей вида (2) является решением задачи безусловной минимизации функционала (1).

1.7. Метод простых итераций

Система (2) выполняется точно при достижении минимума функци-

онала Ф. Но на приближении вектором. Заметим, что (s


x(S) градиент		(s)	ещё не является нулевым
x(S) градиент			ещё не является нулевым
)	только знаком отличается от невязки
	только знаком отличается от невязки

(s) = −ξ(s).

Основу следующих итерационных методов (стационарных и нестационарных) составляет схема

x(s+1) = x(s) + sξ(s) = x(s) − s (s),

которую можно рассматривать как схему оптимизационного метода градиентного спуска (поскольку речь идёт о минимизации функционала).

Если

не зависит от итерации (

const

), то итерационный метод

называют стационарным. В противном случае – нестационарным итерационным методом.

Установим рекуррентное соотношение для невязок двух последовательных итераций

1.7. Метод простых итераций

ξ	(s+1)

т.е.

=b − Ax(s+1) = b − A(x(s) + sξ(s) )= (b − Ax(s) )− sAξ(s) = ξ(s) − sAξ(s),

ξ(s+1) = ξ(s) − sAξ(s) = (E − sA)ξ(s).

Несложно доказывается, что все собственные числа симметричной (и Эрмитовой) матрицы являются вещественными числами. Для симметричной положительно определённой матрицы они будут вещественными и положительными. Как следствие, все собственные векторы будут состоять только из вещественных компонент. Собственные векторы, соответствующие различным собственным числам, будут ортогональны. То есть, если все собственные числа различны, то все собственные векторы попарно ортогональны и могут быть использованы как ортогональный базис. Если среди собственных чисел встречаются кратные, то и в этом случае может быть сформирован ортогональный базис из собственных векторов.

Если разложить невязки

ξ(s +1)

и ξ(s )

по базису e1, e2, …, en из соб-

ственных векторов, то

(s +1)

= c

(s +1)

+ c

(s +1)

+ + c

(s +1)

= (E −

A)ξ

(s )

(E −

A)(c

(s )

+ c

(s )

+ + c

(s )

= (1 −

(s)

−

(s)

+ (1 −

(s)

s 2

Поскольку разложение по базису единственно, то

(s+1)

= (1− )c

(s)

(s+1)

= (1−

(s)

,...,c

(s+1)

= (1−

(s)

Продолжая процесс, получим

(s+1)

= (1

−

)

s+1

(

k n.

s k

Видно, что если

1 −

1 ,

то компоненты невязки будут воз-

растать неограниченно, вместо того, чтобы стремиться к нулю. Поэтому

для сходимости итерационного процесса	x	(s +1)	= x	(s )	+	ξ	(s )	необходимо
					s

выбрать

1 − s k

таким, чтобы для всех собственных чисел выполнялось

Это обеспечится при 0 2 max .

1. Численные методы решения систем линейных алгебраических уравнений

У семейства графиков

1 −		k	1
s		k

(

1 k

) существует ещё одна

важная точка. Во многих учебниках её называют оптимальным значением

opt

. Однако в зависимости от распределения коэффициентов невязки

(0)
c	, 1
k	, 1

вающее

k n , в конкретных случаях можно указать значение		, обеспечи-

гораздо более эффективную сходимость, но отличающееся от

opt . Правильно называть это значение минимаксным, потому что оно

соответствует минимизации последствий наихудшего случая (который не обязательно реализуется). Это значение соответствует точке пересечения

лучей	y =1− min	и	max		и равно
			y =	−1

m = 2( min + max ).

Для плохо лённой матрицы (

обусловленной симметричной положительно опреде-

0	min		max	) это значение расположено близко от
	min		max

критической границы

	b	= 2 .
	b	max

1.8.Аналогия методов решения СЛАУ

иметодов решения ОДУ

Итерационную схему методов решения СЛАУ

(s +1)

= x

(s )

= x

(s )

(b − Ax

(s )

)

можно рассматривать как схему Эйлера первого порядка (чисто явную схему):

(x	(s +1)	− x	(s )	)		= b − Ax		(s )
(x		− x		)	s	= b − Ax
					s
для решения системы обыкновенных							дифференциальных уравнений
(ОДУ):

dxdt = b − Ax.

Если у системы ОДУ существует стационарное решение

dxdt

то оно будет решением СЛАУ Ax = b. Верно и обратное. Решение СЛАУ можно рассматривать как достижение системой ОДУ стационарного состояния. Методы нахождения решений стационарных задач с помощью

1.9. Макроитерации

решения соответствующих нестационарных задач называют методами установления.

	Соответственно, если физической системе, описываемой системой
ОДУ	dx dt = b − Ax , для выхода на стационарный режим требуется

время T,

схемы				x	(

	0	+	1	+

то и для получения

s +1)	= x		(s )	+		(b − Ax	(
	= x			+		(b − Ax
					s
	+	M −1			T .
		M −1

решения СЛАУ при помощи итерационной s )) потребуется число итераций M такое, что

метр

Для метода простых итераций диктуется условием 0 2

ограничение на итерационный пара-

max	. И чем больше λmax у матриц из

однотипного семейства, тем больше потребуется итераций.

1.9. Макроитерации

Рассмотрим некоторую матрицу

Тогда условие	1 −	1	выполняется
Тогда условие	1 −	1	выполняется
	1

A2 2

при

Пусть	= 0,25
	1
2	= 8,0
	1

, а

2	=1,25 .

условие

1 −

выполняется при 0 2

=1,6

. Совместно

оба

условия

1 −

( k =1;2 ) выполняются при 0 2

max

=1,6

. То есть для мат-

рицы

2 2

с двумя собственными числами

= 0,25,

=1,25 мы вы-

нуждены использовать в методе простых итераций

0 2

max

=1,6 . Со-

ответственно, число итераций, требующееся для сходимости, будет опре-

деляться этим значением.

Рассмотрим задачу с обратных позиций.

При

= 2

− = 8,0 −

(

2 0

– малые числа) итераци-

онная схема

(s +1)

= x

(s )

(b − Ax

(s )

) пригодна

для решения СЛАУ с

матрицами A, у

которых

собственные

числа

0 = 0,25 , а при

	= 2	2	−	2	=1,6 −	2
2		2		2		2

– с матрицами A, у которых 0 2 =1,25 (что

включает и предыдущий случай, но число итераций требуется больше).

В то же время множитель ( )= (1− 2 )2 убывания невязки за две

итерации метода простых итераций представляет собой параболу, которая оказывается в «коридоре» ( ) 1, также для 0 2 =1,25 . Но такой

1. Численные методы решения систем линейных алгебраических уравнений

множитель не принимает отрицательных значений. Возникает следующий вопрос. Можно ли получить улучшение алгоритма, если позволить множителю принимать отрицательные значения, но так, чтобы сохранялось

( )

? При неизменном шаге

2 мы имеем корень второй кратности, и

это невозможно.

Но что произойдёт, если на двух последовательный итерациях ме-

тода простых итераций использовать различные шаги рим произведение

w( ) = (1− )(1−		) = 1− (	3	+	4	) +
3	4		3		4

	3	и			4
	3	и			4
			2	,
3	4

? Рассмот-

отражающее изменения компонент невязки в таком случае. Если			в вер-
шине λv = (τ3 + τ4)/(2τ3τ4) параболы w(λ) выполняется wmin = 1			– (τ3 +
+ τ4)2/(4τ3τ4) > –1, то условие w 1 выполняется при 0 2	v	. Шаги

должны быть такими, чтобы в этот интервал попадали и

0,25

																									−1			2
и 2	=1,25 , т.е.	0 max 2 v													или					0						v		2					max .
	Если взять			=					и				4		=		2		, то
	2 = (			3		1		(					4				2		(2											) =				( +		) .
	2 = (			+		)		(						)	=		1		(2				+ 2							) =			1	( +		) .
	v		1		2					1		2					2			=		1							2				2	1	2	max
	Но если взять						=			1					и			4		=	1		2		, то
																					1
						3															2
						3				2		1									2
	2 = 2(				1	+			2	)			(			2		)		= 2				1		+ 2					2	= + .
	v				1				2						1	2								1							2			1	2	max
	При этом
		3 + 4 =								1		( 1 + 2) =													1		(8,0 +						1,6) = 4,8

										2															2
больше чем продвижение											2				= 3,2						за две простых итерации.
														2
	Каковы должны быть оптимальные значения																																		3	и 4 ? С одной
стороны, вершина параболы															w( )					должна вплотную подойти к значению
w	= −1. С	другой					стороны,												в		интервал значений															λ, для которых
inf
w( ) 1 , должны попадать и λ1, и λ2.

1.10. Полиномы Чебышёва

wmin

Ответу					на		первое
=1 − (		+		2	(4		) −1
	3		4	)		4		, откуда
					3

условие

((	3	+	4	)
	3		4

соответствует

(2			2	2
		4	))		и для
	3

обоих соотношений				3	4	,	4	3
обоих соотношений				3	4	,	4	3
2 −1	4	3	2 +1 .
	4	3

На границах этих соотношений:

получаем

2 −1		3		4
		3		4

					2	= (			+		) (		) = (			+		)	(		4 )	2	=			8					.
					2	= (		3	+	4	) (		) = (		3	+	4	)					=			8			4		.
					v			3		4	3 4				3		4			3							3		4
				Для		max	2			v	должно			выполняться												2	2					=	2		,
						max				v											3			4						max				2
откуда					получаем				предельные					значения						для					3		2	2(			2 +1)			и
откуда					получаем				предельные					значения						для					3		2							и
	4			2	2( 2	−1). Это является ответом на второе условие.																							При этом на
	4			2
предельных значениях											+	4		4		= 6,4			, что вдвое больше продвижения
											3	4		2
2		2	= 3,2		за две итерации метода простых итераций.
		2

На этом и основан Чебышёвский итерационный метод, в котором за приближение к решению СЛАУ принимается не результат каждой итерации, а результат исполнения пакета (или «обоймы») итераций в целом.

В Чебышёвском итерационном методе на отдельных итерациях могут нарушаться условия сходимости. Главное, чтобы условия сходимости выполнялись для пакета итераций в целом. При этом границы для возможных значений τ расширяются, что позволяет ограничиться меньшим числом итераций метода установления для нахождения решения СЛАУ. Подчеркнём, что за приближение к решению может приниматься только результат последней итерации пакета (макроитерации).

1.10. Полиномы Чебышёва

Далее речь пойдёт о том, при каких условиях множитель убывания

невязки

m ( )= (1− 1 )(1− 2 ) (1− m )

1. Численные методы решения систем линейных алгебраических уравнений

за m итераций (макроитерацию) метода простых итераций2 , …, m ), с одной стороны, находится в «коридоре» другой стороны, в интервале значений λ, для которых

(с шагами					,
					1
		m	( ) 1,		и с
		m
m	( )			1, нахо-
	( )			1, нахо-

дятся все собственные числа матрицы СЛАУ Ax= b.

Графики полиномов Чебышёва можно было видеть на экране элек- тронно-лучевого осциллографа. Пусть на отклоняющие по вертикали пла-

стины подаётся сигнал

y(t)= Acos( t + ) частоты

, которую требуется

определить. На отклоняющие по горизонтали пластины подаётся сигнал
x(t)= cos( t) частоты		, которую можно точно выставить на прецизи-

онном генераторе.

Траектория электронного луча становилась стационарной при до-

стижении обертональности

частота . А если исключить

= k	(k – целое число). Так определялась

сдвиг фаз ( = 0 ), то исчезали и гистере-

зисные явления, когда луч из крайних положений (левого, правого, нижнего, верхнего) возвращался не по тому участку траектории, по которому он в это крайнее положение приходил. В этом случае y(t)= Acos(k t).

y(t)=

Из	x(t)= cos( t)	выразим	−1	arccos(x)
			t =
Acos(k t). В результате получим

и подставим в

		y (x ) = Acos (k arccos (x )).
С помощью этого соотношения и постулируем введение полиномов
Чебышёва
		T (x) = cos(marccos(x)).
		m
Для получения рекуррентного соотношения выразим:
T		(x)= cos((m +1)arccos(x))= cos(m arccos(x)+ arccos(x))=
m+1
= cos (marccos ( x ))cos (arccos (x )) − sin (marccos (x ))sin (arccos (x )),
T	(x)= cos((m −1)arccos(x))= cos(m arccos(x)− arccos(x))=
m−1

= cos (marccos (x ))cos (arccos (x ))+ sin (marccos (x ))sin (arccos (x )),

Сумма последних соотношений равна

<<< < Предыдущая 12 / 92 3 4 5 6 7 8 9 > Следующая >>>

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]