2.2.3 Два выбора подпространств

В разделе 2.2.2 были рассмотрены методы наискорейшего спуска, в котором подпространства K и L были связаны соотношением K=L, и наискорейшего уменьшения невязки который основан на соотношении L=AK. Сами подпространства являлись одномерными, в качестве базиса K выступал вектор невязки. В этих случаях задача проектирования эквивалентна задаче минимизации функционалов. Как оказывается, подобные утверждения справедливы и в гораздо более общих случаях, которые имеют важное значение при построении более сложных и эффективных методов.

Так если матрица A симметрична и положительно определенна, то задача проектирования решения СЛАУ (1.1) на любое подпространство K ортогонально к нему самому (т.е. ортогонально к пространству L=K) является эквивалентной задаче минимизации ||x–x_*||_A² на пространстве K. Для произвольной невырожденной матрицы A задача проектирования решения СЛАУ (1.1) на любое подпространство K ортогонально подпространству L=AK, эквивалентна задаче минимизации ||r_x||₂² на подпространстве K.

2.2.4 Подпространства Крылова

При построении и реализации проекционных методов важную роль играют так называемые подпространства Крылова, часто выбираемые в качестве K. Подпространством Крылова размерности m, порожденным вектором  и матрицей A называется линейное пространство

Km(, A)=span{, A, A2,…,Am–1}.

(2.21)

В качестве вектора  обычно выбирается невязка начального приближения r₀; тогда выбор подпространства L и способ построения базисов подпространств полностью определяет вычислительную схему метода.

К идее использования подпространств Крылова можно прийти, например, следующим образом. При построении релаксационных методов использовалось представление матрицы A в виде A=D–E–F. Было также показано, что методы Якоби-Зейделя являются частными случаями класса методов, основанного на расщеплении A в виде разности (2.9) двух матриц K и R. Тогда исходная система (1.1) может быть записана в виде

Kx=b+Rx=b+(K–A)x,

что позволяет построить итерационный процесс

Kxk+1=Kxk+(b–Axk),

или, что то же самое,

xk+1=xk+K–1rk.

(2.22)

Если выбрать K=I и R=I–A, тогда процесс (2.22) будет сведен к виду

xk+1=xk+rk,

(2.23)

откуда следует

xk=x0+r0+r1+…+rk–1.

(2.24)

Умножив обе части (2.23) слева на (–A) и прибавив к ним b, получится

b–Axk+1=b–Axk–Ark=rk–Ark,

что позволяет найти выражение для невязки на k-ой итерации через невязку начального приближения:

rk=(I–A)rk–1=(I–A) kr0.

(2.25)

После подстановки (2.25) в (2.24) получается

xk=x0+ r0,

т.е. _k  span{r₀, Ar₀, …,A^k-1r₀}=K_k(r₀, A). Из (2.25) следует, что в методах, использующих подпространства Крылова, невязка на k-ой итерации выражается через начальную невязку некоторым матричным полиномом.

2.2.5 Базис подпространства Крылова. Ортогонализация Арнольди

Для построения базиса в пространстве Крылова K_m(₁, A) можно применить следующий подход. Сначала находят векторы ₁=₁, ₂=A₁, ₃=A²₁=A₂,…, _m=A^m–1₁=A_m–1. По определению (2.21),

Km(1, A)=span{1, 2,…, m}.

Далее переходят от {₁, ₂,…, _m} к {₁, ₂,…, _m}, применив процедуру ортогонализации

k+1=k–1– ,

(2.26)

и затем пронормировав полученные векторы. Предполагая, что предыдущие k векторов уже построены, т.е.

i,j (1i, jk): (i,j)= .

(2.27)

Тогда (2.26) можно записать

k+1=Ak– .

Для выполнения условия ортогональности _k+1 ко всем предыдущим векторам, умножают это равенство скалярно на _j (jk) и приравнивая результат к нулю

(Ak, j)–

(2.28)

С учетом (2.27) отсюда легко получить выражение для коэффициентов _j

j=(Ak, j).

Описанный метод может быть оформлен в виде следующей процедуры, называемой ортогонализацией Арнольди.

Алгоритм ортогонализации Арнольди

Входные данные: 1, такой что ||1||2=1; A; m

Выполнять для j=1,…, m

=Aj

Выполнять для i=1,…, j

hij=(, i)

=–hiji

увеличить i

hj+1, j=||||2

Если hj+1, j=0, то КОНЕЦ. Базис построен.

j+1=/hj+1, j

увеличить j

Для коэффициентов ортогонализации здесь введена двойная индексация, с учетом которой внутренний цикл алгоритма алгебраически записывается как

hj+1, j j+1=Aj– .

(2.29)

Коэффициенты ортогонализации h_i,j можно объединить в виде матрицы H, дополнив в ней недостающие позиции нулями. При этом, как видно из алгоритма, для заданной размерности пространства m генерируется m+1 векторов. Последний вектор _m+1 (возможно, нулевой) в матричном представлении означает расширение базиса V одним дополнительным столбцом, т.е.

Vm=[1|2|…|m]; Vm+1=[1|2|…|m|m+1].

Соответствующий вектору _m+1 коэффициент h_m+1,m означает расширение матрицы H одной дополнительной строкой (возможно, нулевой).

Пусть – это матрица (m+1)m матрица коэффициентов h_m+1,m, а матрица H_m – та же самая матрица без последней строки, имеющая размерность mm. Тогда непосредственно из описания алгоритма Арнольди и (2.29) следует, что матрица H_m является матрицей в верхней форме Хессенберга, (матрица называется верхней хессенберговой или верхней почти треугольной, если ее ненулевые элементы расположены только в ее верхнем треугольнике, на диагонали и на поддиагонали) и для нее справедливы соотношения

AVm=Vm+1 =VmHm+memT;	(2.30)
VmTAVm=Hm.	(2.31)

Кроме того, вследствие ортонормальности базиса {_j} имеет место равенство

VTk=ek.

(2.32)