
От Пантелеева / Книги студентам / лИТЕРАТУРА / Тартышников
.pdf

348 Лекция 63
ãäå αk определяется проекционным условием.
Åñëè rk = 0, то решение уже найдено. Если rk 6= 0, òî èùåì pk+1 â âèäå
pk+1 = rk + γ11p1 + . . . + γk1pk γjk = −(rk, A pj)/(Apj, pj).
Таким образом, если у нас есть формально A-ортогональный базис p1, . . . , pk â Lk, то мы можем найти вектор pk+1 такой, что (Apk+1, pj) = 0, 1 ≤ j ≤ k.
В отличие от случая положительно определенной матрицы теперь, однако, ниоткуда не следует, ÷òî (Apk+1, pk+1) 6= 0. Это свойство отнесем к основным предположениям ; в частности, мы предпола-
ãàåì, ÷òî (Ar0, r0) 6= 0. Если невязки r0, r1, . . . , rk−1 ненулевые и формально A-ортогональный базис p1, . . . , pk â Lk построен, то будем говорить, что процесс не обрывается íà k-ì øàãå. Åñëè ïðè ýòîì rk = 0, то будем говорить, что процесс успешно завершается íà k-ì øàãå.
Лемма 1. Если процесс не обрывается на k-м шаге, то невязки r0, . . . , rk−1 образуют ортогональный базис в Lk.
Доказательство. Действительно, rj Lj+1 Lk ïðè 0 ≤ j ≤ k − 1 и, в силу проекционного условия,
rj r0, . . . , rj−1. 2 |
|
|
Вопрос о коротких рекуррентных соотношениях поставим следующим образом. |
1 Пусть фикси- |
|
ровано 1 ≤ s ≤ n −1, и предположим, что всякий раз, когда процесс не обрывается на |
k-м шаге, имеют |
|
место равенства |
ïðè 1 ≤ j ≤ k − s. |
|
γjk = (rk, A pj) = 0 |
(1) |
|
Это означает, что pk+1 выражается через s последних векторов базиса: |
|
|
|
k |
|
pk+1 = rk + |
X |
|
γjkpj. |
|
|
|
j=k−s+1 |
|
Какими свойствами при этом должна обладать матрица A? |
|
|
Рассмотрим такие матрицы, для которых A есть многочлен от A âèäà |
|
|
s−1 |
|
|
Xj |
|
|
A = |
ajAj. |
(2) |
|
=0 |
|
Лемма 2. Пусть имеет место (2). Тогда для любой начальной невязки r0 6= 0, не дающей обрыва процесса на k-м шаге, выполняются равенства (1).
Доказательство. Â ñèëó (2), A pj есть линейная комбинация векторов p1, . . . , pj+s. Согласно про- екционному условию, rk p1, . . . , pj+s ïðè j + s ≤ k (1). 2
Лемма 3. Предположим, что начальная невязка r0 6= 0 такова, что процесс не обрывается на n- м шаге и при этом выполняются равенства (1) äëÿ âñåõ 1 ≤ k ≤ n. Тогда для некоторых чисел
αj = αj(r0) имеет место соотношение
s−1
X
A r0 = αjAjr0.
j=0
1Данный вопрос усиленно дискутировался в конце 1970-х годов. Простое и ясное решение, которое мы здесь излагаем, основано на идеях статьи: В. В. Воеводин, Е. Е. Тыртышников, Об обобщении методов сопряженных направлений, Численные методы алгебры , Издательство Московского университета, 1981, с. 3 9. В 2004 г. Йорг Лиезен и Пoль Сэйлор заметили, что использованное в этой статье дополнительное ограничение на порядок матрицы легко снимается. Заметим, что другое, причем весьма
сложное, доказательство необходимости условия (2) было опубликовано в 1984 г. Фабером и Мантефе-
ëåì (V. Faber, T. Manteuffel, Necessary and sufficient conditions for the existence of a conjugate gradient method, SIAM J. Numer. Anal., vol. 21, no. 2, 1984, pp. 352 362).
Е. Е. Тыртышников |
349 |
|
|
Доказательство. То, что процесс не обрывается на |
n-м шаге, означает ортогональность невязок |
r0, . . . , rn−1 и линейную независимость векторов r0, Ar0, . . . , An−1r0. Равенства (Ark, pj) = 0 ïðè 1 ≤ j ≤ k −s означают, что (Ark, rj) = 0 ïðè 0 ≤ j ≤ k −s −1. Следовательно, A r0 rk ïðè k ≥ s −1 A r0 есть линейная комбинация векторов r0, . . . , rs−2 A r0 есть линейная комбинация векторов r0, Ar0, . . . , As−1r0. 2
Теорема. Пусть 1 ≤ s < n и матрица A такова, что хотя бы для одной начальной невязки r0 6= 0 процесс не обрывается на n-м шаге. Тогда для всех начальных невязок с тем же свойством для выполнения условия (1) необходимо и достаточно, чтобы матрица A удовлетворяла соотношению
(2).
Доказательство. Достаточность получена в лемме 2, поэтому перейдем сразу к доказательству необходимости. Линейная независимость векторов r0, Ar0, . . . , An−1r0 означает, что степень минимального
многочлена матрицы A равна n для каждого собственного значения имеется ровно одна жорданова клетка. Пусть x = r0 è y = Ar0. Ясно, что в случае начальной невязки, равной x èëè y, процесс не обрывается на n-м шаге. Более того, для начальной невязки вида x + γy процесс может обрываться ранее n-го шага лишь для какого-то конечного числа значений γ (не более числа жордановых клеток для A). Согласно лемме 3, имеем
s−1 |
s−1 |
s−1 |
Xj |
X |
X |
A x = αjAjx, |
A y = βjAjy, |
A (x + γy) = φjAj(x + γy). |
=0 |
j=0 |
j=0 |
Отсюда, с учетом равенства y = Ax,
s−1 |
s−1 |
|
X |
Xj |
|
α0x + (αj + γβj−1)Ajx + βs−1Asx = φ0x + (φj + γφj−1)Ajx + φs−1Asx |
||
j=1 |
=1 |
|
φ0 = α0; φj + γφj−1 = αj + γβj−1, 1 ≤ j ≤ s − 1; φs−1 = βs−1. |
|
|
Вычтем из второго равенства первое, умноженное на |
γ: φ1 =2α1 + γ(β0 − α0). Это равенство умножим |
|
íà γ и вычтем из третьего равенства: φ2 = α2 + γ(β1 −α1) −γ (β0 −α0). И так далее. В итоге получаем |
||
φs−1 = βs−1 = αs−1 + γ(βs−2 − αs−2) − γ2(βs−3 − αs−3) + . . . + (−1)sγs−2(β0 − α0) |
||
s−2 |
|
|
Xj |
|
|
γs−2−j(βj − αj)(−1)s−j = 0. |
|
|
=0 |
|
|
Последнее сооотношение должно выполняться для бесконечного числа значений γ |
αj = βj äëÿ |
|
âñåõ 0 ≤ j ≤ s − 1. Следовательно, равенство |
|
|
s−1 |
|
|
Xj |
|
|
A z = |
αjAjz |
|
=0 |
|
|
выполняется с одними и теми же числами αj для каждого из векторов z = x, Ax, . . . , An−1x, образующих базис в Cn. Поэтому получаем матричное равенство (2), в котором aj = αj. 2
350 |
Лекция 63 |
|
|
352 |
Лекция 64 |
|
|
Доказательство. |
Пусть µ собственное значение для B, íî íå äëÿ A. Тогда µ есть собственное |
значение для Λ + X−1F X, íî íå äëÿ Λ. Остается применить теорему Бауэра Файка. 2
64.2Расстояние между спектрами нормальных матриц
Теорема Виландта Хоффмана. Пусть A è B нормальные матрицы с собственными значениями λ1(A), . . . , λn(A) è λ1(B), . . . , λn(B). Тогда для некоторой подстановки σ : {1, . . . , n} → {1, . . . , n}
n
X
|λi(A) − λσ(i)(B)|2 ≤ ||A − B||2F .
i=1
Доказательство. Запишем A = QΦQ , B = ZΨZ , ãäå Q, Z унитарные матрицы, а Φ è Ψ диаго-
нальные матрицы из собственных значений φi = λi(A) è ψi = λi(B). В силу унитарной инвариантности нормы Фробениуса, ||A − B||F = ||Φ − V ΨV ||F , ãäå V = Q Z унитарная матрица. Далее,
||Φ − V ΨV ||F2 = |
tr(Φ − V Ψ V )(Φ − V ΨV ) = tr(Φ Ψ) + tr(Φ Ψ) − 2Re (tr(Φ V )(ΨV )) |
|||||
|
n |
n |
|
n n |
||
|
X |
Xi |
|
XX |
||
= |
|
|φi|2 + |
|ψi|2 − 2 |
αijsij, αij = Re( |
φi |
ψj), sij = |vij|2. |
|
i=1 |
=1 |
|
i=1 j=1 |
Легко проверить, что матрица S = [sij] является двоякостохастической (см. раздел 37.9). Поэтому при фиксированных вещественных числах αij функционал
nn
Xi |
X |
f(S) = |
αijsij |
=1 j=1
можно рассматривать как линейный функционал на множестве двоякостохастических матриц. Это замкнутое ограниченное выпуклое множество максимум линейного функционала на нем дости-
гается в какой-то угловой точке (см. раздел 26.7). Нетрудно убедиться в том, что угловыми точками
множества двоякостохастических матриц являются матрицы перестановок и только они |
äëÿ |
некоторой матрицы перестановки P и соответствующей ей подстановке σ |
|
nn
|
|
|
X |
|
|
X |
|
|
max f(s) |
|
f(P ) = |
|
|
|
|
|
|
S |
|
≤ |
i=1 |
i σ(i) = Re (φiψσ(i)) |
||||
|
|
|
|
|
i=1 |
|
||
n |
|
|
|
|
|
|
|
n |
Xi |
|
|
|
|
|
|
X |
|
||A − B||F2 ≥ |
|
|φi|2 + |ψσ(i)|2 − 2Re (φiψσ(i)) = |
|φi − ψσ(i)|2. 2 |
|||||
=1 |
|
|
|
|
|
|
|
i=1 |
Замечание. Теорема о непрерывной зависимости корней многочлена от коэффициентов в данном доказательстве не использовалась. Поэтому теорема Виландта Хоффмана дает еще одно доказательство факта непрерывной зависимости собственных значений матрицы от ее коэффициентов для специального класса матриц для нормальных матриц.
Следствие. Пусть A è B эрмитовы матрицы с собственными значениями λ1(A) ≥ . . . ≥ λn(A)
è λ1(B) ≥ . . . ≥ λn(B). Тогда
n
X
(λi(A) − λi(B))2 ≤ ||A − B||2F .
i=1
Доказательство. Пусть φi = λi(A) è ψi = λi(B). Достаточно заметить, что если φσ(i1) < φσ(i2) ïðè i1 < i2, òî
(φi1 − ψσ(i1))2 + (φi2 − ψσ(i2))2 ≥ (φi1 − ψσ(i2))2 + (φi2 − ψσ(i1))2. 2
354 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Лекция 65 |
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
в матрицах X0 è |
X |
; |
|
åñëè X0 = (X |
2 |
Q) |
3 |
R, то одинаковы скалярные произведения |
|||||||||||||||||
|
|
2 |
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
строк в матрицах X10 |
è X1. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
Доказательство. Пусть X0 |
= (X 1 P ) 2 Q. Это означает, что |
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n1 |
|
|
n2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Xi |
X |
pi0i qj0j xijk. |
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
xi00j0k = |
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
=1 j=1 |
|
|
|
|
|
|
|
|||
Рассмотрим скалярные произведения строк матрицы X30 |
с номерами k1 è k2: |
||||||||||||||||||||||||
Xi0 |
Xj0 |
xi00j0k1 xi00j0k2 = Xi0 |
Xj0 |
Xi1 |
Xj1 |
pi0i1 qj0j1 xi1j1k1 ! Xi2 |
Xj2 |
pi0i2 qj0j2 xi2j2k2 ! = |
|||||||||||||||||
|
|
Xi1 |
Xj1 |
Xi2 |
Xj2 |
|
Xi0 |
|
|
|
|
! |
|
|
! |
|
|
|
|||||||
|
|
|
pi0i1 pi0i2 |
|
Xj0 |
qj0j1 qj0j2 |
|
xi1j1k1 xi2j2k2 = |
|||||||||||||||||
|
|
Xi1 |
Xj1 |
Xi2 |
Xj2 |
δi1i2 δj1j2 xi1j1k1 xi2j2k2 = Xi1 |
Xj1 |
xi1j1k1 xi1j1k2 . |
Здесь мы использовали так называемый символ Кронекера:
1, |
α = β. |
δαβ = 0, |
α 6= β, |
Получено первое утверждение леммы. Остальные два утверждения устанавливаются аналогичным образом. 2
65.3Разложение Таккера
Теорема. Для любого трехмерного массива X = [xijk] размеров n1 × n2 × n3 сущест- вуют ортогональные матрицы P, Q, R такие, что трехмерный массив
S = [sijk] ≡ X {P, Q, R}
обладает следующими свойствами:
(1)каждая из трех матриц сечений для S имеет попарно ортогональные строки ;
(2)Ps21jk ≥ Ps22jk ≥ . . . ≥ Ps2n1jk;
|
j,k |
|
|
j,k |
|
|
j,k |
|
|
|
|
si21k ≥ si22k ≥ . . . ≥ sin2 2k; |
|||||||
(3) |
P |
|
|
P |
|
|
P |
|
|
(4) |
|
|
|
|
|
|
|||
|
i,k |
|
|
i,k |
|
|
i,k |
|
|
|
i,j |
sij2 |
1 |
≥ i,j |
sij2 |
2 |
≥ . . . ≥ i,j |
sijn2 |
3 . |
|
P |
|
|
P |
|
|
P |
|
|
Доказательство. Обозначим через X1, X2, X3 матрицы сечений массива X ïî îñÿì i, j, k и рассмотрим их сингулярные разложения:
X1 = P >Σ1V1, X2 = Q>Σ2V2, X3 = R>Σ3V3,
Е. Е. Тыртышников |
355 |
|
|
где матрицы P, Q, R, V1, V2, V3 ортогональные, а Σ1, Σ2, Σ3 диагональные прямоуголь-
ные матрицы, в которых сингулярные числа занумерованы по невозрастанию. Отсюда вытекает, что в каждой из преобразованных матриц сечений
X1 1 P = Σ1V1, X2 2 Q = Σ2V2, X3 3 R = Σ3V3
строки попарно ортогональны и расположены в порядке невозрастания их длин. Далее, согласно доказанной выше лемме, скалярные произведения строк в матрице
сечений по оси i для массива S = X {P, Q, R} те же самые, что и в матрице сечений по той же оси для массива X 1 P . То же верно в отношении скалярных произведений строк для матриц сечений по оси j для массивов S è X 2 Q, а также и для матриц сечений по оси k для массивов S è X 3 R. Тем самым доказаны свойства (1) (4). 2
Разложение S = X {P, Q, R} с указанными свойствами (1) (4) называется разло-
жением Таккера. Корни квадратные из сумм в (1) (4) суть сингулярные числа матриц сечений массива X ïî îñÿì i, j, k, соответственно.
Важное практическое значение разложения Таккера заключается в том, что оно дает надежную базу для построения приближений массива X суммами с малым числом
членов с разделением индексов i, j, k: для этого достаточно заменить строки с отно-
сительно малыми длинами на нули. Полученная от такой замены погрешность легко оценивается.
В задачах о вычислении аппроксимаций малого тензорного ранга разложение Таккера часто используется, чтобы получить начальное приближение.
Заметим, что разложение Таккера может быть построено с помощью матричных методов вычисления сингулярного разложения. В принципе, аналогичные построения можно выполнить и на основе каких-либо других методов аппроксимации с понижением
ранга, применяемых к матрицам сечений массива X.
Несмотря на то, что мы ограничились обсуждением трехмерных массивов, разложение Таккера легко переносится и на случай произвольных многомерных массивов. То же можно сказать и о других построениях данной лекции, в частности о факте единственности полилинейных аппроксимаций с точностью до эквивалентности.
356 |
Лекция 65 |
|
|