Лекции по методам вычислений / glava3
.pdfГлава 3 Решение задач линейной алгебры
|
|
|
|
|
|
|
|
|
|
§1 Нормы векторов и матриц |
|
|
|||||||||||||||||
|
|
Обозначение: Cn — пространство n-мерных векторов с ком- |
|||||||||||||||||||||||||||
плексными компонентами. |
Естественный базис в Cn — векторы |
||||||||||||||||||||||||||||
ek |
= {δkj }1n. Компоненты векторов x, y будем обычно обозначать: |
||||||||||||||||||||||||||||
x |
= |
(ξ1, . . . , ξn), y = |
(η1, . . . , ηn), |
их |
скалярное произведение — |
||||||||||||||||||||||||
|
|
|
P |
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
(x, y) = |
k=1 ξk ηk . |
. Заданная на |
|
|
|
вещественная функция ν(x) , |
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
Cn |
|||||||||||||||||||
|
|
Определение |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
обозначаемая обычно ν(x) = kxk, обладающая свойствами: |
|||||||||||||||||||||||||||||
|
|
1) kxk ≥ 0, kxk = 0 тогда и только тогда, когда x = 0 (нулевой |
|||||||||||||||||||||||||||
вектор), |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
2) для любых x |
|
Cn и λ |
|
C |
|
k |
λx |
k |
= |
λ |
x , |
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
C |
n |
|
|
|
|
|
| | k |
k |
|
|
||||||
|
|
3) для любых x, y |
|
|
kx + yk ≤ kxk + kyk (неравенство |
||||||||||||||||||||||||
треугольника), |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
называется нормой. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
Сразу же отметим очевидное следствие 3): |
|
|
|||||||||||||||||||||||||
|
|
4) Для любых x, y Cn |
|
kxk − kyk ≤ kx − yk. |
|
||||||||||||||||||||||||
|
|
Наиболее |
|
употребительными |
являются |
следующие нормы, |
|||||||||||||||||||||||
имеющие специальные обозначения |
1: |
|
|
|
|
|
|
|
|
||||||||||||||||||||
k k |
|
|
|
|
|
|
|
|
|
|
|
− |
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
uk=1 | |
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
x |
|
uX |
ξk 2 = |
p |
(x, x) |
|
|
|
евклидова норма, длина вектора, |
|||||||||||||||||||
|
2 = v n |
|
|
|
|
||||||||||||||||||||||||
|
|
|
t |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
kxk∞ = max |ξk |, |
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
kxk1 = |
X |
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|ξk |. |
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k=1 |
|
|
|
|
|
|
|
|
||
|
|
|
|
||||||||||||||||||||||||||
|
|
1Эти обозначения связаны с тем, что перечисляемые ниже нормы явля- |
|||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
45 |
|
|
|
p |
= |
Pk=1 |
k |
|
1/p (p ≥ 1). |
||
ются частными случаями норм Гельдера: kxk |
|
|
n |
|ξ |
|p |
46
Проверка аксиом 1)-3) для этих норм элементарна.
В силу неравенства Коши - Буняковского |(x, y)| ≤ kxk2kyk2. Кроме того, очевидно неравенство |(x, y)| ≤ kxk1kyk∞.
Приведем еще один важный пример нормы. Пусть ϕk (k = 1, . . . , n) комплекснозначные непрерывные на [a, b] линейно независи- мые функции. Тогда
k k |
|
|
n |
ξk ϕk |
= t [a,b] |
|
n |
ξk ϕk (t) |
|
|
k=1 |
C |
|
k=1 |
|
||
x |
= |
X |
|
max |
X |
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
есть норма в Cn. Доказательство очевидно.
Теорема 1 (об эквивалентности норм). Все нормы в Cn эк- вивалентны. Это значит, что для любых двух норм k · k0 и k · k00 найдутся такие постоянные c0 и c00, что для всех x Cn выполняют-
ся неравенства
kxk0 ≤ c0kxk00, kxk00 ≤ c00kxk0.
Д о ка з а т е л ь с т в о. Можно считать, что одна из норм есть k · k2, а другая k · k произвольна. Тогда
|
|
|
|
|
q |
|
|
|
≤ X |ξk | kekk ≤ c0kxk2, c0 |
|
X kekk2. |
||||
kxk = X |
ξk ek |
|
= |
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
≤ kx − yk ≤ c0kx − yk2, так что k · k — |
||||
В частности, |
kxk − kyk |
|||||||||||
непрерывная функция |
. На |
сфере S = { x |
kxk2 = 1 } она достигает |
|||||||||
своего минимального значения, отличного |
от нуля, т.к. на S в нуль |
|||||||||||
|
|
|
|
|
x S k k |
= m > 0. Для |
|
6 |
||||
не обращается: min |
|
x |
|
любого x = 0 положим |
||||||||
y = x/k1 k2 |
; тогда |
kxk |
= |
kxk2 kyk ≥ mkxk2 |
, |
так что для любого x |
||||||
|
x |
|
|
|
|
|
|
|||||
kxk2 ≤ |
|
kxk. |
|
|
|
|
|
|
|
|
|
|
m |
|
|
|
|
|
|
|
|
Если использовать приведенный выше пример нормы, то из теоремы 1 немедленно получим
Следствие. При заданных n и [a, b] найдется такая постоян- ная m > 0, что для любого полинома Pn Pn: Pn(t) = a0 + · · ·+ antn
p
выполняется неравенство kPnkC[a,b] ≥ m P a2k .
47
Это следствие формулировалось в §1 главы 1 в виде леммы. Пусть даны последовательность векторов xs = (ξ1s, . . . , ξns ) и
вектор x.
Теорема 2. Эквивалентны утверждения:
А. При всех k ξks → ξk ,
Б. kxs − xk → 0,
В. для всех y Cn (xs , y) → (x, y).
Д о ка з а т е л ь с т в о. Если Б. выполняется для какой-то одной нормы, то в силу теоремы 1 и для всех остальных.
1)A Б. Очевидно, если k · k = k · k2.
2)Б В. |(xs, y) − (x, y)| ≤ kxs − xk2kyk2.
3)В А. Достаточно взять y = ek .
Если выполнено хоть одно из требований А-В (а значит, и два другие), то говорят, что последовательность xs сходится к x
(xs → x).
Множество (комплексных) квадратных матриц порядка n обо- значим Mn. Элементы матрицы A будем обозначать akj :
A = |
. . . . . . |
. . . . |
|
a11 . . . |
a1n |
|
an1 . . . |
ann |
Единичную матрицу будем обозначать E. Заданная на Mn веще- ственная функция kAk называется нормой, если она удовлетворяет требованиям:
1)kAk ≥ 0, kAk = 0 A = 0,
2)kλAk = |λ| kAk,
3)kA + Bk ≤ kAk + kBk.
Как и для векторов, из 3) следует
4)kAk − kBk ≤ kA − Bk.
Таким образом, норму в Mn можно рассматривать как норму в Cn2 . Поэтому в силу теоремы 1 все нормы в Mn эквивалентны.
Определение. Пусть k · k некоторая норма в Cn. Матричная
норма |
|
|
|
|
|
|
|
|
A |
= sup |
kAxk |
= |
sup |
k |
Ax |
k |
(1) |
k k |
|
x |
|
kxk=1 |
|
|
||
|
x6=0 k k |
|
|
|
|
|
48
называется операторной нормой, порожденной соответствующей векторной.
То, что определяемая формулой (1) функция действительно есть норма, проверяется элементарно. Если k·k — операторная нор- ма, то помимо 1)-4) она обладает еще легко проверяемыми свойства- ми:
5)для всех векторов x kAxk ≤ kAk kxk и существует такой вектор x0, что kx0k = 1, kAx0k = kAk,
6)kEk = 1,
7)kABk ≤ kAk kBk,
8)для любого собственного числа матрицы A |λ| ≤ kAk.
Рассмотрим последовательность матриц
s |
|
a11s |
. . . a1sn |
|
|
s |
. . . |
. s |
|||
A = |
|
. . . |
|
. . |
|
|
an1 |
. . . |
ann |
и матрицу A.
Теорема 3. Эквивалентны утверждения:
А. при всех k, j |
akjs → akj , |
|
|||
Б. kAs − Ak → 0, |
|
||||
В. для всех x Asx → Ax, |
|
||||
Г. для всех x и y |
(Asx, y) → (Ax, y). |
||||
Д о ка з а т е л ь с т в о. Как и в теореме 2, норма в Б произволь- |
|||||
на. |
|
|
|
|
|
А Б — из теоремы 2. |
|
||||
Б В. Для операторной нормы kAsx − Axk ≤ kAs − Ak kxk. |
|||||
Г |
А. |
Достаточно рассмотреть |
x = ej , y = ek . |
||
В |
Г. |
|
(Asx, y) − (Ax, y) ≤ kAsx − Axk2kyk2, |
||
|
|
|
|
Определение сходимости последовательности матриц дается так же, как для векторов.
Операторные нормы матрицы, порожденные введенными вы- ше векторными k · k2, k · k∞ и k · k1, помечаются теми же значками.
Теорема 4. Справедливы равенства:
|
|
X |
|
kAk∞ = |
max |
|akj |, |
(2) |
k |
j
|
|
X |
49 |
||
|
|
|
|||
kAk1 = |
max |
|
|
|akj |, |
(3) |
j |
|
|
|||
|
|
k |
|
||
kAk2 = |
√ |
|
|
|
|
Λ, |
(4) |
где Λ — максимальное собственное число матрицы2 A A.
Д о ка з а т е л ь с т в о. 1) Обозначим правую часть (2) κ и по- ложим y = Ax. Тогда
X
|ηk | = akj ξj ≤ κkxk∞,
j
|
ξj = sign ak0 j , y = Ax. |
|
kxk∞ = 1, ηk0 |
= |
|
, |
Pk |
|
k∞ |
|
так что kAxk∞ = kyk∞ ≤ κkxk∞ и kAk∞ ≤ κ. Пусть κ = |
j |
|ak0j |. |
||||||||
Положим |
|
Тогда |
|
|
κ |
|
Ax |
|
= |
kyk∞ ≥ κ и потому kAk∞ ≥ κ.
2) Пусть κ — правая часть (3), Ax = y.
X X X X
|
|
|
|
kyk1 = |
|
|
akj ξj ≤ |
|ξj | |akj | ≤ κkxk1 |
||||
|
|
|
|
|
k |
|
j |
|
|
|
j |
k |
|
k |
|
k1 ≤ |
|
|
|
|
k | |
|
|
| |
|
k k1 |
= 1, k k1 |
|
|
kPk1 |
≥ |
|
. Тогда для вектора x = ej0 имеем |
|||||
и |
|
A |
|
κ. Пусть |
κ = |
|
akj0 |
|||||
x |
|
|
Ax = κ, и |
|
A |
|
κ. |
|
3) Матрица A A эрмитова. Все ее собственные числа веще- ственны, неотрицательны, и она имеет полную ортогональную си- стему собственных векторов. Пусть Λ1 ≥ Λ2 ≥ · · · ≥ Λn (Λ = Λ1) все ее собственные числа и z1, . . . , zn — соответствующие собственные векторы, такие что (zk, zj ) = δkj . Произвольный вектор x разложим
2 |
|
|
|
|
P |
k k |
|
k k2 |
2 |
P | |
2 |
| |
|
по этим векторам: x = |
α z |
. Тогда |
x |
2 |
= (x, x) = |
αk |
2 и |
||||||
kAxk2 = (Ax, Ax) = (x, A Ax) = X Λk|αk | |
≤ Λkxk2. |
||||||||||||
√ |
|
|
|
|
|
|
2 |
= (Az1, Az1) = Λ(z1, z1) = |
|||||
|
|
|
|
||||||||||
Так что kAk2 ≤ |
Λ. В то же время kAz1k2 |
||||||||||||
Λkz1k22 и kAk2 ≥ |
√ |
|
|
|
|
|
|
|
|
|
|
||
Λ. |
|
|
|
|
|
|
|
|
2Корни из собственных чисел матрицы A A называются сингулярными числами матрицы A.
50
Следствие. Если матрица A эрмитова, то kAk2 = max |λk |, где λk — собственные числа самой матрицы A.
Д о ка з а т е л ь с т в о. В эрмитовом случае A A = A2, и соб-
ственные числа этой матрицы суть квадраты собственных чисел матрицы A.
Теорема 5. Для kAk2 справедливы оценки:
s
X X
p
kAk2 ≤ |akj |2, kAk2 ≤ kAk∞kAk1.
kj
До ка з а т е л ь с т в о. 1) Для y = Ax имеем
|
2 |
|
|
|
kyk22 = X X akj ξj |
|
≤ |
X X |
|akj |2 |
X |
|ξj |2 |
|
= |
||
|
|
|
|
|
|
|
|
|
|
|
k |
|
j |
|
|
k j |
|
j |
|
|
|
|
|
|
|
|
|
|
= kxk22 |
|
|akj |2. |
|
|
|
|
|
|
|
|
|
|
X X |
k j
2) kAk22 = Λ ≤ kA Ak1 ≤ kAk1kA k1 = kAk1kAk∞.
Задача 1. Доказать, что для норм Гельдера при q → ∞ выполняется соотношение
n!1/q
X
kxkq = |ξk |q → kxk∞. k=1
Задача 2. Пусть B неособенная матрица и k.k — векторная норма. Положим kxk0 = kBxk. Показать, что k · k0 также норма, и найти выражение для порожденной этой нормой операторной матричной.
Задача 3. Для p и q, принимающих независимо друг от друга значения
1, 2, ∞, найти
sup |
kxkp |
, |
sup |
kAkp |
. |
|||
|
|
|||||||
x |
Cn kxk |
|
A |
M |
n |
kAk |
||
|
q |
|
|
q |
Обратить внимание на зависимость этих величин от n.
§2 Матричная геометрическая прогрессия
и некоторые оценки
51
В этом §, если не оговорено противное, мы всегда считаем, что задана произвольная векторная норма, а норма матрицы — всегда
порожденная этой векторной операторная норма. |
|
|
|
|
|
|
|
|
||||||||||
Пусть A |
M |
|
|
|
матрица |
|
Матричная геометриче |
|
||||||||||
n — некоторая |
s |
|
. |
|
|
|
|
|
|
|
|
s |
|
- |
||||
ская прогрессия — последовательность A . Вопрос: когда A → 0? |
|
|||||||||||||||||
Лемма 1. Если |
λ < 1, ν |
|
N, то C |
ν |
λs−ν |
→ν |
0 при s |
→ ∞ |
. |
|
||||||||
|
|
| | |
|
s |
|
|
|
|
ν |
. |
|
|
||||||
Д о ка з а т е л ь с т в о следует из того, |
что Cs |
≤ s |
|
|
|
|||||||||||||
Лемма 2. Пусть |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
λ |
1 |
0 |
. . . |
|
0 |
|
|
|
|
|
|
|
|
|
|
|
|
0 |
λ |
1 |
. . . |
|
0 |
|
M |
n |
|
|
|
|
|
||||
Dn = . . . . . . . . . . . . |
. . . |
|
|
. |
|
|
(1) |
|||||||||||
|
|
0 |
0 |
λ |
. . . |
|
0 |
|
|
|
|
|
|
|
||||
|
|
0 |
0 |
0 |
0 |
|
λ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Если |λ| < 1, то Dns → 0.
Д о ка з а т е л ь с т в о. Достаточно показать, что при всех Dns ek → 0. Введем обозначение: ek = 0 при k ≤ 0. Тогда Dnek λek + ek−1 и методом индукции легко показывается, что
s
X
Dns ek = Csν λs−ν ek−ν .
ν=0
k
=
При s > k − 1
k−1
X
Dns ek = Csν λs−ν ek−ν .
ν=0
Используя лемму 1, получаем требуемое.
Определение. Спектральным радиусом матрицы A (обозна- чение ρ(A)) называется максимальный из модулей ее собственных чисел.
Теорема 1. Для того чтобы As → 0, необходимо и достаточно выполнение неравенства ρ(A) < 1.
Д о ка з а т е л ь с т в о. 1) Необходимость. От противного. Пусть матрица A имеет такое собственное число, что |λ| ≥ 1 и
52
пусть z — соответствующий собственный вектор. Тогда kAszk =
|λ|skzk 9 0 и As 9 0.
2) Достаточность легко показывается, если A имеет полную систему собственных векторов, но предполагать это мы не будем и воспользуемся для A канонической формой Жордана: A = BDB−1,
где
|
|
Dn1 0 . . . |
0 |
|
|
D = |
0 Dn2 . . . |
0 |
, |
||
|
. . . . . . . . . |
. . . |
|
|
|
|
|
|
|
|
|
00 0 Dnl
Dnj — матрицы вида (1) с собственными числами λj матрицы A на главной диагонали. Тогда As = BDsB−1, причем
Ds = |
Ds |
0 |
. . . |
0 |
, |
|
0 |
Dns 2 |
. . . |
0 |
|||
|
|
n1 |
|
|
|
|
|
0 |
0 |
0 |
Dns l |
||
|
s |
. . . . . . . . . . . . |
|
|||
и в случае ρ(A) < 1 D |
|
|
|
|
||
→ 0. |
|
|
|
Рассмотрим теперь сумму членов матричной геометрической прогрессии (ряд)
E + A + A2 + A3 + . . . . |
(2) |
Теорема 2. Для того чтобы ряд (2) сходился, необходимо и достаточно ρ(A) < 1. В случае сходимости его сумма S = (E −A)−1.
Д о ка з а т е л ь с т в о. Необходимость следует из того, что об- щий член сходящегося ряда обязан стремиться к нулю, и теоремы
1.
Достаточность. Пусть Sm — частная сумма ряда. Тогда (E − A)Sm = E − Am+1. Т.к. 1 не есть собственное число матрицы A
(ρ(A) < 1), то существует (E − A)−1 и Sm = (E − A)−1(E − Am+1).
Остается перейти к пределу при m → ∞.
Следствие. Если kAk < 13, |
то ряд (2) |
сходится, матрица |
||
E − A неособенная и |
1 |
|
|
|
k(E − A)−1k ≤ |
. |
(3) |
||
|
||||
1 − kAk |
3Напомним, что kAk — операторная норма.
53
Д о ка з а т е л ь с т в о требуется лишь для (3):
kSmk ≤ 1 + kAk + kAk2 + · · · + kAkm ≤ |
1 |
. |
|
||
1 − kAk |
Определение. Говорят, что A матрица с диагональным пре- обладанием, если при всех k
X
|akk | > |akj |.
j=6k
Теорема 3 (признак Адамара). Матрица с диагональным преобладанием неособенная.
Д о ка з а т е л ь с т в о. Диагональные элементы матрицы A от- личны от нуля, и она допускает представление A = D(E + R), где
|
|
|
|
a11 |
0 |
. . . |
0 |
|
|
|
|
|
D = |
|
0 a22 |
. . . |
0 |
|
|||
|
|
|
. . . . . . |
. . . |
. . . |
|
|
|||
|
|
|
|
|
0 |
0 |
. . . ann |
|
|
|
|
|
|
|
|
|
|
||||
|
|
0 |
|
|
a12/a11 |
. . . a1n/a11 |
. |
|||
R = |
a21/a22 |
an2 |
0 |
. . . a2n/a22 |
||||||
|
an1/ann |
/ann |
. . . |
|
0 |
|
||||
|
|
. . . |
|
|
. . . . . . . . . |
|
||||
|
|
|
|
|
|
|
|
|
Здесь kRk∞ < 1, поэтому матрица E + R обратима и A представлена
ввиде произведения двух обратимых матриц.
За м е ч а н и е. Так как неособенность матрицы влечет и неосо- бенность транспонированной, то для неособенности матрицы доста- точно и “диагонального преобладания в столбцах”.
Определение. Кругами Гершгорина матрицы A называются
круги на комплексной плоскости
Λk = { λ C |
|
|λ − akk | ≤ |
X |
|
|akj | }. |
||
|
|
j6=k |
|
|
|
|
54
Теорема 4. Все собственные числа матрицы A содержатся в объединении ее кругов Гершгорина.
P
Д о ка з а т е л ь с т в о. Если λ / Λk, то |akk − λ| > j=6k |akj |, так что если λ / Λk , то A − λE матрица с диагональным преобла-
данием и потому неособенная.
З а м е ч а н и е. Точно так же все собственные числа содержат- ся в кругах Гершгорина транспонированной матрицы.
Пусть исходные данные в какой-то задаче вычисления извест- ны нам неточно. Ошибка в решении, вызванная неточностью исход- ных данных, называется неустранимой. Займемся оценкой неустра- нимой ошибки в задачах обращения матриц и решения систем ли- нейных уравнений.
|
Теорема 5. |
Пусть матрица A неособенная и матрица |
A |
||||||||||||||
такова, что kA−1k k |
Ak < 1. |
|
|
Тогда матрица A + A также неосо- |
|||||||||||||
бенная и выполняются оценки |
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
k |
(A + A)−1 |
|
|
|
|
kA−1k |
, |
|
|
|||||
|
|
|
|
|
|
|
k ≤ 1 − kA−1k k Ak |
|
|||||||||
|
|
k |
(A + A)−1 |
− |
A−1 |
k ≤ |
|
kA−1k2k Ak |
. |
|
|||||||
|
|
|
|
|
|
|
|
1 − kA−1k k Ak |
|
||||||||
|
Д о ка з а т е л ь с т в о. По следствию из теоремы 2 матрица E + |
||||||||||||||||
A−1 |
A обратима и |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
k(E + A−1 |
A)−1k ≤ |
|
|
1 |
|
. |
|
|||||||
|
|
|
|
|
|
|
|
||||||||||
|
|
|
1 |
− k |
A |
A |
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
k k |
k |
|
|||
Т.к. |
A + |
A = A(E + A−1 |
A), то существует (A + A)−1 |
= |
|||||||||||||
(E + A−1 |
A)−1A−1, откуда сразу же следует первая из доказыва- |
емых оценок. Докажем вторую:
(A + A)−1 − A−1 = [E − A−1(A + A)](A + A)−1 =
= −A−1 A(A + A)−1
и остается применить первую, уже доказанную, оценку.