VMLA-Matzokin-2012 / 2012-лекции BMLA

Совместность системы с вырожденной матрицей

Система

Ax b называется совместной,

если она

имеет

решение.

Следовательно, система совместна

b

ImA .

{x * y

y

k er A}– общее решение системы, где x *– любое ее решение.

Теорема.

Если система Ax

b совместна ( b

ImA ),

то

B: det B 0

совместна

система (BA)x

(Bb) и

множества

решений этих систем совпадают.

Система Ax

b несовместна, если b

ImA .

R

n t

R

n

t,t

y(n t )

g(n t )

,

0

t

y(t )

(t )

Rn t

Rn t,t

y(n t )

g(n t )

0

0

y(t )

,

0

y(n t )

Rn1 t

(g(n t ) Rn t,t y(t ) )

y(t )

y(t )

y(t ) Rt ,

Для решения системы линейных алгебраических уравнений

a1

b1

0

x1

f1

c2

a2

b2

x2

f2

,

cn 1

an 1

bn 1

xn 1

fn 1

0

0

cn

an

xn

fn

где диагональные блоки

ai либо числа (метод прогонки),

либо квадратные

матрицы порядка ni

(метод матричной прогонки), и все ”главные миноры” не

равны нулю:

a1

b1

0

c2

a2

b2

Ai

,

det Ai

0, i

1, ..., n ,

ci 1

ai 1

bi 1

0

0

ci

ai

1-й шаг:

вычисляем

матрицу

1

a1

1b1 и

вектор

z1 a1

1f1,

т.е.

получаем

систему

E1

1

0

x1

z1

c2

a2

b2

x2

f2

,

cn 1

an 1

bn 1

xn 1

fn 1

0

0

cn

an

xn

fn

где E1 – единичная матрица порядка n1 ;

2-й шаг:

сначала из второго уравнения вычитаем первое, умноженное на c2 :

E1

1

0

x1

z1

0

a2

c2 1

b2

x2

f2

c2z1

,

cn 1

an 1

bn 1

xn 1

fn 1

0

0

cn

an

xn

fn

затем

вычисляем

матрицу

2 (a2

c2 1) 1b2

и

вектор

z

2

(a

2

c

2

1

)

1(f

2

c

2

z ) , т.е. получаем систему

1

E1

1

0

x1

z1

0

E2

2

x2

z2

c3

a3 b3

x3

f3

,

cn 1

an 1

bn 1

xn 1

fn 1

0

cn

an

xn

fn

E1

1

0

x1

z1

0

E2

2

x2

z2

0 Ek 1

k 1

xk 1

zk 1

,

ck

ak

bk

xk

fk

cn 1

an 1

bn 1

xn 1

fn 1

0

cn

an

xn

fn

сначала из k -го уравнения вычитаем (k

1) -ое, умноженное на ck :

E1

1

0

x1

z1

0

E2

2

0

Ek

xk 1

zk 1

1

k

1

xk

fk

ck zk 1 ,

0

ak

ck k 1

bk

cn 1

an 1

bn 1

xn 1

fn 1

xn

fn

0

cn

an

затем вычисляем

матрицу

k

(ak

ck

k 1) 1bk

и

вектор

zk

(ak

ck

k 1) 1(fk

ckzk 1) , т.е. получаем систему

E1

1

0

x1

z1

0

E2

2

x2

z2

0

Ek

k

xk

zk

,

0

ak 1 bk 1

xk 1

fk 1

cn 1

an 1

bn 1

xn 1

fn 1

0

cn

an

xn

fn

E1

1

0

x1

z1

0

E2

2

x2

z2

,

0 En 1

n 1

xn 1

zn 1

0

cn

an

xn

fn

сначала из n -го уравнения вычитаем (n

1) -ое, умноженное на cn :

E1 1

0

x1

z1

,

0 En 1

n 1

xn 1

zn 1

0

0

an cn n 1

xn

fn cnzn 1

затем вычисляем вектор zn

(an cn n 1) 1(fn cnzn 1) , т.е.

получаем систему

E1

1

0

x1

z1

0

E2

2

x2

z2

,

0 En 1

n 1

xn 1

zn 1

0

0

En

xn

zn

1

a1

1b1,

k

(ak ck k 1) 1bk , k 2, ..., n 1;

z1

a1

1f1,

zk

(ak ck k 1) 1(fk ck zk 1), k 2, ..., n.

E1

1

0

x1

z1

0

E2

2

x2

z2

,

0 En 1

n 1

xn 1

zn 1

0

0

En

xn

zn

вычисляем по формулам:

xn

zn ,

xn 1

n 1xn

zn 1,

...

xi

ixi

1

zi ,

...

x1

1x2

z1.

Теорема.

Если i | ai | | ci | | bi

| (c1 bn

0) , то det Ak 0 k

(т.е. LU –разложение существует и метод прогонки применим).

Док–во.

(от противного) Пусть

k : det Ak

0 ,

тогда

x(k)

0: A

x(k) 0 и

i: | x(k) |

max| x(k)

|

0.

k

i

1 j

k

j

Разделим равенство c x(k )

a

x(k )

b x(k )

0

на x(k )

и оценим a

:

i

i 1

i

i

i i

1

i

i

| x( k ) |

| x( k ) |

| ai |

| ci

|

i

1

| bi

|

i

1

| ci |

| bi

| – противоречие условию.

| x( k ) |

| x( k ) |

i

i

n

n

Sp(A)

Si ,

Si { C : |

ai i | Ri

| ai j |}.

i 1

j 1, j

i

Доказательство.

Пусть

k – произвольное собственное число матрицы A , а

x(k) 0 – соответствующий ему собственный вектор, т.е. Ax(k)

k x(k) .

Найдем круг Гершгорина, содержащий точку

k

на комплексной плоскости.

Определим номер i

максимальной по модулю компоненты xi(k)

вектора x(k ) и

i -ое уравнение системы Ax(k)

k

x(k) перепишем в виде

(

k

a

i i

) x(k)

a

i1

x(k)

...

a

i,i 1

x(k)

a

i,i 1

x(k) ...

a

i n

x(k) .

i

1

i 1

i 1

n

Разделив это равенство xi(k)

0 и, учитывая,

что | x(k)j / x(k)i |

1

j , после

применения неравенства треугольника получим

т.е.

k

принадлежит i -ому кругу Гершгорина.

Итак,

для каждого собственного числа матрицы A существует круг

n

| ai i | Ri

| ai j |, i 1, 2, ..., n ,

j 1, j

i

Ri ai i

0

Re

и, следовательно,

0 не является её собственным значением, т.е. матрица A

алгебраических уравнений, так как система

уравнений Ax b над полем

комплексных чисел сводится (доказать) к системе

Re A

Im A

Re x

Re b

Im A

Re A

Im x

Im b

с вещественными коэффициентами.

Пример:

пусть для матрицы системы Ax

b

построена обратная

A 1

(LU) 1 . Из–за

ошибок округления мы получим не обратную матрицу, а к ней близкую:

A 1 .

Тогда x

A 1x

x ,

а для разности x

x

имеем уравнение A(x

x) Ax

b ,

приближенное решение которого

(x

x)

A 1 (Ax

b)

x

x

A 1(Ax

b)

или итерационное уточнение

xk 1

xk

A 1(Axk

b),

k

0, 1, ... .

Одношаговый (двухслойный) итерационный метод решения Ax

b :

xk 1

xk

H

k

(A xk

b)

x0

задан,

k

0, 1, 2, ... ;

H

k

заданные матрицы.

xk – k -тое приближение (к решению системы),

zk

xk

x

zk 1

zk

H

Azk

(E

H

A)zk

– ошибка k -той итерации

k

k

– процесс для ошибки,

Sk

E

HkA – матрица шага для ошибки;

rk

Axk

b Azk

rk 1

rk

H

Ark

(E AH

k

)rk

k

– невязка k -той итерации

– процесс для невязки,

Tk

E

A Hk

– матрица шага для невязки;

Метод называется сходящимся, если lim || zk ||

0

x0

Rn .

k

(Так как в R n

все нормы эквивалентны, то определение сходимости от нормы

не зависит.)

Стационарный одношаговый итерационный метод решения Ax

b :

xk

1 xk

H(A xk

b)

x0

задан,

k

0, 1, 2, ... ;

H

заданная матрица.

Впредь мы будем предполагать, что det A

0 и det H 0 .

xk 1

xk

H(A xk

b),

x0 задан,

k

0, 1, 2, ... ;

H

заданная матрица.

Достаточные условия:

Теорема.

Если || S ||

|| E

HA ||

1, то || zk ||

0 , т.е. xk

x

x0

Rn .

Док–во.

|| xk

x ||

|| zk ||

|| Szk 1 ||

|| S ||

|| zk 1 ||

|| S ||

|| Szk 2 ||

|| S || 2

|| zk 2 ||

|| S || k

|| z0 ||

0.

Теорема.

Если || T ||

|| E

AH ||

1, то || zk ||

0 , т.е. xk

x

x0

Rn .

Док–во.

|| Axk

b ||

|| rk ||

|| T rk 1 ||

|| T ||

|| rk 1 ||

|| T || || T rk 2 ||

|| T || 2

|| rk

2 ||

|| T || k || r0 ||

0.

|| xk

x ||

|| zk ||

|| A 1rk ||

|| A

1 ||

|| rk ||

0 .

Необходимое и достаточное условие сходимости стационарного

итерационного метода

xk 1

xk

H(A xk

b)

x0

задан,

k

0, 1, 2, ... ;

H

заданная матрица,

det H

0,

для решения системы линейных алгебраических уравнений Ax

b,

det A

0 ,

сформулировано в следующей теореме.

Теорема.

Стационарный итерационный метод

xk 1

xk

H(A xk

b)

x0

задан,

k

0, 1, 2, ... ;

H

заданная матрица,

det H

0,

для решения системы линейных алгебраических уравнений Ax

b,

det A

0 ,

сходится тогда и только тогда, когда

(S)

1, где S

E

HA – матрица шага

для ошибки zk

xk

x стационарного итерационного метода: zk

Szk 1.

Док–во.

Необходимость.

Пусть стационарный итерационный процесс сходится, т.е.

z0

0

zk

Szk 1

Sk z0

k

0 .

Выберем начальное приближение x0

стационарного итерационного процесса

таким, чтобы

вектор

начальной

ошибки

z0

x0

x

0

был

собственным

вектором матрицы шага S , соответствующим некоторому (любому) ее

собственному значению

Sp (S) , т.е.

Sz0

z0 , z0

0 .

Тогда

zk

Szk 1

Sk z0

k z0

k

0

Достаточность.

Заметим, что для любого

0

существует

матрица

Q ,

преобразующая

матрицу S к жордановой форме:

Q 1SQ

J

diag{J1, , ..., Jm, },

где

i

0

Ji,

i

,

sP(s) .

i

0

i

Тогда

zk Szk 1

Q J Q 1zk 1

Q (J )k Q 1z0 ,

|| zk ||

1 ||

)k

|| z0 ||

k

|| Q

|| || Q

(|| J

||

0,

если || J

||

max {|

|

}

(S)

1.

Sp(S)

Так как

(S)

1, то || J

||

1 для любого 0

1

(S) .

Асимптотическая скорость сходимости

Для отношения нормы ошибки zk

к

норме

начальной ошибки z0

стационарного

итерационного

метода

xk

1

xk

H(Axk

b) справедлива

оценка

|| zk ||

|| Sk ||, где S

E

HA – матрица шага для ошибки.

|| z0

||

Отсюда можно сделать вывод,

что за каждую

из

k

итераций ошибка в

“среднем” убывает в 1 / dk , dk

k || Sk || , раз. Тогда для уменьшения начальной

ошибки в 1 /

раз (|| zk || / || z0 ||

(dk )k

) достаточно выполнить

k( )

ln

ln

итераций.

ln dk

ln k || Sk ||

ln k || Sk ||

k( )

ln

.

скорость

время

растояние

Величина

Rk

ln k || Sk ||

называется средней

скоростью

сходимости

итерационного

метода

за

k итераций. Очевидно, что

средняя

скорость

сходимости R k

зависит от выбора матричной нормы.

Теорема.

Если || S ||

|| E

HA || 1, то для уменьшения начальной ошибки

в 1 / раз достаточно выполнить

k( )

ln

1 итераций.

ln|| S||

Док–во.

При k

k( ) имеем

|| zk ||

|| Skz0 ||

|| S || k

|| z0 ||

|| S || k( )

|| z0 ||

ek( ) ln||S|| || z0 ||

eln

|| z0 ||

|| z0 ||.

Доказать: Rk

ln || S || .

Величина R

lim

R

k

ln { lim k || Sk ||} называется асимптотической

k

k

скоростью сходимости стационарного итерационного метода.

Теорема. Если

(S)

(E

HA)

1, то R

ln

(S) .

Доказательство. Достаточно доказать, что

lim k || Sk ||

(S) .

k

1. lim

k || Sk ||

(S) .

k

Действительно,

так как

|| S ||

(S) для любой матричной нормы

|| S ||,

подчиненной

векторной

норме

|| z ||,

то

|| Sk ||

(Sk )

[

(S)]k .

Следовательно,

k || Sk ||

(S)

lim

k || Sk ||

(S) .

k