Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

VMLA-Matzokin-2012 / 2012-лекции BMLA

.pdf
Скачиваний:
328
Добавлен:
06.06.2015
Размер:
4.66 Mб
Скачать

Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.

x0

R n задан,

 

 

xk

i/n

xk

(i 1)/n

e ,

 

 

 

 

k,i

i

 

k,i

(ai i )

1[rk (i 1)/n ] i :

|| zk i/n || A inf || zk (i 1)/n

ei || A , i 1, 2, ..., n,

k

0, 1, ...,

 

 

 

т.е. на каждом дробном шаге энергетическая норма ошибки уменьшается

меньше, чем в методе полной релаксации (

 

1):

 

 

 

 

 

 

 

 

 

 

 

 

|| zk

i/n || 2A

|| zk

(i

1)/n

|| 2A

 

(rik (i 1)/n )2

(

 

k,i

ai,i

rki

(i

1)/n )2

 

 

 

 

 

 

 

 

 

 

 

 

ai,i

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|| zk

(i

1)/n || 2A

 

 

 

1)2 ]

(rik

(i

1)/n )2

 

 

 

 

 

 

 

 

 

[1

(

 

 

 

 

 

.

 

 

 

 

 

 

 

 

 

 

 

ai i

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Очевидно, что норма ошибки строго уменьшится, если rik (i

1)/n

0 и

 

 

 

 

 

 

 

0

1

 

(

 

1)2 , т.е.

(0, 2) .

 

 

 

 

 

 

 

 

 

Расчетные формулы вычисления компонент очередного приближения xk

1 по

заданному приближению xk

 

имеют вид:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

 

xk

1 ...

a

i,i

xk

1

a

i,i

xk ...

a

i,n

xk

b

i

xik 1

xik

 

xik

 

 

i,1 1

 

 

1 i

1

 

i

 

 

n

 

k,i

 

 

 

 

 

 

 

 

 

ai i

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i1, 2, ..., n,

аматричная запись метода неполной релаксации имеет вид:

xk 1

xk

D 1(

Lxk 1

(D

R)xk

b)

 

 

(D

L)xk 1

Dxk

Dxk

(Rxk

b)

 

 

 

 

Dxk

Lxk

Lxk

Dxk

(Rxk b)

 

 

 

(D

L)xk

(Axk

b)

 

xk 1 xk

(D

L) 1(Axk

b),

 

 

 

с матрицей

шага

для ошибки

S

E

(D

L) 1A ,

которая является

непрерывным отображением из R n в R n .

Из теоремы о строгом убывании функционала ошибки следует сходимость

метода неполной релаксации.

 

 

 

Теорема. Если матрица системы

Ax b симметрична

и положительно

определена: A A 0 ,

то для любого

(0, 2)

метод неполной

релаксации:

 

 

 

41

Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.

x0 Rn задан,

xk 1 xk

(D L) 1(Axk b),

k 0, 1, ...,

сходится, а энергетическая норма его ошибки убывает:

|| zk 1 || A || zk || A , если zk 0 .

Оценка сходимости методов релаксации

Предварительные замечания

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Итак, ошибка zk

xk x метода релаксации

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x0

Rn задан,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

xk

1

xk

(D

 

L) 1(Axk

b)

 

 

 

 

 

 

 

 

 

 

 

 

 

k

0, 1, ...

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

строго монотонно убывает в норме || z || A

 

(Az , z) .

 

 

 

 

 

 

 

Т.к. A

L D

R

( L

0.5 D) (0.5 D

R) R

R

и

R

0 в R n ,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

1

 

1

 

то “переобусловливатель”

D

L

метода

релаксации

целесообразно

представить в виде суммы положительно определьных матриц:

 

 

 

D

L

(1

0.5

)D

 

(0.5 D

 

L)

(1

0.5

)D

 

R1

 

 

 

 

 

 

 

(1

0.5

)(D

 

 

 

R1)

 

 

(D

R1)

 

 

B

0

 

 

 

 

 

0.5 )

 

 

 

 

 

 

 

 

 

 

 

(1

 

 

 

 

 

 

 

 

 

 

 

 

 

где

 

 

 

(0,

)

при

(0, 2) .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

0.5

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Тогда метод релаксации может быть переписан в виде x0 R n задан,

xk 1 xk

 

B 1(Axk

b), B

D

R1

0

0,

k

0, 1, ...

 

 

 

 

 

 

и он сходится при любом

0 .

 

 

 

 

 

 

Очевидно, что

 

 

 

 

 

 

 

 

 

 

zk 1

[E

B 1A]zk

Szk

 

 

Замечание. Мы знаем, что для любого вектора z

0

 

 

|| Sz ||A

|| z ||A

|| S ||A sup

|| Sz ||A

|| Szsup ||A

1.

 

 

 

 

||z||A

1

 

 

 

42

Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.

Здесь мы воспользовались теоремой о достижении максимального значения непрерывной функции на сфере конечномерного пространства.

Это замечание является еще одним доказательством сходимости метода релаксации, следовательно || S ||A 1, а параметр нужно

 

 

 

 

выбирать из условия минимальности || S ||A || E

 

B 1A ||A или

 

 

 

 

верхней оценки для этой нормы.

 

 

 

 

 

 

 

 

 

 

Оценим || S || A2

max

 

(ASz ,Sz)

, где

S E

 

 

 

B 1A .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

z 0

 

 

(Az , z)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

(B 1Az , Az)

2 (AB 1Az , B

 

1Az)

 

 

 

 

 

 

 

|| S || A

max 1

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

.

 

 

 

 

 

 

 

 

(Az , z)

 

 

 

 

 

 

(Az , z)

 

 

 

 

 

 

 

 

 

 

z

0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Т.к.

(Ay, y)

([R1

R1 ]y, y) 2(

R1y, y)

2([B D]y, y) , то

 

 

 

2 (A[B 1Az],[B 1Az])

 

2 (B[B 1Az],[B 1Az])

2 (D[B 1Az],[B 1Az])

 

 

 

 

 

 

 

 

 

 

 

 

 

2 (B 1Az, Az)

2 (D B 1Az, B 1Az)

 

 

 

 

 

|| S || A2

max 1

2

(DB 1Az , B 1Az)

 

 

 

1 2

min

(DB 1Az , B 1Az)

 

 

 

 

 

 

 

(Az , z)

 

 

 

 

 

 

 

 

 

z

0

 

 

 

 

 

 

 

 

 

 

 

z

0

 

(Az , z)

 

 

 

 

1

2

min

([A1/ 2 (B 1) DB 1A1/ 2 ]A1/ 2z , A1/ 2z)

1

2 ,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

z

0

 

 

 

 

 

 

 

(A1/ 2z , A1/ 2z)

 

 

 

 

 

 

 

где

 

min (A1/ 2 (B 1) DB 1A1/ 2 ) .

 

 

 

 

 

 

 

 

 

 

 

 

 

Пусть A1/ 2 (B 1) DB 1A1/ 2y

 

 

y

 

 

 

 

Av

BD 1B v,

 

v

A 1/ 2y .

Т.к. BD 1B (D R1)D 1(D R1 ) D A

2R1D 1R1 ,

 

 

 

то

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(Av, v)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(Dv, v)

 

(Av, v)

 

2 (R1D 1R1v, v)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

max

(Dv, v)

 

 

2

max

(R1D 1R1 v, v)

 

 

 

 

(A 1D)

2

(A 1R1D 1R1 )

 

(Av, v)

 

 

 

 

(Av, v)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

v

0

 

 

 

v

0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

, где

(A 1D)

 

(A 1D),

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(A 1D)

 

 

2 (A 1R1D 1R1 )

 

 

 

 

(A 1R1D 1R1 ) (A 1R1D 1R1 ).

Теорема.

43

Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.

 

 

 

 

 

 

 

 

 

 

 

1/

 

 

 

(A 1D)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Если известны оценки

 

 

 

 

 

 

 

 

 

 

 

 

,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(A 1R1D 1R1 )

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

то

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|| S || 2A

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

1

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

1 2

 

 

 

1 2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

0 .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1/

 

 

 

 

2

 

 

1

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Док–во очевидно.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Замечание. Обычно постоянные

0 и

 

 

0 определяют из неравенств

 

 

 

 

 

 

(Dv, v)

(Av, v),

(R1D 1R1v, v)

 

 

 

 

 

(Av, v)

 

v

 

 

( D

A,

 

 

min (D 1A),

R1D 1R1

 

A,

 

 

 

 

 

 

 

max (A 1R1D 1R1 ) ).

 

 

Задача. Найти минимум функции

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

2

 

 

 

|| S || 2A

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

g(

)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Ответ.

min g( )

g(

*)

1

 

 

 

 

/(4

)

 

,

 

 

 

 

 

 

1

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

*

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0

 

 

 

 

 

 

 

 

1

 

 

 

 

/(4

)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Задача. Найти оптимальный параметр

 

, если

*

1/

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Ответ.

 

 

 

2

 

 

 

 

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

*

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Пример

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

1

 

 

 

 

 

0

 

 

1

 

 

 

0

 

 

 

 

 

 

0

 

 

 

 

1

1

 

 

 

 

 

 

 

0

 

 

 

 

1

2

 

1

 

 

 

 

 

 

 

 

 

1

 

 

1

0

 

 

 

 

 

 

 

 

0

1

 

 

1

 

 

 

 

 

 

A

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

R1

R1

 

 

 

 

1

2

 

 

 

1

 

 

 

 

 

 

 

1

 

1

 

0

 

 

 

 

 

 

 

 

 

 

0

 

1

1

 

 

 

0

 

 

 

1

2

 

 

0

 

 

 

 

 

 

 

 

1

 

1

 

 

 

 

0

 

 

 

 

 

 

 

0

1

 

 

 

Собственные значения матрицы A известны:

 

 

 

 

 

4

sin2

 

 

 

k

 

 

, k 1, ..., n ,

 

 

k

 

 

 

 

 

 

 

 

 

 

 

 

2(n

1)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

4 sin2

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

4 sin2

 

 

n

 

 

 

 

2

 

min (A)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

,

 

 

max (A)

 

 

 

 

 

4

 

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2(n

1)

 

 

(n

 

 

1)2

 

 

 

 

2(n

1)

(n

1)2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Оценим постоянные

 

 

 

D A , R1D 1R1

 

 

A:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

min (D 1A)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0.5

 

 

min (A)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2(n

1)2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

т.к. A

2

R1D 1R1

 

 

diag{1, 0, ..., 0}, а diag{1, 0, ..., 0}

 

 

0, то

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

A

2 R1D 1R1 и

 

 

 

0.5.

 

 

 

 

 

 

 

 

 

 

 

 

 

44

Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.

Для метода полной релаксации (

 

 

1,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2 ):

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

0.5

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

xk

1

 

 

 

xk

(D

L) 1(Axk

 

b)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|| zk 1

|| A

 

|| S || A

|| zk ||

 

1

 

 

 

 

2

 

 

 

 

4

 

 

 

 

|| zk || A

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

A

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

2

 

 

 

 

4

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

|| zk || A

(1

2

)

|| zk || A

(1

 

 

 

 

 

 

) || zk || A

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

4

 

 

 

 

(n

1)2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Для метода неполной релаксации с “оптимальным” параметром

 

 

 

 

2

 

 

 

,

*

 

 

 

 

 

 

 

 

 

1

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

* /(1

 

0.5

*)

 

1/

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

*

 

 

 

 

 

 

 

 

:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|| z

k

1

|| A

|| S || A

|| z

k

|| A

1

 

 

*

 

 

 

 

 

 

 

 

 

|| z

k

|| A

 

 

 

 

1

 

 

 

/(4

)

 

|| z

k

 

|| A

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

/(4

)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

*

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

/ 2

 

|| zk || A

 

 

 

 

 

 

 

 

) || zk || A

 

 

 

 

 

 

 

 

|| zk

 

 

 

 

 

 

 

 

 

 

 

 

 

(1

 

 

 

/ 2

(1

 

 

 

 

 

)

 

 

|| A

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

/ 2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2(n 1)

 

 

 

 

 

 

 

Для метода Якоби

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

xk

1

xk

 

 

 

 

 

 

1(Axk

 

 

|| zk

1 || A

 

 

 

 

 

 

|| zk || A

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

D

 

b)

 

 

 

|| S || A

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

max | 1

0.5

 

(A) |

|| zk || A

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

|| zk || A

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(1

0.5

 

 

 

 

 

 

 

 

 

 

)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(n

1)2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

так как

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|| S || 2

 

sup

(A(E

 

D 1A)z,(E

D 1A)z)

 

 

sup

|| (E A1/2D 1A1/2 )A1/2z || 2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

A

 

 

 

 

 

 

 

 

 

 

 

 

 

(Az, z)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(A1/2z, A1/2z)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2 (E

A1/2D 1A1/2 )

 

2 (E

 

 

D 1A)

 

 

 

2 (E

 

 

0.5 A)

 

 

 

 

 

 

 

 

 

 

Тогда

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

верхняя

 

 

 

 

 

 

1

 

 

 

 

 

 

2(n

1) /

,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

1,

 

 

 

 

 

 

 

 

 

 

 

 

релаксация

 

*

 

 

 

 

 

 

 

 

 

 

 

 

 

 

*

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

/(n

1)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

g( *) 1

 

 

 

 

 

 

 

, || S ||A

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

1

 

 

 

n

1

 

 

 

 

2(n

 

1)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

k( )

 

 

2(n

1)

 

 

ln

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

45

Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.

полная

 

 

 

 

2

2

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

релаксация

g(2)

1

 

 

 

 

,

 

|| S ||A

g(2) 1

 

 

 

,

 

 

 

 

 

 

 

 

 

(n 1)2

 

 

(n

1)2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

k( )

 

(n

1)2

 

ln

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

метод

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

Якоби

|| S ||A

 

max | 1

 

0, 5

 

(A) |

1

 

 

 

 

 

 

 

 

2(n

1)2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

k( )

 

2(n

1)2

ln

1

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

46

Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.

Лекция 8.

Градиент, метод наискорейшего спуска

Как

выбирать

вектор

 

y

при

построении итерационного метода

xk 1

xk

 

y из условия минимизации ошибки:

 

 

 

 

 

 

 

 

 

|| zk

1 || 2

 

 

min || zk

 

y || 2 ?

 

 

 

Градиент функции f (z) : Rn

R

 

 

 

 

 

 

 

 

 

 

 

 

 

f (z

y) f (z)

 

d f (z

 

 

y)

 

 

 

O(

2 )

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

d

 

 

 

0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

f (z)

 

 

f (z)

y

...

 

f (z)

y

 

 

O(

2 )

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

z1

1

 

 

 

 

zn

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

f (z)

( f , y)

O(

 

2 ) f (z)

(

f , y) .

Так

как

(

f , y)

cos(

f , y) ||

f ||

|| y ||

 

принимает

минимальное или

максимальное значения, когда вектора

f , y параллельны, то очевидно, что

 

y

f – направление максимального возрастания f (z) ,

 

 

y

f

– направление максимального убывания f (z) .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

z2

 

 

 

 

 

 

f (z)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

f (z)

const

 

 

 

 

 

 

 

z

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

z1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

f

 

 

 

 

 

 

 

Пример спуска по антиградиенту.

 

 

Градиент функции f (z)

|| z || С2

 

: Rn

 

R

 

 

 

 

 

 

 

Если f (z)

|| z || С2

(Сz, z),

С

С

 

0, то

 

 

 

 

 

 

 

 

f (z

 

y)

f (z)

 

( f , y)

 

 

O( 2 )

 

 

f (z)

2Cz

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

f (z)

 

(Cz, y)

2

(Cy, y)

 

 

 

 

Следовательно, итерационный процесс имеет вид ( y

 

0.5 Cz )

 

47

Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.

xk 1

 

xk

k Czk , zk 1

zk

k Czk ,

 

 

 

k : || zk

1 || C2

min [|| zk || C2

2

(Czk , Czk )

2

(CCzk , Czk )],

Так как

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(Czk , zk )

 

 

 

(Czk , Czk )2

(zk )

k

 

 

 

 

|| zk 1 || C2

|| zk || C2

 

 

|| zk || C2

 

(CCzk , Czk )

 

 

 

 

 

 

 

 

(CCzk , Czk )

и отображение

S(z)

z (z) Cz

непрерывно при

z

0 , то по теореме о

строгом убывании функционала итерационный процесс сходится.

Выбор матрицы C

Очевидно, что условием реализуемости метода является вычислимость вектора

Czk

Cxk

Cx . Если

C

HA

C

0 ( H

заданная матрица), то вектор

Czk

H(Axk b)

Hrk вычислим.

 

 

 

 

 

 

Метод наискорейшего спуска

 

 

 

 

 

 

 

Если матрица системы Ax

 

b симметрична и положительно определена, то,

выбирая C

A , получаем метод наискорейшего спуска

 

 

 

 

 

x0

задан,

 

 

 

 

 

 

 

 

 

 

xk 1

xk

k (Axk

b),

 

 

(rk , rk )

,

 

 

 

k

 

 

 

 

 

 

 

 

 

 

 

 

 

(Ark , rk )

 

 

 

k

0, 1, ...

 

 

 

 

 

 

 

энергетическая норма || zk || A ошибки которого строго убывает.

 

 

 

Метод минимальных невязок

В итерационном

процессе

xk

1 xk

k (Axk b)

параметр k будем

выбирать из условия минимизации невязки:

 

 

 

 

 

 

 

(rk 1, rk

1)

min (rk

 

Ark ,

rk

Ark ) .

Теорема. Если матрица вещественной системы Ax b положительно определена, то метод минимальных невязок

 

x0

задан,

 

 

 

 

xk 1

xk

k (Axk

b), k

 

(Ark , rk )

,

 

 

 

 

 

 

 

(Ark , Ark )

k

0, 1, ...

 

 

 

 

 

 

 

сходится, а норма || rk || 2

(rk , rk )

его невязок строго убывает.

48

Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.

Док-во. Во-первых; min (rk

Ark ,

rk

Ark )

 

 

 

min [(rk , rk )

(rk , Ark )

 

(Ark , rk )

2

(Ark , Ark )]

min [(rk , rk )

2 (rk , Ark )

2 (Ark , Ark )]

 

 

достигается при

k

(Ark , rk ) /(Ark , A rk ) и

 

 

 

 

 

 

 

 

 

 

 

 

|| rk 1 || 22

|| rk || 22

| (Ark , rk ) | 2

 

|| rk || 22 ,

 

 

(Ark , A rk )

 

 

 

 

 

 

 

 

если

rk 0 &

(Ark , rk )

0 ,

то. невязка

строго убывает при

A

0 .

 

 

 

 

 

 

 

 

Во-вторых; из строгого убывания нормы невязки rk

Azk следует

 

|| zk 1 || 2

 

(rk 1, rk 1)

(rk , rk )

|| zk || 2

,

 

A A

 

 

 

 

 

 

A A

 

т.е. A A -норма ошибки строго убывает.

 

 

 

Кроме того, очевидно, что оператор S :

 

 

 

 

zk

1

S(zk )

zk

k (zk ) Azk

 

 

непрерывен всюду за (исключением, быть может, 0) и по теореме о строгом убывании функционала итерационный процесс сходится.

Метод простой итерации

В методах наискорейшего спуска и минимальных невязок для определения

параметра

k

на каждом шаге нужно вычислять два скалярных произведения (с

 

 

умножением невязки на матрицу системы). Использование постоянного

параметра

k

существенно уменьшает объем вычислений на каждом шаге.

 

 

 

 

Предварительные замечания

 

 

Выясним, при каких условиях стационарный итерационный метод

 

 

x0

задан,

 

 

 

xk 1

xk

(Axk b),

 

 

k

0, 1, ...

 

сходится к решению системы Ax b .

Мы знаем, что необходимым и достаточным условием сходимости

стационарного итерационного метода является условие

(S)

(E

A) 1.

Если (A) – собственное значение матрицы A , то (S)

1

(A) и

 

| (S) | 2

[1

Re

(A)]2

2

[Im (A)]2

 

 

 

1 2

Re

(A)

2

| (A) | 2

 

 

 

Очевидно, что, если Re

(A)

0, то | (S) |

 

1 и метод не сходится.

 

Следовательно, необходимым условием сходимости метода является условие

49

Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.

 

 

 

 

Re

(A)

0

 

 

Sp A

 

или знакоопределенность Re

(A)

 

 

Sp A .

 

 

 

Пусть Re

(A)

0

 

Sp A . Тогда

 

 

 

 

 

 

 

 

max

|

(S) | 2

 

 

max | 1

 

(A) | 2

1, если

 

(S) Sp S

 

 

(A)

Sp A

 

 

 

 

 

 

 

 

 

 

0

 

 

min

 

2 Re

(A)

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(A)

Sp A

|

(A) | 2

 

Метод простой итерации

 

 

 

 

 

 

 

 

 

 

 

Теорема. Если

матрица системы

Ax

 

b

симметрична и положительно

 

определена, то метод простой итерации (Ричардсона)

 

 

 

 

x0

задан,

 

 

 

 

 

 

 

 

 

 

xk

1

 

xk

 

 

(Axk

b),

 

 

 

 

 

 

k

0, 1, ...

 

 

 

 

 

 

 

сходится при

 

(0,

2

 

) .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(A)

 

 

 

 

 

 

Док-во.

Так

как

A

A

0 ,

 

то

 

(A)

Re

(A)

0 и (как следует из

предварительных замечаний) метод сходится, если

 

 

 

0

 

min

2 Re

(A)

min

 

2

 

2

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(A) | 2

 

 

 

 

 

 

 

 

 

(A)

Sp A

|

(A)

Sp A |

(A) |

 

(A)

 

Оптимальный выбор параметра

 

 

метода Ричардсона

 

 

 

 

 

Пусть границы спектра матрицы A

 

A

0 известны:

 

 

 

 

 

 

 

0

 

min (A)

 

 

(A)

max (A)

(A)

 

 

 

 

 

Определим опт :

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(S опт ) min

(S ) |

 

min

max

 

| 1

 

 

(A) |

min

max

| 1

|

 

 

 

 

 

 

(A)

Sp A

 

 

 

min

 

 

max

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

min max{| 1

 

 

min (A) |, | 1

max (A) |}

 

 

 

 

 

| 1

 

опт

min (A) |

| 1

 

опт

max (A) |

 

 

 

 

 

 

 

 

 

2

 

 

,

(S

 

 

)

 

 

max

min

1.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

опт

 

 

 

опт

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

min

max

 

 

 

 

 

max

min

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Теорема. Если матрица системы Ax

b

симметрична

 

и

положительно

определена, то для ошибки метода простой итерации (Ричардсона) с

оптимальным

 

 

параметром

опт 2 /[

max (A)

min (A)]

справедливы оценки

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

50

Соседние файлы в папке VMLA-Matzokin-2012