Якщо матриці Q1, Q2 , Q є щільними і використовується стандартний

алгоритм матричного множення, то в формулі (18) константа c 1. Таким чином, саме операція множення є найбільш трудомісткою в алгоритмі.

Тому, ігноруючи в (18) члени порядка n2 , отримаємо

Розв’язуючи це різницеве рівняння, знайдемо, що

t n c 43 n3 .

На практиці c 1 у зв’язку з тим, що матриця Q має багато нульо-

вих елементів, а для різних типів матриць від 15 до 85 % її стовпів складають стовпці одиничної матриці. Завдяки цьому факту вдається скоротити час матричного множення.

1.7.Метод Ланцоша

Метод Ланцоша розроблено в 1950 р. Спочатку його розглядали як спосіб зведення симетричної матриці А до тридіагональної матриці Т. Основою алгоритму є тричленне рекурентне співвідношення

яке отримують з матричної рівності

QnTn AQn ,

40

Тридіагональну симетричну матрицю називають н е р о з к л а д н о ю , якщо всі елементи, що стоять під її діагоналлю, не дорівнюють нулю, тоб-

то bj 0, j 1, n 1.

Якщо Tn – нерозкладна матриця, то, не обмежуючи загальних міркувань, можна вважати, що bj 0 . Тоді на базі співвідношення (19) можна записати такий а лго р и тм п о будо ви ма тр и ц і Tn за м а тр и ц ею А .

Алгоритм 8. Для заданих симетричної матриці А порядку n, початкового вектора q1 такого, що q1 2 1, для всіх j 1, 2, , n обчистити:

1.u j Aq j ;

2.a j q j , Aq j ;

3.q0 0 , rj u j q j a j q j 1bj 1 ;

4.bj rj 2 ;

5. q j 1 rj . b j

Після n кроків у точній арифметиці отримаємо тридіагональну матрицю Tn , ортогонально подібну до вихідної матриці А, і отже, задача ви-

значення власних значень матриці А звелася до задачі знаходження власних значень для тридіагональної матриці.

Припинення (зрив) процесу може відбутися, якщо bj 0 . Це ста-

неться тоді, коли вектор q1 ортогональний принаймні до одного власного вектора матриці А. Тоді за вектор q j 1 можна взяти довільний одиничний

вектор, ортогональний до попередніх векторів q, і продовжити ітераційний процес.

Під час реалізації алгоритму 8 на ЕОМ для матриць А великої розмірності строга ортогональність векторів q j , зазвичай, зникає. Це пов’язано

з тим, що ЕОМ має скінченну розрядність, що призводить до похибок заокруглення. Для запобігання цього можна використовувати модифікацію

41

методу Ланцоша з точною переортогоналізацією, яка, на жаль, потребує значних обчислювальних затрат.

Пізніше почали використовувати так званий зр і за н и й ва р іа н т мето ду Ла нц о ша як алгоритм визначення декількох крайніх власних значень великих матриць. У ньому власні значення зрізаної тридіагональної матриці Tj j n будуть наближати шукані власні значення вихідної

матриці. Як і в будь-якому ітераційному методі, постає запитання про закінчення ітерацій, тобто на якому j треба зупинитися. Для відповіді на це запитання треба мати на увазі, що метод Ланцоша в цьому випадку є реалізацією процедури Релея–Рітца для послідовності підпросторів Крилова, завдяки чому є змога контролювати на кожному кроці точність шуканих власних значень. Для реалізації цієї процедури п р о до вжи мо п р о ц е с ,

що за да но а л го р и тмо м 8 :

де Qj q1, q2 , , q j . При цьому обчислюють тільки потрібні компоненти

i , zi , yi .

Пару i j , yi j називають а п р о кс и мува ль но ю п а р о ю Р е лея –

Рітц а для власної пари i , xi вихідної матриці А;

8. Якщо точність шуканих векторів задовільна, то процес завершується. Точність контролюють за допомогою оцінки

Якщо в процесі обчислень отримано, що bj 0 , то це означає, що

AQj QjTj , і обчислення завершують. У разі відшукання декількох влас-

них значень такий ранній зрив ітераційного процесу є бажаним результатом, оскільки кожне апроксимуюче власне значення i буде точним влас-

ним значенням i вихідної матриці А.

42

1.8.Сингулярний розклад матриць

Сингулярному розкладу матриць (singular value decomposition, SVD-

розклад) більше ста років. Його незалежно відкрили Белтрамі в 1873 р. і Жордан в 1874 р. для випадку квадратних матриць. В 30-ті роки XX століття Еккарт та Янг поширили цей розклад на випадок прямокутних матриць. Однак як обчислювальний засіб його стали використати набагато пізніше, в 60-ті роки. Це пов’язано з тим, що обчислення SVD вимагає застосування ряду достатньо тонких чисельних методів. Практичне використання SVD стало можливо в першу чергу завдяки Дж. Голубу, що в серії робіт продемонстрував його корисність і застосовність у багатьох областях.

Якщо А – довільна m n -матриця, при чому m n . Тоді буде справе-

де матриця U має розмір m n і задовольняє співвідношенню U T U E ;

ляр ни ми чи сла ми ма тр и ц і .

Найменше сингулярне число n дорівнює відстані в 2-нормі від мат-

риці А до найближчої виродженої матриці. Кількість ненульових сингулярних чисел дорівнює рангу матриці. Отже, якщо матриця А вироджена, то

принаймні n 0 .

На практиці сингулярні числа рідко в точності дорівнюють нулю, однак, якщо матриця А «близька до виродженої», деякі із сингулярних чисел будуть малими. Відношення 1 n можна розглядати як число зумовленості матриці А для задачі розв’язання системи лінійних рівнянь.

При m n необхідно розглядати SVD матриці AT .

Розглянемо г ео ме тр и ч н у ін тер п р е та ц ію ви щеска за но го

43

обрати ортогональну координатну систему для Rn , де ортами осей є стов-

пці матриці V, і другу ортогональну координатну систему для Rm (із стовпцями матриці U в якості ортів осей) таким чином, щоб A набула діаго-

n

нального вигляду Σ, тобто вектор x ivi відобразився б у вектор

i 1

n

y Ax i i ui .

i 1

Інше кажучи, будь-яка матриця стане діагональною, якщо обрати потрібні ортогональні координатні системи в її області визначення і області значень.

Розглянемо найбільш важливі з а л гебр а їч ни х та гео метр и ч ни х вла сти во ст ей S V D .

1. Нехай А – симетрична матриця з власними значеннями i і орто-

Праві сингулярні вектори vi є відповідними ортонормованими власними векторами.

m n ортогональних векторів можна взяти в якості власних векторів для

що має SVD вигляду (20). Покладемо diag(1, , n ) , U u1, ,un і

V v1, , vn . Тоді 2n власних значень матриці Н −

44

AAT .

45

Приклад 8. Знайдемо сингулярні числа, праві та ліві сингулярні ве-

Побудуємо її характеристичний поліном:

5 8 4 2 13 36 0 .

Звідси власними значеннями матриці AAT будуть числа 1 9 і 2 4 . Сингулярні числа матриці А, отже, будуть 1 3 і 2 2 .

Ліві сингулярні вектори матриці А є власними векторами матриці AAT . Для їх отримання розглянемо системи лінійних рівнянь

1E AAT u 0;2 E AAT u 0.

Отже, вектор, пропорційний вектору 1, 2 T , є власним вектором матриці

AAT , що відповідає власному значенню 1 . Вектор, пропорційний вектору 2, 1 T , є власним вектором матриці AAT , що відповідає власному значенню 2 . Нормуємо отримані вектори. В результаті отримаємо, що

Таким чином, вектори u1, u2 є лівими сингулярними векторами матриці А. Не важко бачити, що вони є ортогональними.

Тепер можна визначити праві сингулярні вектори v1, v2 , v3 , обчис-

люючи власні вектори матриці AT A . Але вектори v1, v2 можна легко визначити за формулою

46

Тепер, коли знайдено сингулярні числа і сингулярні вектори, можна легко побудувати SVD матриці А в вигляді (20), при цьому U R2 2 , V R3 3 , а R2 3 – діагональна матриця. Отже,

розв’язання симетричної задачі на власні значення. Однак у цього підходу є серйозні н е д о л і к и : якщо матриця А має досить малі, але відмінні від нуля сингулярні числа, то їх знаходження може виявитися неточним. Це пов’язано з обчислювальними похибками, що виникають при переході до

квадратної матриці AT A . Тому у за га л ьн ени й а лго р и тм р о зр а х у н ку

47