2.2 Методы решения полной проблемы собственных значений

Боль­шин­ст­во ме­то­дов ре­ше­ния по­л­ной про­б­ле­мы ос­но­ва­но на при­ме­не­нии пре­об­ра­зо­ва­ний по­до­бия (5), что­бы пе­рей­ти от ис­ход­ной ма­т­ри­цы A к по­доб­ной ей ди­а­го­наль­ной ма­т­ри­це , для ко­то­рой ре­ше­ние яв­ля­ет­ся три­ви­аль­ным. По­э­то­му на­хо­ж­де­ние соб­ст­вен­ных значений час­то на­зы­ва­ют ди­а­го­на­ли­за­ци­ей ма­т­ри­цы.

Осо­бен­но удоб­ны пре­об­ра­зо­ва­ния с по­мо­щью уни­тар­ных или ор­то­го­наль­ных ма­т­риц, по­сколь­ку в этом случае мо­ж­но обой­тись без вычис­ле­ния об­рат­ной ма­т­ри­цы ( или ).

2.2.1 Метод Якоби

Ме­тод Яко­би (называемый также методом вращений) за­ключает­ся в ди­а­го­на­ли­за­ции сим­мет­ричной ма­т­ри­цы пу­тем по­с­ле­до­ва­тель­ных пре­об­ра­зо­ва­ний по­до­бия с по­мо­щью ма­т­риц эле­мен­тар­ных по­во­ро­тов (9). Ве­ро­ят­но, это са­мый про­стой, но да­ле­ко не са­мый бы­ст­рый ме­тод ре­ше­ния по­л­ной про­б­ле­мы соб­ст­вен­ных значений.

Не­тру­д­но убе­дить­ся, что пре­об­ра­зо­ва­ние

(19)

из­ме­ня­ет толь­ко значения эле­мен­тов, на­хо­дя­щих­ся в двух стро­ках и двух столб­цах с но­ме­ра­ми i и j. При этом для сумм ква­д­ра­тов не­ди­а­го­наль­ных эле­мен­тов вы­пол­ня­ет­ся со­от­но­ше­ние

, (20)

где

.

Вы­би­рая угол по­во­ро­та  над­ле­жа­щим об­ра­зом, мо­ж­но сде­лать не­ди­а­го­наль­ные эле­мен­ты пре­об­ра­зо­ван­ной ма­т­ри­цы и ну­ле­вы­ми. Для это­го до­с­та­точно оп­ре­де­лить  из ус­ло­вия

(21)

Пре­об­ра­зо­ва­ние по­до­бия (19) с уг­лом по­во­ро­та, оп­ре­де­ля­е­мым по урав­не­нию (21), на­зы­ва­ет­ся яко­би­е­вым вра­ще­ни­ем.

За­ме­тим, что при пра­к­тичес­кой ре­а­ли­за­ции ме­то­да Яко­би не ну­ж­но яв­ным об­ра­зом оп­ре­де­лять значение  и вычис­лять три­го­но­мет­ричес­кие функ­ции. Вво­дя обоз­начения

и поль­зу­ясь три­го­но­мет­ричес­ким то­ж­де­ст­вом, свя­зы­ва­ю­щим и , по­лучаем:

.

Та­ким об­ра­зом, t яв­ля­ет­ся кор­нем ква­д­рат­но­го урав­не­ния

,

при­чем из ус­ло­вия сле­ду­ет, что это наи­мень­ший по аб­со­лют­ной ве­ли­чи­не из двух кор­ней (дру­го­му кор­ню от­ве­ча­ет угол по­во­ро­та ). По­э­то­му

,

а эле­мен­ты мат­ри­цы по­во­ро­та вы­чис­ля­ют­ся по фор­му­лам:

.

Ог­ра­ничение уг­ла  наи­мень­шим воз­мо­ж­ным значени­ем свя­за­но с ус­ло­ви­ем схо­ди­мо­сти ме­то­да.

Из со­от­но­ше­ния (20) сле­ду­ет, что по­с­ле яко­би­е­ва вра­ще­ния с ин­де­к­са­ми (i, j) сум­ма ква­д­ра­тов не­ди­а­го­наль­ных эле­мен­тов умень­ша­ет­ся на ве­личину , где a_ij – ве­личина не­ди­а­го­наль­но­го эле­мен­та до пре­об­ра­зо­ва­ния. Вы­би­рая для ка­ж­до­го сле­ду­ю­ще­го пре­об­ра­зо­ва­ния па­ру ин­де­к­сов (i, j), ко­то­рым от­вечает наи­боль­ший по аб­со­лют­ной ве­личине не­ди­а­го­наль­ный эле­мент, добь­ем­ся ма­к­си­маль­но бы­ст­ро­го убы­ва­ния сум­мы ква­д­ра­тов не­ди­а­го­наль­ных эле­мен­тов. По­сколь­ку ве­личина сум­мы ква­д­ра­тов не­от­ри­ца­тель­на и мо­но­тон­но умень­ша­ет­ся на ка­ж­дом ша­ге ал­го­рит­ма Яко­би, ее мо­ж­но сде­лать сколь угод­но ма­лой, т. е. пра­к­тичес­ки пре­вра­тить ма­т­ри­цу в ди­а­го­наль­ную с лю­бой же­ла­е­мой сте­пе­нью точно­с­ти. При этом соб­ст­вен­ные ве­к­то­ры ис­ход­ной ма­т­ри­цы, со­г­ла­с­но (18), по­лу­ча­ют­ся как про­из­ве­де­ние ма­т­риц всех вы­пол­нен­ных эле­мен­тар­ных по­во­ро­тов. Так как ма­т­ри­цы Ги­вен­са (9) яв­ля­ют­ся ор­то­го­наль­ны­ми, то их про­из­ве­де­ние так­же бу­дет ор­то­го­наль­ной ма­т­ри­цей. Тем са­мым га­ран­ти­ру­ет­ся ор­то­нор­ми­ро­ван­ность соб­ст­вен­ных ве­к­то­ров, най­ден­ных с по­мо­щью ме­то­да Яко­би, не­за­ви­си­мо от вы­ро­ж­де­ния соб­ст­вен­ных значений.

Про­ве­ден­ное вы­ше рас­смо­т­ре­ние по­ка­зы­ва­ет, что по­с­ле­до­ва­тель­ность яко­би­е­вых вра­ще­ний га­ран­ти­ру­ет схо­ди­мость сим­мет­ричной ма­т­ри­цы к ди­а­го­наль­ной фор­ме. Од­на­ко ос­та­ет­ся от­кры­тым во­п­рос, бу­дут ли ди­а­го­наль­ные эле­мен­ты схо­дить­ся к оп­ре­де­лен­ным соб­ст­вен­ным значени­ям, или же они бу­дут по­сто­ян­но ме­нять­ся ме­с­та­ми, по­сколь­ку каж­дое вра­ще­ние пре­об­ра­зу­ет не толь­ко вне­ди­а­го­наль­ные, но и ди­а­го­наль­ные эле­мен­ты? Ока­зы­ва­ет­ся, вы­бор боль­ше­го из двух воз­мо­ж­ных уг­лов по­во­ро­та ве­дет к из­ме­не­нию от­но­си­тель­но­го по­ряд­ка ди­а­го­наль­ных эле­мен­тов, то­г­да как мень­ший угол обес­печива­ет со­хра­не­ние их упо­ря­дочен­но­сти. Имен­но этим объ­я­с­ня­ет­ся ог­ра­ничение в урав­не­нии (21) для уг­ла яко­би­е­ва вра­ще­ния.

За­ме­тим, что не­ди­а­го­наль­ные эле­мен­ты, сде­лан­ные од­на­ж­ды ну­ле­вы­ми, мо­гут на по­с­ле­ду­ю­щих ша­гах ал­го­рит­ма сно­ва стать от­личны­ми от ну­ля. Со­от­но­ше­ния (20) и (21) обес­печива­ют об­щую схо­ди­мость про­цес­са, од­на­ко нель­зя за­ра­нее ска­зать, сколь­ко ша­гов по­тре­бу­ет­ся для то­го, что­бы все не­ди­а­го­наль­ные эле­мен­ты не пре­вы­ша­ли за­дан­но­го по­ро­га ма­ло­сти. Ско­рее все­го, для ка­ж­дой па­ры ин­де­к­сов (i, j) эле­мен­тар­ные пре­об­ра­зо­ва­ния по­до­бия при­дет­ся вы­пол­нить не­сколь­ко раз. Бо­лее де­таль­ный ана­лиз ме­то­да по­ка­зы­ва­ет, что тре­бу­ет­ся 3-4 пред­ва­ри­тель­ных про­хо­да по всем не­ди­а­го­наль­ным эле­мен­там, по­с­ле чего воз­ни­ка­ют ус­ло­вия для бы­ст­рой (асим­п­то­тичес­ки ква­д­ра­тичной) схо­ди­мо­сти к ди­а­го­наль­ной ма­т­ри­це.

На пра­к­ти­ке не все­гда очеред­ное пре­об­ра­зо­ва­ние про­во­дят для ма­к­си­маль­но­го не­ди­а­го­наль­но­го эле­мен­та. Де­ло в том, что вы­бор наи­боль­ше­го значения тре­бу­ет на ка­ж­дом ша­ге срав­не­ния N(N1)/2 эле­мен­тов, что при­во­дит к су­ще­ст­вен­ным за­тра­там вре­ме­ни. Чаще про­с­то ци­к­личес­ки пе­ре­би­ра­ют все воз­мо­ж­ные па­ры (i, j), про­пу­с­кая те из них, для ко­то­рых |a_ij| ока­зы­ва­ет­ся мень­ше не­ко­то­ро­го гра­нично­го значения. Од­на­ко, ско­рость схо­ди­мо­сти при этом бу­дет мень­ше ма­к­си­маль­но воз­мо­ж­ной.

2.2.2 QR- и QL-алгоритмы

Эти ал­го­рит­мы ос­но­ва­ны на пред­ста­в­ле­нии про­из­воль­ной ма­т­ри­цы A в ви­де про­из­ве­де­ния уни­тар­ной (в случае ве­ще­ст­вен­ных эле­мен­тов – ор­то­го­наль­ной) ма­т­ри­цы Q и пра­вой или ле­вой тре­у­го­ль­ной ма­т­ри­цы.

Пусть, на­при­мер, най­де­но раз­ло­же­ние

A=QR, (22)

где ма­т­ри­ца Q – уни­тар­ная, а R – пра­вая (или верх­няя) тре­у­го­ль­ная. Пе­ре­мно­жив их в об­рат­ном по­ряд­ке, по­лучим но­вую ма­т­ри­цу A₁:

A₁=RQ. (23)

Ма­т­ри­цы A и A₁ яв­ля­ют­ся по­доб­ны­ми. Дей­ст­ви­тель­но, ум­но­жая ра­вен­ст­во (22) сле­ва на Q^*, име­ем: Q^*A=R. Под­ста­вив это со­от­но­ше­ние в пра­вую часть (23), по­лучим:

A₁=Q^*AQ, (24)

т. е. A₁ по­лучает­ся из A в ре­зуль­та­те пре­об­ра­зо­ва­ния по­до­бия с по­мо­щью ма­т­ри­цы Q.

Про­дол­жая про­цесс, по­стро­им раз­ло­же­ние

A₁=Q₁R₁

и най­дем но­вую по­доб­ную ма­т­ри­цу

A₂=R₁Q₁,

и т. д. По­стро­е­ние по­с­ле­до­ва­тель­но­сти уни­тар­но по­доб­ных ма­т­риц A_k, ос­но­ван­ной на пред­ста­в­ле­нии A_k=Q_kR_k, на­зы­ва­ет­ся QR-ал­го­рит­мом.

Со­вер­шен­но ана­ло­гично стро­ит­ся QL-ал­го­ритм

A_k=Q_kL_k,

A_k+1=L_kQ_k,

где L_k – ле­вая (или ни­ж­няя) тре­у­го­ль­ная ма­т­ри­ца. Ра­зу­ме­ет­ся, для од­ной и той же ис­ход­ной ма­т­ри­цы A по­с­ле­до­ва­тель­но­сти A_k и пре­об­ра­зу­ю­щие ма­т­ри­цы Q_k в случае QR- и QL-ал­го­рит­мов раз­личают­ся. Од­на­ко с точки зре­ния об­щих свойств ме­ж­ду дву­мя ал­го­рит­ма­ми нет прин­ци­пи­аль­ных раз­личий.

QR- и QL-ал­го­рит­мы об­ла­да­ют сле­ду­ю­щи­ми ва­ж­ны­ми свой­ст­ва­ми:

1. Пре­об­ра­зо­ва­ния со­хра­ня­ют стру­к­ту­ру ма­т­ри­цы. Сим­мет­ричная ма­т­ри­ца ос­та­ет­ся сим­мет­ричной. Лен­точная ма­т­ри­ца ос­та­ет­ся лен­точной, причем ши­ри­на лен­ты не уве­личива­ет­ся.

2. Над­ди­а­го­наль­ный эле­мент (A_k)_ij (i<j) ма­т­ри­цы A_k на k-м ша­ге QL-ал­го­рит­ма асимп­то­тичес­ки ве­дет се­бя как _ij(_i/_j)^k, где _ij – по­сто­ян­ная ве­личина, а _i и _j – соб­ст­вен­ные значения, рас­по­ло­жен­ные в по­ряд­ке воз­рас­та­ния их мо­ду­лей, так что |_i||_j|. Ана­ло­гичное по­ве­де­ние име­ет ме­с­то для под­ди­а­го­наль­ных эле­мен­тов в случае QR-ал­го­рит­ма.

Из свой­ст­ва (2) сле­ду­ет, что ес­ли все соб­ст­вен­ные значения ма­т­ри­цы A раз­личны, то QR-ал­го­ритм при­ве­дет ее к пра­во­му (верх­не­му), а QL-ал­го­ритм – к ле­во­му (ни­ж­не­му) тре­у­го­ль­но­му ви­ду. Ес­ли вдо­ба­вок A яв­ля­ет­ся сим­мет­ричной, то ре­зуль­тат пре­об­ра­зо­ва­ний в обо­их случаях бу­дет стре­мить­ся к ди­а­го­наль­ной ма­т­ри­це, по­сколь­ку убы­ва­ние под­ди­а­го­наль­ных (над­ди­а­го­наль­ных) эле­мен­тов в си­лу со­хра­не­ния сим­мет­рии дол­ж­но со­про­во­ж­дать­ся ана­ло­гичны­ми из­ме­не­ни­я­ми с дру­гой сто­ро­ны от ди­а­го­на­ли.

Ес­ли сре­ди соб­ст­вен­ных значений есть оди­на­ко­вые (вы­ро­ж­ден­ные), то сим­мет­ричная ма­т­ри­ца при­ве­дет­ся не к ди­а­го­наль­но­му, а к блочно-ди­а­го­наль­но­му ви­ду. Соб­ст­вен­но­му зна­че­нию _i крат­но­сти p бу­дет со­от­вет­ст­во­вать ди­а­го­наль­ный блок по­ряд­ка p.

Ско­рость схо­ди­мо­сти QR- или QL-ал­го­рит­ма оп­ре­де­ля­ет­ся от­но­ше­ни­я­ми _i/_j и при на­ли­чии бли­з­ких соб­ст­вен­ных значений бу­дет не слиш­ком вы­со­кой. Схо­ди­мость мо­ж­но улуч­шить, ес­ли на ка­ж­дом ша­ге вме­сто A_k ис­поль­зо­вать ма­т­ри­цу A_k_kE. Па­ра­метр _k на­зы­ва­ют сдви­гом. На­при­мер, в случае QL-ал­го­рит­ма со сдви­гом про­во­дят вычис­ле­ния по схе­ме:

A_k_kE=Q_kL_k, (25а)

A_k+1=L_kQ_k+_kE. (25б)

Не­тру­д­но убе­дить­ся, что ма­т­ри­цы A_k и A_k+1 по­пре­ж­не­му свя­за­ны пре­об­ра­зо­ва­ни­ем по­до­бия с по­мо­щью ма­т­ри­цы Q_k. Од­на­ко те­перь асим­п­то­тичес­кое по­ве­де­ние эле­мен­та (A_k)_ij оп­ре­де­ля­ет­ся от­но­ше­ни­ем (_i_k)/(_j_k), а не _i/_j, как пре­ж­де. Ес­ли ве­личину сдви­га вы­брать бли­з­кой к ₁, вне­ди­а­го­наль­ные эле­мен­ты пер­вой стро­ки бу­дут очень бы­ст­ро стре­мить­ся к ну­лю. Ко­г­да ими мо­ж­но пре­не­б­речь, ди­а­го­наль­ный эле­мент (A_k)₁₁ бе­рут в качес­т­ве соб­ст­вен­но­го значения ₁, а вычис­ле­ния про­дол­жа­ют с под­ма­т­ри­цей по­ряд­ка N1, по­лучен­ной из A_k вы­чер­ки­ва­ни­ем пер­вой стро­ки и пер­во­го столб­ца.

В про­стей­шем случае в качес­т­ве сдви­га мо­ж­но взять ве­личину ди­а­го­наль­но­го эле­мен­та, ко­то­рая стре­мит­ся к соб­ст­вен­но­му значению: _k=(A_k)₁₁. Ана­лиз по­ка­зы­ва­ет, что при этом почти все­гда бу­дет обес­печена асим­п­то­тичес­ки ку­бичес­кая схо­ди­мость. Су­ще­ст­ву­ет мно­го дру­гих спо­со­бов оп­ре­де­ле­ния сдви­га, ка­ж­дый из ко­то­рых об­ла­да­ет сво­и­ми до­с­то­ин­ст­ва­ми и не­до­с­тат­ка­ми. Под­роб­ное об­су­ж­де­ние это­го во­п­ро­са мо­ж­но най­ти в кни­ге [Error: Reference source not found].

Ес­ли эле­мен­ты ма­т­ри­цы A_k из­ме­ня­ют­ся в ши­ро­ких пре­де­лах, то при не­по­сред­ст­вен­ном ис­поль­зо­ва­нии урав­не­ния (25а) вычита­ние _k из ди­а­го­наль­ных эле­мен­тов мо­жет при­ве­с­ти к значитель­ной по­те­ре точно­с­ти во вре­мя вычис­ле­ния ма­лых по аб­со­лют­ной ве­личине соб­ст­вен­ных значений. Су­ще­ст­ву­ет ма­те­ма­тичес­ки эк­ви­ва­лент­ная схе­ма по­стро­е­ния той же са­мой ма­т­ри­цы пре­об­ра­зо­ва­ния Q_k, не ис­поль­зу­ю­щая опе­ра­цию вычита­ния сдви­га. Она на­зы­ва­ет­ся QL-ал­го­рит­мом с не­яв­ным сдви­гом. Ес­ли бы все ариф­ме­тичес­кие опе­ра­ции вы­пол­ня­лись аб­со­лют­но точно, то ал­го­рит­мы с яв­ным и не­яв­ным сдви­га­ми да­ли бы со­вер­шен­но оди­на­ко­вые ре­зуль­та­ты. В ре­аль­ных ус­ло­ви­ях при­бли­жен­ных вычис­ле­ний ал­го­ритм с не­яв­ным сдви­гом об­ла­да­ет боль­шей ус­тойчиво­стью и обес­печива­ет лучшую точность оп­ре­де­ле­ния ма­лых соб­ст­вен­ных значений.

Хо­тя QR- и QL-ал­го­рит­мы при­ме­ни­мы к ма­т­ри­цам са­мо­го об­ще­го ви­да, раз­ло­же­ние на уни­тар­ный и тре­у­го­ль­ный мно­жи­те­ли об­хо­дит­ся до­воль­но до­ро­го в смы­с­ле объ­е­ма не­об­хо­ди­мых вычис­ле­ний. По­э­то­му, не­смо­т­ря на вы­со­кую ско­рость схо­ди­мо­сти, сум­мар­ные за­тра­ты ока­зы­ва­ют­ся вы­со­ки­ми. Си­ту­а­ция ме­ня­ет­ся, ко­г­да эти ал­го­рит­мы ис­поль­зу­ют для ди­а­го­на­ли­за­ции ма­т­риц спе­ци­аль­ной стру­к­ту­ры, на­при­мер, лен­точных и сим­мет­ричных. На­личие боль­шо­го ко­личес­т­ва ну­ле­вых эле­мен­тов вме­сте со свой­ст­вом со­хра­не­ния ши­ри­ны лен­ты в про­цес­се вычис­ле­ний по­з­во­ля­ют до­бить­ся боль­шо­го вы­иг­ры­ша.

Ал­го­ритм ста­но­вит­ся осо­бен­но про­стым, ко­г­да при­ме­ня­ет­ся к сим­мет­ричным трех­ди­а­го­наль­ным ма­т­ри­цам (т. е. ма­т­ри­цам, у ко­то­рых от­личны от ну­ля лишь эле­мен­ты, не­по­сред­ст­вен­но при­мы­ка­ю­щие к глав­ной ди­а­го­на­ли: a_ii=d_i (i=1, , N); a_i+1,i=a_i,i+1=e_i (i=1, , N1)). В этом случае ор­то­го­наль­ная ма­т­ри­ца Q_k на k-м ша­ге по­лучает­ся как про­из­ве­де­ние N1 ма­т­риц Ги­вен­са (9):

(26)

L_k от­дель­но не вычис­ля­ет­ся; вме­сто это­го сра­зу на­хо­дят­ся эле­мен­ты пре­об­ра­зо­ван­ной ма­т­ри­цы A_k+1. Ес­ли ну­ж­ны не толь­ко соб­ст­вен­ные значения, но и соб­ст­вен­ные ве­к­то­ры, на­ка­п­ли­ва­ет­ся про­из­ве­де­ние ма­т­риц пре­об­ра­зо­ва­ний:

. (27)

Бо­лее под­роб­ное опи­са­ние схе­мы вычис­ле­ний мо­ж­но най­ти в [Error: Reference source not found] или [Error: Reference source not found].

Ес­ли трех­ди­а­го­наль­ная ма­т­ри­ца име­ет соб­ст­вен­ное значение крат­но­сти p, то, по край­ней ме­ре, p1 вне­ди­а­го­наль­ных эле­мен­тов дол­ж­ны быть рав­ны ну­лю, т. е. ма­т­ри­ца рас­ще­п­ля­ет­ся на пря­мую сум­му трех­ди­а­го­наль­ных ма­т­риц мень­ше­го по­ряд­ка, для ка­ж­дой из ко­то­рых соб­ст­вен­ные значения мо­ж­но най­ти не­за­ви­си­мо. Ди­а­го­наль­ные бло­ки, ко­то­рые не­об­хо­ди­мо вы­де­лять при ана­ли­зе крат­ных соб­ст­вен­ных значений у ма­т­риц об­ще­го ви­да, здесь не по­я­в­ля­ют­ся. Та­ким об­ра­зом, при на­личии вы­ро­ж­ден­ных соб­ст­вен­ных значений обес­печива­ет­ся до­по­л­ни­тель­ная эко­но­мия вычис­ле­ний.