От Пантелеева / Книги студентам / лИТЕРАТУРА / Тартышников

необходимо,h чтобыi ее ведущие миноры были неотрицательными. Однако, пример мат-

0 0

ðèöû A = 0 −1 показывает, что этого уже не достаточно. Кроме ведущих миноров,

теперь нужно вовлечь в рассмотрение также все главные миноры è главные подматрицы так называются миноры и подматрицы, расположенные на пересечении строк и столбцов с одинаковой системой номеров. Заметим, что в эрмитовой матрице все главные подматрицы будут эрмитовы.

Лемма 1. Пусть r = rankA. Тогда подматрица порядка r, расположенная на пересе-

чении любых r линейно независимых строк и любых r линейно независимых столбцов, будет невырожденной.

Доказательство. Обозначим эту подматрицу через B, и пусть R подматрица размеров r × n, образованная заданными строками. Каждый столбец A есть линейная комбинация столбцов, на которых находится B. Каждый столбец R есть линейная комбинация столбцов B. Поэтому если k ≡ rankB < r, то каждый столбец R åñòü

Лемма 2. Среди отличных от нуля миноров порядка r эрмитовой матрицы ранга r имеется главный минор.

Доказательство. Пусть A = A . Тогда если r строк (столбцов) линейно независимы, то r столбцов (строк) с теми же номерами также линейно независимы. По лемме 1, минор на их пересечении отличен от нуля. Он же, очевидно, главный. 2

Лемма 3. Пусть A невырожденная эрмитова матрица порядка n ≥ 2, в которой главные миноры порядка k для всех k от 1 до n−1 равны нулю. Тогда n = 2 и det A < 0.

Доказательство. Пусть λ1 ≥ . . . ≥ λn собственные значения матрицы A. Åñëè λk > 0 при каком-то k из промежутка от 2 äî n, то из соотношений разделения следует, что все главные подматрицы порядка k−1 имеют положительные собственные значения

и поэтому невырожденные. Если λ1 < 0, то все главные миноры отличны от нуля. Таким образом,

λ1 > 0 > λ2 ≥ . . . ≥ λn.

В то же время, если главные миноры первого и второго порядка равны нулю, то любая главная подматрица второго порядка нулевая:

hi

det a0¯ a0 = −|a|2 = 0 a = 0.

Из соотношений разделения получаем λ2 ≥ 0. Поскольку противоречие возникает при n > 2, должно быть n = 2. В этом случае det A = λ1 λ2 < 0. 2

Теорема. Для неотрицательной определенности эрмитовой матрицы необходимо и достаточно, чтобы все ее главные миноры были неотрицательны.

Доказательство. Необходимость ясна, так как свойство неотрицательной определенности наследуется любой главной подматрицей. Докажем достаточность.

Пусть λ1 ≥ . . . ≥ λn собственные значения матрицы A.

Пусть r = rankA. По лемме 2, имеется невырожденная главная подматрица порядка r. Обозначим ее через B. По лемме 3, если r > 2, â B существует невырожденная главная подматрица порядка r − 1. Отсюда ясно, что с помощью некоторой матрицы перестановки P èç B можно получить эрмитову матрицу P >BP , в которой все ведущие

248 Лекция 37

миноры отличны от нуля и, следовательно, положительны. В силу критерия положи-

rankA > r. Значит, λr > 0 è λr+1 = . . . = λn = 0. Неотрицательность всех собственных значений эрмитовой матрицы влечет за собой ее неотрицательную определенность. 2

37.5Вариационные свойства сингулярных чисел

Теорема. Пусть A Cm×n имеет сингулярные числа

σ1(A) ≥ . . . ≥ σmin(m,n)(A).

Тогда при всех 1 ≤ k ≤ min(m, n)

p

Доказательство. Заметим, что σk(A) = λk(A A). Очевидно также, что

Таким образом, все сразу же следует из вариационных свойств собственных значений эрмитовой матрицы A A. 2

Задача. Пусть A Cn×n è fk(A) = σ1(A) + . . . + σk(A). Докажите, что для любого 1 ≤ k ≤ n функция fk(A) является матричной нормой на Cn×n.

Задача. Докажите, что для любой квадратной матрицы A наименьшее собственное значение ее эрмитовой части H = (A + A )/2 не больше наименьшего сингулярного числа матрицы A.

37.6Разделение сингулярных чисел

Теорема. Пусть A Cm×n è B Cm×(n−1) подматрица, состоящая из первых n−1 столбцов матрицы A. Тогда для сингулярных чисел A и B имеют место соотношения

разделения

σ1(A) ≥ σ1(B) ≥ σ2(A) ≥ . . . ≥ σn−1(B) ≥ σn(A).

Доказательство. Согласно условию теоремы, A имеет вид A = [B, v], где v ее последний столбец. Значит,

Искомые неравенства получаются из соотношений разделения для эрмитовой матрицы A A порядка n и ее ведущей подматрицы B B порядка n − 1. 2

250 Лекция 38

При этом в паре ортонормированных базисов сопряженному оператору соответствует сопряженная матрица.

Доказательство. Пусть v1, . . . , vn ортонормированный базис в V , à w1, . . . , wm ортонормированный базис в W . Обозначим через A = [aij] Cm×n матрицу оператора

A в данной паре базисов. В силу ортонормированности,

образом, матрица B = [bji] линейного оператора A в паре базисов {wi} è {vj} должна

иметь элементы

bji = (wi, Avj) = (Avj, wi) = a¯ij B = A .

Ясно также, что мы получили единственность оператора A . Существование доказы- вается так: рассмотрим оператор, заданный матрицей A , и проверим, что для него выполняется равенство ( ):

38.2Матрица сопряженного оператора

Пусть V = Cn è W = Cm. Как мы знаем, произвольные скалярные произведения в Cn è Cm имеют вид

(p, q)V = q Sp, (y, z)W = z T y,

ãäå S Cn×n è T Cm×m эрмитовы положительно определенные матрицы. Пусть линейный оператор A : Cn → Cm

A Cm×n, а сопряженный оператор умножением на матрицу любых x Cn è y Cm должно быть

y T (Ax) = (By) Sx y (T A)x = y (B S)x T A = B S B = S−1A T.

Разные скалярные произведения в Cn è Cm приводят, конечно, к разным сопря-

женным операторам но, как видим, любой из них есть умножение на матрицу вида S−1A T , ãäå S è T эрмитовы положительно определенные матрицы, задающие ска-

лярные произведения.

Пусть A матрица линейного оператора A : V → W , dim V = n, dim W = m, в какой-то паре базисов. Если x è y вектор-столбцы из координат разложения прообраза и образа при действии A, то получаем y = Ax. Пусть теперь x = By. Тогда Sx =

38.3Нормальный оператор

Пусть A : V → V линейный оператор, V пространство со скалярным произведением (· , ·)V . Åñëè AA = A A, òî A называется нормальным оператором. Данное свойство зависит от скалярного произведения: в другом скалярном произведении A может не быть нормальным.

Задача. Пусть A : V → V линейный оператор в произвольном конечномерном унитарном

пространстве V . Докажите, что существует ортонормированный базис, в котором матрица оператора

A является верхней треугольной.

Изучение нормальных операторов легко сводится к изучению нормальных матриц: достаточно выбрать в V ортонормированный базис, тогда нормальность оператора рав-

носильна нормальности его матрицы в данном базисе. Отсюда ясно, что нормальный оператор является оператором простой структуры. Заметим также,что любой оператор простой структуры можно сделать нормальным за счет выбора скалярного произведения (докажите!).

Важнейшие классы нормальных операторов: унитарные операторы ( A = A−1) è эрмитовы (самосопряженные) операторы ( A = A). Пусть A нормальный оператор.

Легко доказывается, что унитарность оператора A равносильна тому, что все его

собственные значения по модулю равны 1, а эрмитовость равносильна веществен-

ности собственных значений. Подчеркнем, что унитарность и эрмитовость оператора зависят от скалярного произведения.

38.4Самосопряженный оператор

Åñëè (Ax, y)V = (x, Ay)V x, y V , то, в силу единственности сопряженного оператора, A = A. В таких случаях A называется самосопряженным оператором. Если

(Ax, x) > 0 ïðè âñåõ x V, x 6= 0, то оператор называется положительно определен-

íûì.

Åñëè V = Cn и скалярное произведение (x, y)S = y Sx определяется с помощью эрмитовой положительно определенной матрицы S Cn×n, то, согласно предыдущему

разделу, самосопряженность оператора умножения на матрицу A Cn×n

A = S−1A S.

Заметим, что равенство S−1/2 S S−1/2 = I означает, что столбцы матрицы S−1/2 зуют ортонормированный базис относительно скалярного произведения (· ·)S. Матрица B оператора умножения на A в данном базисе определяется равенством

AS−1/2 = S−1/2B B = S1/2AS−1/2.

Самосопряженность означает, что B должна быть эрмитовой матрицей это легко также вывести непосредственно из ( ). Как видим, матрица A подобна эрмитовой матрице B все ее собственные значения вещественны.

38.5Минимизация на подпространствах

Обсудим важную идею, позволяющую строить методы решения системы Ax = b, совсем не похожие на известный нам метод Гаусса. Пусть A Cn×n невырожденная матрица.

Рассмотрим так называемые подпространства Крылова 2

Вектор r(z) = b −Az называется невязкой вектора z. Очевидно, вычисление вектора xk сводится к задаче о перпендикуляре, опущенном из вектора b на подпространство

Mk = ALk = {y Cn : y = Az, z Lk}.

Как решать такую задачу мы уже знаем. Понятно также, что решение существенно облегчается наличием удобного базиса p1, . . . , pk â Lk

ортогональной системе Ap1, . . . , Apk).

В условиях точных вычислений процесс всегда завершается получением решения x. Åñëè Ln = Cn, то, очевидно, xn = x. Если на каком-то шаге Lk = Lk+1, òî

ALk Lk+1 = Lk ALk = Lk (в силу невырожденности матрицы A).

Поскольку b Lk, то должно быть Az = b для какого-то z Lk. Невырожденность A означает, что z = x x Lk xk = x. Заметим также, что если x Lk (а значит,

xk = x), òî Lk = Lk+1

Обратим внимание на то, что xk часто оказывается хорошим приближением к решению x ïðè k n. Описанная идея является ключевой в современных методах решения систем в многочисленных прикладных задачах.

38.6Метод сопряженных градиентов

Данная идея приобретает особенно элегантную форму в случае, когда A эрмитова положительно определенная матрица.

Пусть x0 произвольный начальный вектор. Если r0 = b − Ax0 = 0, то решение найдено. Если r0 6= 0, начинаем строить подпространства Крылова

Lk = L(r0, Ar0, . . . , Ak−1r0) = L(p1, . . . , pk),

последовательно получая в них базис p1, . . . , pk со следующим свойством:

(Api, pj) = 0, i 6= j; p1 = r0.

2Заметим, что Lk есть подпространство минимального инвариантного подпространства, порожденного вектором b. В Лекции 32 было доказано, что если Akb = 0, то отличие от нуля векторов

b, Ab, . . . , Ak−1b влечет за собой их линейную независимость.

Окончательно, метод сопряженных градиентов сводится к итерациям, выполняемым по следующим двучленным формулам:

Теоретически итерации выполняются до тех пор, пока rk 6= 0. На практике они оста- навливаются, когда ||rk||2 становится достаточно малой.

Наиболее сложное действие на k-м шаге метода сопряженных градиентов это умножение заданной матрицы A на вектор. При этом совсем не обязательно хранить все n2

элементов матрицы в каком-то массиве требуется лишь наличие какой-то процедуры умножения матрицы на вектор. Именно в этом плане итерационные методы существенно отличаются от метода Гаусса, это же обстоятельство делает их особенно полезными при решении систем с очень большим числом неизвестных.

256 Лекция 39

|ζ| ≤ 1, то получаем |ζ|n ≤ ||a||1. Åñëè |ζ| > 1, òî |ζ|n ≤ ||a||1 |ζ|n−1 |ζ| ≤ ||a||1. 2

Предположим далее, что an = bn = 1. Корни f(z) è g(z) обозначим через x1, . . . , xn и составим из них векторы-столбцы x = [x1, . . . , xn]> è y = [y1, . . . , yn]>.

Лемма 2. Существует перестановка i1, . . . , in номеров 1, . . . , n такая, что

n n

XX

Лемма 3. Пусть ζ и η корни многочленов f(z) и g(z), и пусть многочлены φ(z) и ψ(z) определены равенствами f(z) = φ(z) (z − ζ) и g(z) = ψ(z) (z − η). Тогда

||φ − ψ||1 ≤ γ(α, β)(α + β), α = ||f − g||1, β = |ζ − η|,

где γ(α, β) непрерывная функция от α и β.

ci−1 − di−1 = (ai − bi) + (ci − di)ζ + di(ζ − η), 1 ≤ i ≤ n.

Остается учесть оценку леммы 1 для ζ. 2

Теорема. Для любого достаточно малого ε > 0 существует δ > 0 такое, что если

||f − g||1 ≤ δ, òî ρ1(x, y) ≤ ε.

Доказательство. Рассмотрим многочлены gk(z) è fk(z), возникшие в формулировке и доказательстве леммы 2. Очевидно, fk(xk) = 0. Поэтому