От Пантелеева / Книги студентам / лИТЕРАТУРА / Тартышников

порядка n − 1 (каждая из матриц Z−1BiZ является верхней треугольной), то матрица

Q = P

1 0

0 Z

одновременно приводит к треугольному виду каждую из матриц верно и для произвольной линейной комбинации матриц A1, . . . , Ak. 2

Задача. Матрицы A è B порядка n коммутируют. Докажите, что существуют невырожденные

где блоки Ik, X è N, In−k имеют порядок k è n − k, соответственно, и, кроме того, матрицы Ik è In−k единичные, а N нильпотентная.

ДОПОЛНИТЕЛЬНАЯ ЧАСТЬ

34.5Быстрое преобразование Фурье

Умножение матрицы Фурье Fn на вектор-столбец x Cn называется прямым преобра-

зованием Фурье вектора x.

Классическое правило умножения матрицы на вектор дает алгоритм с числом операций порядка n2. Однако, специальный вид матрицы Fn позволяет умножать ее на

вектор с затратой лишь O(n log2 n) арифметических операций!

Алгоритмы с таким свойством (быстрое преобразование Фурье) начали внедряться

в практику вычислений в 60-х годах 20-го века и произвели буквально переворот в ряде разделов прикладной математики. 2 Так или иначе, быстрое преобразование Фурье

стало основной компонентой многих быстрых алгоритмов в задачах линейной алгебры.

Предположим, что n = 2L è m = n/2. Будем нумеровать строки и столбцы матрицы

2Начало переворота отсчитывается с 1965 года со знаменитой работы американцев Кули и Тьюки. Впоследствии было выяснено, что быстрые алгоритмы были описаны Рунге еще в начале 20-го века; более того, Г. Стрэнг утверждает, что обнаружил их прототипы еще у Гаусса.

Лекция 35

35.1Сингулярные числа и сингулярные векторы

Пусть A Cm×n. Тогда A A Cn×n эрмитова неотрицательно определенная матрица:

(A A) = A (A ) = A A; xA Ax = (Ax, Ax) = |Ax|2 ≥ 0 x Cn.

Поэтому все ее собственные значения неотрицательны.

Неотрицательные квадратные корни из собственных значений матрицы A A íàçû-

ваются сингулярными числами матрицы A. Сингулярные числа σi = σi(A) принято нумеровать по невозрастанию:

σ1 ≥ σ2 ≥ . . . ≥ σr > σr+1 = . . . = σn = 0.

Будем считать, что A имеет r ненулевых сингулярных чисел.

Пусть u1, . . . , un ортонормированный базис собственных векторов матрицы A A

σr

ãäå U = [u1, . . . , un] è V = [v1, . . . , vm] унитарные матрицы, а Σ диагональная прямоугольная матрица тех же размеров, что и матрица A.

Столбцы матриц U è V образуют сингулярные базисы матрицы A. Столбцы U íà-

зываются правыми сингулярными векторами, а столбцы V левыми сингулярными

векторами матрицы A. Связь между сингулярными векторами и ненулевыми сингулярными числами устанавливается соотношениями

Aui = σivi, A vi = σiui, 1 ≤ i ≤ r.

229

230 Лекция 35

Кроме того,

Aui = 0, r + 1 ≤ i ≤ n, A vi = 0, r + 1 ≤ i ≤ m.

Итак, мы доказали, что для любой матрицы A Cm×n имеет место равенство

AU = V Σ ( )

для некоторых унитарных матриц U Cn×n, V Cm×m и диагональной прямоуголь- ной матрицы размеров m Ч n с числами σi ≥ 0 ïðè i = j. Записав ( ) â âèäå

A = V ΣU , ( )

получаем представление матрицы, называемое ее сингулярным разложением. 1

Если каким-то способом получено разложение ( ) с унитарными матрицами U è V , òî A A = U(Σ Σ)U . Поэтому если Σ диагональная прямоугольная матрица с неотрицательными элементами, то ее ненулевые элементы определены однозначно.

35.2Полярное разложение

Åñëè m = n, то можно записать ( ) â âèäå

A = (V ΣV )(V U ) = HQ,

ãäå H = V ΣV неотрицательно определенная (поэтому также эрмитова) матрица, а Q = V U унитарная матрица (как произведение унитарных матриц). Представление матрицы A â âèäå A = HQ с неотрицательно определенной H и унитарной Q называется

åå полярным разложением.

Полярное разложение матрицы можно считать аналогом тригонометрической формы комплексного числа.

35.3Выводы из сингулярного разложения

(1)Число ненулевых сингулярных чисел r равно рангу матрицы A.

(2)Сингулярное разложение сопряженной матрицы имеет вид

A = UΣ>V .

(3)imA = L(v1, . . . , vr), kerA = L(ur+1, . . . , un).

(4)imA = L(u1, . . . , ur), kerA = L(vr+1, . . . , vm).

Âкачестве следствия можно получить представления пространств в виде ортогональных сумм

Cn = kerA imA , Cm = kerA imA.

1Оно было получено совершенно другим способом в Лекции 27.

232 Лекция 35

Вектор x называется псевдорешением системы Ax = b, åñëè

||b − Ax||2 = min ||b − Az||2.

z

В данном методе определения обобщенного решения в вещественном случае речь действительно идет о наименьшем значении суммы квадратов (отсюда название метода)

m

X

||b − Ax||22 = (bi − ai1x1 − . . . − ainxn)2.

i=1

Утверждение. Пусть A матрица размеров m Ч n и ранга r. Множество псевдорешений системы Ax = b есть линейное многообразие, размерность которого равна n − r.

Доказательство. Пусть h перпендикуляр, опущенный из вектора b на подпространство imA, à y imA соответствующая ортогональная проекция. Тогда система Az = y совместна, и если z ее произвольное решение, то |h| = |b − Az| < |b − Ax| äëÿ âñåõ x таких, что Ax 6= y. Значит, множество псевдорешений совпадает с множеством решений совместной системы Az = y. 2

Среди всех псевдорешений выделяется псевдорешение xˆ минимальной длины оно называется нормальным псевдорешением. Геометрически ясно, что xˆ есть перпендикуляр, опущенный на kerA из любого частного решения z совместной системы Az = y (вектор y ортогональная проекция вектора b íà imA). Таким образом, нормальное

псевдорешение существует и единственно.

Сингулярное разложение позволяет дать явный вид нормального псевдорешения:

Xr v b

xˆ = k uk. ( )

k=1 σk

Для доказательства достаточно проверить, что b − Axˆ imA è xˆ kerA.

Простота формулы не должна создавать впечатление об отсутствии проблем при вычислении xˆ.

Главная проблема, собственно, в том, что в случае r < min(m, n) ðàíã r можно повысить сколь угодно малым возмущением элементов матрицы, а это означает, что нормальное псевдорешение, несмотря на факт существования и единственности, не является непрерывной функцией от элементов матрицы A.

Например, пусть m = n = 1 и рассматривается система 0 · x = 1. Ее нормальное псевдорешение есть, очевидно, xˆ = 0, а нормальное псевдорешение возмущенной системы ε · x = 1 åñòü xˆ(ε) = 1/ε. Как видим, xˆ(ε) не стремится к xˆ ïðè ε → 0. Сама задача о вычислении столь неустойчивого объекта не кажется очень уж осмысленной.

В то же время, задачи такого рода постоянно возникают в приложениях, и от нас требуются какието методы их решения. При построении таких методов следует иметь в виду, что это должны быть, прежде всего, методы изменения самой постановки задачи . Подобные вопросы связаны с так называемыми методами регуляризации. 2

Задача. Найти нормальное псевдорешение несовместной системы

x1 + x2 + .. + xn = 1, x1 + x2 + ... + xn = 0.

2Общую теорию методов регуляризации создал основатель факультета ВМиК академик Андрей Николаевич Тихонов.

35.6Псевдообратная матрица

Формулу ( ) для нормального псевдорешения можно записать также в виде

Матрица M называется псевдообратной (по Муру Пенроузу) для матрицы A. Â ñè-

лу единственности нормального псевдорешения псевдообратная матрица определяется однозначно по матрице A. Обозначение: M = A+.

Задача. Пусть A произвольная прямоугольная матрица и A+ ее псевдообратная матрица. Докажите, что выполняются соотношения

(AA+) = AA+, (A+A) = A+A, AA+A = A, A+AA+ = A+.

Докажите также, что A+ единственная матрица, удовлетворяющая этой системе уравнений.

35.7Наилучшие аппроксимации с понижением ранга

В каждой матрице σkvkuk элемент в позиции (i, j) может рассматриваться как функция

îò i è j с разделенными дискретными переменными i è j: f(i, j) = f1(i)f2(j). Таким

r

образом, запись A â âèäå A = P σiviui описывает некоторый специальный способ раз-

i=1

деления переменных в каждом члене суммы или, в матричной терминологии, скелетное разложение матрицы A причем с важным дополнительным свойством ортонормиро-

ванности систем u1, . . . , ur è v1, . . . , vr.

Особая ценность и широта применений сингулярного разложения вызваны, прежде всего, тем, что оно дает простой и надежный механизм исключения из матрицы наименее значимой информации путем ее аппроксимации суммой

гаемых с разделенными переменными i è j. Речь идет о поиске элемента наилучшего

приближения для заданной матрицы A на довольно сложном множестве множестве матриц, ранг которых ограничен заданным числом.

Теорема о наилучших аппроксимациях с понижением ранга. Пусть матрица

A Cm×n задана сингулярным разложением вида

оболочку L = L(u1, . . . , uk+1), натянутую на старшие сингулярные векторы. По теореме Грассмана,

dim(kerB ∩ L) = dim kerB + dim L − dim(kerB + L) ≥ (n − k) + (k + 1) − n = 1.

Лекция 36

36.1Квадратичные формы

Квадратичные формы успешно изучались еще до введения понятия матрицы. Современный подход, конечно, использует матрицы они возникают здесь естественным образом:

Матрица A называется матрицей квадратичной формы f. Согласно нашей договоренности, aij = aji поэтому матрица A симметричная.

Пример. Пусть f = x1(x1 + x2 + ... + xn). Тогда

Отсюда следует, в частности, что максимальное значение квадратичной формы f от вещественных переменных x1, ..., xn при условии x21 + ... + x2n = 1 равно максимальному собственному значению вещественной симметричной матрицы A.

Задача. Пусть ранг вещественной симметричной матрицы порядка n равен 1 и, кроме того,

√

36.2Конгруэнтность

Замена переменных x = P y с помощью невырожденной матрицы P делает f квадратичной формой от новых переменных:

f = x>Ax = (P y)>A(P y) = y>(P >AP )y.

n

1Напомним, что ||A||∞ = max P |aij|.

1≤i≤m j=1

235