Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Скачиваний:
177
Добавлен:
14.05.2015
Размер:
1.85 Mб
Скачать
Другая возможность ввести в

Е. Е. Тыртышников

327

 

 

Pn скалярное произведение и построить базис из ортогональных

(ортонормированных) многочленов с помощью процесса ортогонализации Грама-Шмидта, примененного к системе многочленов 1, x, x2, . . . . Например, для многочленов на отрезке [−1, 1] можно опре-

делить скалярное произведение как интеграл

 

1

 

(f, g) =

Z

f(x)g(x) dx, f, g Pn.

 

−1

 

Тогда получатся ортогональные многочлены, известные как многочлены Лежандра.

Âтеории и вычислениях применяются и многие другие способы задания скалярного произведения

âPn, приводящие к другим полезным системам ортогональных многочленов. Например, скалярное

произведение

(f, g) =

 

1

1 x2

dx, f, g Pn,

Z

 

 

 

f(x)g(x)

 

1

 

 

 

 

 

порождает многочлены Чебышева.

328

Лекция 57

 

 

аннулируется своим характеристи-

Дополнение к лекции 32

58.1Минимальный многочлен матрицы

По теореме Гамильтона Кэли, матрица A Cn×n

ческим многочленом: если f(λ) = det(A − λI), òî f(A) = 0. Многочлен минимальной степени с тем же свойством называется минимальным многочленом матрицы A.

Лемма. Минимальный многочлен является делителем характеристического много- члена.

Доказательство. Пусть φ(λ) è f(λ) минимальный и характеристический многочлены для A. Выполним деление с остатком: f(λ) = q(λ)φ(λ) + r(λ). Очевидно, r(A) = 0. Неравенство deg r(λ) < deg φ(λ) противоречило бы минимальности многочлена φ(λ). Поэтому r(λ) нулевой многочлен. 2

Теорема. Пусть A имеет попарно различные собственные значения λ1, . . . , λm. Ñòå- пень минимального многочлена матрицы A равна сумме n1 + . . . + nm, ãäå ni ìàê- симальный порядок жордановых клеток для собственного значения λi.

Доказательство. Достаточно рассмотреть разложение произвольного вектора x =

P

xj по циклическим подпространствам Lj (последние в прямой сумме дают Cn). Пусть

 

Lj1 , . . . , Ljm

 

ni

 

λ1, . . . , λm

 

подпространства

 

отвечают, соответственно,

 

и имеют размерности

 

 

 

 

n1, . . . , nm. Тогда ker(A − λiI)

 

= Ki

 

 

(A − λ1I)n1 . . . (A − λmI)nm x = 0.

Таким образом, степень минимального многочлена не выше n1 + . . . + nm.

В то же время, степень минимального многочлена не может быть меньше: жордано- ва клетка порядка ni äëÿ λi не может быть аннулирована многочленом степени меньше

ni, при этом ее минимальный многочлен есть в точности i − λ)ni и этот многочлен не может аннулировать ни одну из жордановых клеток, отвечающих другому собственному значению. 2

58.2Жорданова форма: прямое доказательство по индукции

Путь к теореме о приведении квадратной комплексной матрицы к жордановой форме, очевидно, потребовал от нас изрядных усилий. Поэтому естественно желание как-то его срезать в какой-то степени это удается с помощью следующего рассуждения, предложенного А. Ф. Филипповым.

Теорема. Пусть L инвариантно относительно A Cn×n и сужение A íà L имеет единственное собственное значение λ кратности k. Тогда существует цепочка линейно независимых векторов x1, . . . , xk L такая, что для каждого j

Axj = λxj ëèáî Axj = λxj + xj−1.

329

dim L = dim(imB ∩ L) + dim(kerB ∩ L). Таким образом, цепочка векторов
составить его базис. Пусть векторы
Начальные векторы жордановых цепочек линейно независимы (как часть линейно независимой системы) и принадлежат подпространству kerB ∩ L, но, возможно, их недостаточно для того, чтобы
z1, . . . , zs
дополняют систему
Заметим, что w1, . . . , wl
Заметим, что
ранстве kerB ∩ L.
до базиса в подпрост-
yi1 , . . . , yil

330

Лекция 58

 

 

Доказательство.

Перейдем к матрице B = A − λI и будем доказывать существование цепочки со

свойствами

Bxj = 0 ëèáî Bxj = xj−1.

 

Ïðè k = 1 это очевидно (в данном случае L одномерное инвариантное подпространство). Рассуждая

по индукции, предположим, что в случае, когда размерность инвариантного подпространства равна r < k, цепочка нужного вида существует. В качестве такого пространства возьмем imB ∩ L. ßñíî, ÷òî

r ≡ dim(imB ∩ L) < k.

Итак, по индуктивному предположению, имеется цепочка линейно независимых векторов y1, . . . , yr таких, что

Byj = 0 ëèáî Byj = yj−1.

Ясно, что система y1, . . . , yk разбивается ка конечное число жордановых цепочек:

yi1 , . . . , yj1 ; . . . ; yil , . . . , yjl .

Таким образом, жордановых цепочек всего l, а векторы yi1 , . . . , yil è yj1 , . . . , yil начальные и конеч- ные векторы этих цепочек.

Все векторы, и в частности, конечные векторы жордановых цепочек, принадлежат imB. Поэтому найдутся векторы w1, . . . , wl такие, что

Bw1 = yj1 , . . . , Bwl = yjl .

kerBr+1 ∩ L.

z1, . . . , zs, yi1 , . . . , yj1 , w1, . . . , yil , . . . , yjl , wl ( )

имеет нужный вид, и в ней ровно dim L = r + (l + s) векторов. Остается лишь доказать, что система ( ) линейно независима. Запишем

X X X

αizi + βiyi + γiwi = 0.

Умножив обе части слева на B, получаем равную нулю линейную комбинацию части векторов yi áåç

начальных векторов жордановых цепочек yi1 , . . . , yil . Отсюда находим, что γi = 0 äëÿ âñåõ 1 ≤ i ≤ l è βi = 0 äëÿ âñåõ 1 ≤ i ≤ r, кроме i = i1, . . . , il. Таким образом,

s

!

l

!

X

+

X

βit yit = 0.

αizi

 

i=1

 

t=1

 

Данная система линейно независима по построению

âñå αi è βit равны нулю. 2

Дополнение к леции 34

59.1Свертки

Пусть циркулянтная матрица A определяется первым столбцом a. Вектор y = Ax называется периодической сверткой векторов a è x. Обозначение: y = a x.

Задача. Докажите, что a x = x a.

Согласно теореме о циркулянтах, вычисление периодической свертки векторов из Rn (умножение на циркулянтную матрицу) сводится к трем умножениям на матрицу

Фурье. Последнее можно выполнить с помощью алгоритма быстрого преобразования Фурье за O(n log n) арифметических операций, если n = 2L.

Решение линейных систем с циркулянтной матрицей осуществляется с теми же затратами (докажите!).

Пусть теперь a = [a−n+1, a−n+2, . . . , a0, a1, . . . , an−1]> C2n−1 è x Cn. Ïîä апери-

одической сверткой векторов a è x иногда понимается вектор y = Ax, ãäå

A =

a1

a0

. . .

a−n+2

.

 

a0

a−1

. . .

a−n+1

 

 

 

 

 

 

 

 

 

 

 

 

. . . . . . . . . . . . an−1 an−2 . . . a0

Матрица A такого вида называется теплицевой матрицей. 1 Заметим, что любой циркулянт является также теплицевой матрицей.

Утверждение. Для любого n теплицева матрица порядка n может быть умножена на вектор с затратой O(n log2 n) операций.

Доказательство. Достаточно заметить, что теплицеву матрицу A порядка n можнодостроить до циркулянта

 

 

 

 

 

 

A

C12

 

 

 

 

 

 

 

 

 

 

C =

C21

C22

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

порядка N = 2L < 4n. Вот как это делается в случае n = 3:

 

 

C =

a0

a−1

a−2

 

0

 

0

 

a2

 

a1

 

.

0

 

 

 

 

0

 

a2

a1

a0

a−1

a−2

0

 

0

 

 

 

a1

a0

a−1

a−2

0

 

0

 

0

 

a2

 

 

 

a2

a1

a0

a−1

a−2

0

 

0

 

0

 

 

0

 

0

0

a2

a1

a0

a

1

a

2

a

−2

0

0

0

a

2

a

1

a

 

a

 

 

 

0

0

a2

a1

 

 

0

 

−1

 

 

 

 

a0

a−1

a−2

0

 

 

a−1

a−2

0

0

0

 

a2

a1

 

a0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1В честь немецкого математика Отто Теплица.

331

332 Лекция 59

Далее, пусть

v

 

=

C21

C22

0 .

 

 

u

 

 

A

C12

x

Отсюда ясно, что u = Ax. Таким образом, умножение на теплицеву матрицу сводится к умножению на циркулянтную матрицу порядка N = 2L. Применение быстрого преобразования Фурье дает алгоритм с числом операций O(N log2 N) = O(n log2 n). 2

59.2Сложность преобразования Фурье

Что можно сказать о сложности преобразования Фурье в случае n 6= 2L?

Пусть элементы матрицы Fn нумеруются индексами от 0 äî n − 1. В позиции (k, l)

находится число

εkl = ε(k2+l2−(k−l)2)/2 = εk2/2 ε−(k−l)2 εl2/2.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Поэтому матрица Фурье расщепляется в произведение трех матриц

 

 

 

 

 

 

Fn = DAD, D =

ε02/2

ε12/2 . .

.

, A = [ε−(k−l)2/2

], 0

k, l

n

1.

 

 

 

ε(n−1)2/2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Таким образом, умножение на матрицу Фурье произвольного порядка n сводится к умножению на теплицеву матрицу A того же порядка n. Последнее сводится к умножению на циркулянтную матрицу порядка n ≤ N = 2L < 4n.

В итоге все сводится к троекратному применению алгоритма быстрого преобразования Фурье специально выбранного порядка N = 2L. Описанная возможность получения

быстрого преобразования Фурье без ограничений на его порядок является, вероятно, самой простой но не единственной и не всегда наилучшей для практических вычислений.

Можно ли получить алгоритм асимптотически меньшей сложности? Ответ зависит от ограничений на класс допустимых алгоритмов. Пусть под алгоритмом понимается

последовательность операций вида z = αix + βiy, ãäå x, y аргументы, z результат i-îé операции, а αi è βi определяющие операцию константы. Доказано, что если все константы ограничены по модулю величиной M > 0, то число операций такого

вида, необходимых для вычисления преобразования Фурье, не меньше cn log2 n, ãäå c не зависит от n (но зависит от M).

Задача.

Доказать, что два многочлена степени n можно перемножить с затратой

O(n log2 n)

арифметических операций.

 

можно найти с затратой O(n log22 n) арифметических операций.

n

iQ

Задача.

Даны числа x1, . . . , xn. Доказать, что коэффициенты многочлена f(x) =

=1(x xi)

59.3Быстрые приближенные вычисления

Рассмотрим задачу умножения фиксированной матрицы A порядка n íà произвольный вектор x. При построении алгоритма для вычисления вектора y = Ax входными данными считаются координаты вектора x, а результатом координаты вектора y.

Åñëè A = Fn матрица Фурье порядка n, òî y = Ax можно найти за O(n log2 n) операций. При точном выполнении каждой операции будет получен точный вектор y.

ãäå Er(u, v)

Е. Е. Тыртышников

333

 

 

Однако, практический интерес представляет получение некоторого приближения к вектору y с гарантированной точностью ε > 0. Число операций для решения такой задачи

должно зависеть, очевидно, не только от n, íî è îò ε.

В приложениях элементы aij матрицы A часто определяются как значения некоторой функции f(u, v) в точках u = ui, v = vj, ãäå u1, . . . , un è v1, . . . , vn некоторые системы точек (сетки) в k-мерном пространстве:

aij = f(ui, vj), 1 ≤ i, j ≤ n.

Пусть все точки ui, vj принадлежат множеству D Rk, и предположим, что для любого ε > 0 функция f(u, v) допускает приближение с разделенными переменными

r

X

f(u, v) ≈ φs(u)ψs(v), r = r(ε),

s=1

ãäå

r

 

 

Xs

 

|f(u, v) − φs(u)ψ(s(v)| ≤ ε, u, v D.

 

=1

Тогда A аппроксимируется матрицей Ar âèäà

rφ(u1)

Xs

φ(un)

 

 

Ar =

...

ψ(v1) ... ψ(vn)

( )

=1

 

 

 

с поэлементной оценкой погрешности

|aij − (Ar)ij| ≤ ε, 1 ≤ i, j ≤ n.

При этом, очевидно, Ax ≈ Arx, а умножение матрицы Ar на вектор x требует, в силу ( ), всего лишь O(nr) арифметических операций.

Как видим, число операций зависит от n линейно. Но важно понимать также, каков

характер зависимости r от ε. Это вопрос, относящийся к теории приближения функций. Его полное изучение может потребовать весьма тонких средств анализа.

Однако, какие-либо оценки (вообще говоря, завышенные) можно получать и с помощью очень простых средств. Например, пусть k = 1 и D = [a, b] отрезок вещественной прямой. Предположим,

что функция f(u, v) бесконечно дифференцируема как функция от v при любом фиксированном u. Тогда при любом фиксированном u можно разложить f(u, v) в ряд Тейлора в точке v = v0 = (a + b)/2:

r−1 sf

v=v0

(v

v

)s

f(u, v) = s=0 ∂vs

 

s! 0

 

+ Er(u, v),

X

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

остаточный член. Если им пренебречь, то получается некоторая аппроксимация с разделенными переменными u и v. Если f как функция от v принадлежит классу бесконечно дифференцируемых функций, для которых производная любого порядка s ограничена по модулю величиной Ms, где M положительная константа, одинаковая для всех u D, то

|

E

(u, v)

| ≤

Mr

 

b − a

 

r .

r!

2

r

 

 

Можно показать, что правая часть стремится к нулю при r → ∞. Более того, для некоторых констант p, q > 1 она не превосходит p/qr при всех r. Неравенство

p/qr ≤ ε

O(n log ε−1).

334

Лекция 59

 

 

будет выполнено, если

log p + log ε−1

log q

≤ r.

В данном случае число операций в нашем приближенном алгоритме умножения матрицы A на вектор x получает вид

Методы математического анализа нужны для того, чтобы доказать существование приближения матрицы A матрицей Ar, ранг которой мал по сравнению с n. Если этот факт уже установлен, то интересующее нас приближение можно найти с помощью собственных методов теории матриц. Более того, приближение ранга r можно полу-

чить, используя лишь некоторые r строк и r столбцов матрицы A это вытекает из следующей теоремы.

Теорема. 2 Пусть для матрицы A порядка n существует матрица B ранга r такая, что ||B − A||2 ≤ ε. Тогда, если A имеет блочное разбиение вида

A = A11 A12 ,

A21 A22

ãäå A11 невырожденная подматрица порядка r с максимальным по модулю определителем среди всех подматриц порядка r, то

 

A −

A21

A11−1

A11

A12

ij

 

≤ (r + 1)ε, 1 ≤ i, j ≤ n.

 

 

 

 

 

 

 

 

 

 

 

A11

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

На протяжении последних 10-20 лет методы быстрого приближенного умножения для матриц, принадлежащих весьма общим классам матриц, развивались особенно интенсивно. Они становятся основой очень эффективных вычислительных технологий: если в 1960-х годах решение систем с плотной матрицей коэффициентов порядка нескольких сотен считалось уже трудной задачей, то теперь получены методы, позволяющие успешно работать с плотными матрицами порядка нескольких миллионов. При этом ключевой идеей является использование многоуровневых блочных разбиений исходной матрицы с аппроксимацией блоков матрицами малого ранга. Данный круг вопросов имеет огромное прикладное значение и находится в стадии активного изучения, в том числе и как часть теории и алгоритмов сжатия и структуризации данных на основе методов нелинейной аппроксимации.

2Эта теорема получена в работе: S. A. Goreinov, E. E. Tyrtyshnikov, The maximal-volume concept in approximation by low-rank matrices, Contemporary Mathematics, Volume 280, 47 51 (2001).

Дополнение к лекции 35

60.1 Общий вид унитарно инвариантных норм

При работе с матрицами мы активно используем две унитарно инвариантных нормы: спектральную норму ||A||2 и норму Фробениуса ||A||F . Другие нормы того же типа с

Полное описание унитарно инвариантных норм было дано Джоном фон Нейманом

â 1937 ãîäó. 1

 

 

Пусть A = V ΣU сингулярное разложение матрицы A. Тогда для любой унитар-

но инвариантной нормы имеем равенство ||A|| = ||Σ||. Поэтому ||A||

есть функция от

сингулярных чисел матрицы A:

 

 

||A|| = Φ(σ1, . . . , σk), k = min(m, n).

 

 

ßñíî, ÷òî Φ(σ1, . . . , σk) можно рассматривать как функцию от

вектора

σ =

1, . . . , σk]> Rn.

 

 

огромной пользой применяются, например, в асимптотическом матричном анализе (при

изучении последовательностей матриц, порядок которых стремится к бесконечности).

Конечно, сингулярные числа неотрицательны, но давайте предположим, что

Φ(σ)

определена при всех σ Rk. Рассмотрим следующий список требований к функции Φ:

(1) Φ(σ) является векторной нормой на Rk;

(2) Φ(σ) зависит только от модулей координат вектора σ Rk;

(3) Φ(P σ) = Φ(σ) для любой матрицы перестановки порядка k;

(4) åñëè σ = [1, 0, . . . , 0]>, òî Φ(σ) = 1.

Функция Φ(σ) с такими свойствами называется симметричной калибровочной функцией на Rk.

Åñëè Φ(σ) определяется унитарно инвариантной нормой как ||Σ||, то эти свойст-

ва, очевидно, должны выполняться. Нетривиальная часть теоремы Джона фон Нейма-

íà â òîì, ÷òî любая симметричная калибровочная функция определяет унитарно

инвариантную норму. Единственную (но ощутимую) трудность доставляет получение неравенства треугольника.

1Любопытный исторический факт: данный результат был опубликован автором в Ученых записках Томского университета.

335

336

Лекция 60

 

 

Соседние файлы в папке лИТЕРАТУРА