Сингулярное разложение и его применение. Учебно-методическое пособие

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РФ

НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ Физический факультет

Н. А. Кудрявцева

СИНГУЛЯРНОЕ РАЗЛОЖЕНИЕ

И ЕГО ПРИМЕНЕНИЕ

Учебно-методическое пособие

Новосибирск

2025

УДК 512.643.555(075.8) ББК В161.671я73-1 К889

Кудрявцева, Н. А.

К889 Сингулярное разложение и его применение : учеб.-метод. пособие / Н. А. Кудрявцева ; Новосиб. гос. ун-т. — Новосибирск : ИПЦ НГУ, 2025. — 24 с.

ISBN 978-5-4437-1699-2

Пособие предназначено для студентов первого курса, изучающих линейную алгебру. В нем на максимально доступном уровне, на конкретных примерах рассказывается о сингулярном разложении матриц, простом, но чрезвычайно мощном алгебраическом инструменте. Рассматривается применение сингулярного разложения в таких приложениях, как обработка экспериментальных данных, сжатие изображений, распознавание и восстановление образов, разработка рекомендательных систем. Изложенные алгоритмы можно легко представить в виде компьютерных программ.

УДК 512.643.555(075.8) ББК В161.671я73-1

Рекомендовано к печати кафедрой высшей математики ФФ НГУ (протокол № 2 от 10.10.2024 г.)

1.СИНГУЛЯРНОЕ РАЗЛОЖЕНИЕ

1.1.Геометрия линейных преобразований

Геометрически мы можем рассматривать матрицу A как преобразование плоскости, переводящее точку (x, y) в другую точку плоскости посредством матричного умножения:

Наглядно будет происходить следующее: плоскость будет растягиваться по горизонтали в 3 раза (рис. 1).

4

Преобразование плоскости в этом случае выглядит следующим образом:

Рис. 2

По изображению на рис. 2 не совсем понятно, как геометрически описать это преобразование. Однако если повернуть нашу сетку на 45◦, мы увидим следующую картину (рис. 3):

Рис. 3

Видно, что эта сетка преобразуется так же, как и предыдущая: растягивается по одному из направлений в 3 раза. Заметим, что матрица B — симметричная, и мы можем найти два направления v1 и v2 такие, что

Bv1 = λ1v1, Bv2 = λ2v2.

5

Линейное преобразование с данной матрицей выглядит так (рис. 4):

Рис. 4

Легко видеть, что одно семейство собственных векторов расположено по горизонтальной оси. Посмотрим, что получится, если повернуть сетку на 30◦ (рис. 5):

Рис. 5

Мы видим, что угол между сторонами параллелограмма справа увеличился. Давайте повернем сетку на 60◦ (рис. 6):

6

Рис. 6

Похоже, сетка справа стала почти ортогональной. Оказывается, если повернуть сетку слева на угол, приблизительно равный 58,28◦, обе сетки станут ортогональны (рис. 7):

Рис. 7

1.2. Сингулярное разложение, геометрия

Геометрический смысл сингулярного разложения для матриц 2×2 заключается в следующем. Для любой 2 × 2-матрицы мы можем найти ортогональную сетку, которую эта матрица преобразует также в ортогональную сетку. На языке векторов это выражается так: мы можем найти два ортогональных единичных вектора v1 и v2 таких, что векторы Mv1 и Mv2 будут ортогональны (рис. 8).

7

Рис. 8

Пусть u1 и u2 — единичные векторы в направлениях Mv1 и Mv2 (рис. 9):

Рис. 9

Пусть Mv1 = σ1u1, Mv2 = σ2u2. Числа σ1 и σ2 показывают величину растяжения ортогональной сетки в направлениях v1 и v2 и называются сингулярными значениями. Возьмем произвольный вектор x и разложим его по базису v1, v2:

x = (v1, x)v1 + (v2, x)v2.

Тогда

Mx = (v1, x)Mv1 + (v2, x)Mv2 = (v1, x)σ1u1 + (v2, x)σ2u2.

8

Вспоминая, что скалярное произведение можно записать в виде (v, x) = vT x,

получаем

Mx = u1σ1v1T x + u2σ2v2T x.

Тогда

M = u1σ1v1T + u2σ2v2T .

Итак,

M = UΣV T ,

где U — матрица, составленная из столбцов u1, u2, Σ — диагональная матрица с элементами σ1, σ2 на диагонали, V — матрица, составленная из столбцов v1, v2. Мы получили разложение матрицы M в произведение трех матриц: V представляет ортонормальный базис в области определения, U — ортонормальный базис в области значений, матрица Σ описывает растяжение векторов.

Сингулярное разложение можно найти для любой матрицы. Рассмотрим единичную окружность. Ее образ под действием линейного отображения будет эллипсом, оси которого образуют ортогональную сетку (рис. 10).

Рис. 10

Заметим, что оси эллипса есть векторы Mv1 и Mv2. Эти векторы являются самым длинным и самым коротким векторами — образами векторов на единичной окружности (рис. 11).

9

Рис. 11

1.3. Сингулярное разложение, алгебра

В 70-х годах XIX века независимо и почти одновременно Э. Бельтрами (1873) и К. Жордан (1874) открыли, что любую квадратную матрицу можно привести к диагональному виду с помощью умножения слева и справа на унитарные матрицы. Этот факт оказался невероятно полезным в приложениях.

Это же верно и для прямоугольной матрицы. С помощью умножения на унитарные матрицы она приводится к прямоугольной матрице тех же размеров, состоящей из нулей кроме элементов с индексами i = j.

Итак, произвольная m × n-матрица A раскладывается в произведение A = UΣV . U и V — унитарные матрицы порядка m и n соответственно, а Σ — диагональная прямоугольная m × n-матрица, имеющая при i = j неотрицательные числа

σ1 ≥ σ2 ≥ . . . ≥ σr.

Это разложение называется сингулярным разложением, а числа σi — сингулярными числами.

Теорема 1. Сингулярное разложение A = UΣV существует для любой комплексной прямоугольной матрицы A. Если A вещественная, то матрицы U и V можно выбрать вещественными.

Рассмотрим пример сингулярного разложения. Пусть

10