Сингулярное разложение и его применение. Учебно-методическое пособие

пикселей. Каждому пикселю соответствует оттенок серого цвета, который может быть задан числом. Таким образом, мы имеем некоторую m × n- матрицу A. Выполним сингулярное разложение матрицы A:

A = UΣV T .

Напомним, что размерности матриц U, Σ и V T равны соответственно m × m, m × n и n × n.

Выделим затем r первых, самых больших по величине, сингулярных чисел (они называются главными компонентами), а остальные отбросим. Реконструируем исходное изображение с использованием меньшего объема входной информации как

A′ = U′Σ′V ′T ,

где матрица U′ содержит первые r столбцов матрицы U и имеет размерность m × r, диагональная r × r-матрица Σ′ включает только главные компоненты, матрица V ′T размерности r × n содержит первые r строк матрицы V T . Результаты сжатия с различными значениями r можно видеть на рис. 13.

Рис. 13

15

Очевидно, что при r = 160 сжатое изображение морского бога Тритона с его трезубцем вполне адекватно передает практически все детали исходной фотографии, при r = 40 изображение различимо, но мелкие детали размыты, при r = 10 уже трудно понять, что было изображено на фотографии.

2.3. Распознавание рукописных цифр

Задача автоматического распознавания рукописного текста встречается во многих практических приложениях. Рассмотрим для простоты эту задачу, ограничившись распознаванием 10 написанных от руки цифр. На рис. 14 показано несколько примеров того, как по-разному могут быть написаны цифры.

Рис. 14

Предположим, что у нас имеется k тренировочных образцов написания цифры 6, которые мы будем использовать для обучения распознающей системы (рис. 15).

Прежде всего, мы масштабируем цифры таким образом, чтобы они вмещались в прямоугольник с заданным размером 16 × 16 клеток. Затем сконструируем k матриц размера 16 × 16, по одной на каждый образ, элементы которых будут числами, определяющими оттенок серого цвета в соответствующей клетке. Превратим каждую матрицу в вектор в пространстве R256, просто читая матрицы по строкам (или по столбцам). Наконец, составим из этих векторов матрицу M с 256 строками и k столбцами.

16

Рис. 15

Вычислим сингулярное разложение матрицы M:

M = UΣV T .

Пусть r — ранг матрицы M. Тогда векторы u1, u2, . . . , ur, где ui — i-й столбец матрицы U, образуют ортонормальный базис в пространстве столбцов матрицы M (докажите это!). Другими словами, u1, u2, . . . , ur образуют цифровое пространство для данной цифры.

Продолжим этот процесс, повторив все перечисленные операции для каждой из 10 цифр. На рис. 16 показаны усредненные образы всех цифр (их иногда называют центроидами), полученные при обучении системы по 100 тренировочным образцам для каждой цифры. Более точно, чтобы получить эти образы, для каждой цифры было вычислено среднее арифметическое каждой компоненты 100 векторов в пространстве R256.

Пусть теперь мы хотим распознать некоторую написанную от руки цифру. Составим для нее, как описано выше, 256-мерный вектор q. Мы хотим определить, к какому из 10 цифровых пространств ближе всего этот вектор. В качестве критерия близости выберем величину

r

X

E = q − (q, ui)ui ,

i=1

т. е. норму разности между вектором q и его проекцией на подпространство, образованное векторами u1, u2, . . . , ur.

17

Рис. 16

Вычислим эту величину для каждой из 10 цифр. Пусть E имеет минимальное значение для цифры d. Тогда будем считать, что именно d и является распознаваемой цифрой.

Заметим, что распознавание рукописных текстов является классической задачей машинного обучения. Существует большое количество различных подходов к решению данной задачи, основанных в частности на так называемом анализе главных компонент, методе ближайшего соседа, статистическом моделировании и нейронных сетях. Изложенный нами подход, основанный на сингулярном разложении, обладает тем достоинством, что его очень легко превратить в компьютерную программу.

Насколько большое количество тренировочных образов может потребоваться на практике? На рис. 17 показаны результаты эксперимента, в котором 1000 рукописных цифр распознавалась, используя различное количество тренировочных образцов — от 5 до 100. Видно, что доля правильно распознанных цифр составляет примерно 90 % с 20 образцами и практически перестает увеличиваться, достигнув 92 % при 40 образцах. Это увеличение на 2 % сопровождается значительным увеличением времени, необходимого для вычисления цифрового пространства.

Разумеется, сингулярное разложение может быть использовано и во многих других задачах, связанных с распознаванием и восстановлением изображений.

18

Рис. 17

2.4. Рекомендательные системы

В настоящее время интернет-компании широко используют рекомендательные системы, т. е. специальные программы, которые пытаются предсказать, какие объекты (фильмы, музыка, книги, новости, веб-сайты) будут интересны пользователю, имея определенную информацию о его профиле. В 2006 г. фирма Netflix объявила открытое соревнование с призом в 1 000 000 долларов на лучший алгоритм предсказания оценки, которую зритель поставит фильму, на основе предыдущих оценок этого и других зрителей. Для его получения необходимо было улучшить алгоритм Netflix на 10 %. В 2009 г. приз выиграла команда, чей алгоритм использовал сингулярное разложение.

Чтобы дать представление как это может работать, рассмотрим простой пример. Предположим, что у нас имеется семь пользователей: Дмитрий, Борис, Эмма, Елисей, Ольга, Вячеслав и Лукерья, которые выставили следующие оценки просмотренным ими голливудским фильмам:

19

Заметим, что первые три фильма — научная фантастика, а два последних — мелодрамы.

Представим эти оценки в виде матрицы A, строки которой соответствуют пользователям, а столбцы — фильмам:

Вычислим сингулярные числа матрицы A и ее сингулярное разложение. Только два сингулярных числа оказываются ненулевыми: σ1 ≈ 12,4, σ2 ≈ 9,5, так что ранг матрицы r = 2. Удобно записать сингулярное разложение в так называемом компактном или сокращенном виде, взяв Σ в виде матрицы 2 × 2 и сохранив в U только первые два столбца, а в V T — первые две строки, т. е. отбросив все те столбцы и строки, которые в полной записи разложения заведомо умножаются на нулевые строки и столбцы соответственно. Тогда получаем

20