От Пантелеева / Книги студентам / лИТЕРАТУРА / Тартышников

Высокая степень произвола в компонентах билинейных аппроксимаций матрицы заставляет вводить при их построении различные ограничения обычно типа ортого-

нальности. Например, сингулярное разложение матрицы X имеет тот же вид ( ), íî

если сингулярные числа различны, то сингулярные векторы будут определены однозначно с точностью до множителя. Это обстоятельство очень важно оно позволяет использовать сингулярные векторы как носители существенной информации о данных, представленных элементами матрицы.

В случае трехмерных массивов ситуация одновременно и проще, и сложнее. Поче- му сложнее понятно: теория и алгоритмы вычисления трилинейных разложений и аппроксимаций далеки от стадии завершенности. А проще вот по какой причине.

Пусть X = (A, B, C) трилинейное раложение ранга r. Это означает, что каждая из матриц A, B, C имеет r столбцов. Предположим, что каждая их этих матриц имеет линейно независимую систему столбцов. Допустим, что X = (A,e B,e Ce) åùå îäíî разложение ранга r с линейно независимыми столбцами в матрицах A,e B,e Ce.

Пусть для ясности r = 2. Тогда

(вектор p ортогонален a2, íî íå a1) в смысле естественного скалярного произведения в пространстве Rn1 . Умножим равенства (#) на коэффициенты pi и просуммируем их

ïî i îò 1 äî n1:

(p>a1)b1c>1 = (p>a1) b1c>1 + (p>a2) b2c>2 .

коэффициентов β1, γ1.

Далее, мы можем выбрать вектор q = [q1, . . . , qn3 ]>, ортогональный c2, íî íå îðòî- гональный c1. Те же равенства (#) можно умножить на коэффициенты qk и просумми- ровать по k от 1 до n3:

Теперь предположим, что при использовании вектора p оказалось, что p>ea1 = 0. Чтобы оставить в силе последовавшие рассуждения, достаточно переставить столбцы в мат- рицах A,e B,e Ce. Таким образом, мы доказали, что трилинейные разложения (A, B, C)

268 Лекция 40

è (A,e B,e Ce) эквивалентны. Легко видеть также, как вести рассуждение в случае r > 2. Итак, полностью доказана следующая

Теорема единственности. Пусть X = (A, B, C) и столбцы в каждой из матриц A, B, C линейно независимы. Тогда трилинейное разложение (A, B, C) определе-

но однозначно с точностью до эквивалентности: если трилинейное разложение X = (A,e B,e Ce) таково, что каждая из матриц A,e B,e Ce с общим числом столбцом re

имеет линейно независимые столбцы, то re = r и разложения (A, B, C) и (A,e B,e Ce) эквивалентны.

Данный факт имеет огромное (возможно, основное) значение в многочисленных применениях трилинейных аппроксимаций к анализу данных (например, при изучении химического состава смесей в спектрометрии или психометрических и социометрических данных при изучении особенностей личности и общества).

Замечание. Единственность с точностью до эквивалентности имеет место и при более слабых предположениях, чем в доказанной нами теореме единственности. В 1970-х годах

Крускал доказал следующую теорему: пусть ранги матриц A, B, C равны rA, rB, rC

и пусть любые rA столбцов из A, любые rB столбцов из B и любые rC столбцов из C являются линейно независимыми; если rA + rB + rC ≥ 2r + 2, где r общее число столбцов для A, B и C, то трилинейное разложение (A, B, C) определено однозначно с точностью до эквивалентности.

40.8Тензорный ранг и умножение матриц

Трилинейные разложения имеют глубокую связь с теорией сложности вычислений. К компетенции данной теории относится, например, вопрос, интересующий каждого, кто

имеет дело с матрицами: какова истинная сложность умножения двух n × n-матриц?

Эпитет подчеркивает, что нас интересует сложность (число операций) самого быстрого алгоритма.

Ответ на этот вопрос до сих пор не получен. Для большинства лиц, когда-то знакомившихся с линейной алгеброй, в памяти остается правило строка на столбец , дающее

O(n3) операций. Однако, мы можем утверждать, что истинное число операций не превышает O(nlog2 7). Именно столько операций дает алгоритм Штрассена, который мы

обсуждали в самой первой лекции нашего курса.

Откуда же берется оригинальный способ умножения 2×2-матриц, на котором там все

основано? Теперь, в заключительной лекции, мы имеем возможность раскрыть тайну алгоритма Штрассена.

Итак, пусть

Равенства, выражающие wk через ui è vj, можно, очевидно, записать в такой форме:

Возникший здесь трехмерный массив X = [xijk] имеет размеры 4 × 4 × 4, его элементы

O(n). Возникает впечатление, что алгоритм с меньшей высотой параллельной формы

получить нельзя.

Но это впечатление обманчиво. Запишем соотношения ( ) в матричной форме:

èëè,

Отсюда

zn = Az0, A = An(An−1(· · · (A3(A2A1)) · · · ).

AnAn−1 · · · A1, нужно свести его к вычис-

лению произведений двух матриц. Это делается расстановкой скобок. Используя ассоциативность операции умножения матриц, можно доказать, что результат не будет зависить от порядка расстановки скобок; поэтому можно писать без скобок:

A = AnAn−1 · · · A1.

Чтобы найти zn (а значит, и xn), сначала вычислим матрицу A. Для этого можно использовать ту же схему сдваивания: находим произведения

AnAn−1, An−2An−3, . . . , A2A1,

затем попарные произведения полученных результатов, и так далее. Потребуется всего лишь O(log2 n) параллельных шагов!

41.4Модели и реальность

Âмодели бесконечного параллелизма мы отбрасываем, увы, слишком много деталей, которые следует учитывать. Я думаю, можно почувствовать проблемы параллельных вычислений, размышляя над следующей задачей-шуткой: Один землекоп выкапывает яму глубиной 1 метр за 1 час. За какое время эту яму выкопают 100 землекопов?

Чтобы выполнять какую-то работу параллельно, необходимо такую работу иметь.

Âсуществующих алгоритмах работы для параллельного (одновременного) исполнения может быть недостаточно. Оперируя над общими данными, процессоры могут мешать друг другу. Как учесть все это в более адекватных и все же поддающихся анализу моделях это трудный вопрос.

Åñëè b aH, òî bH = aH (докажите!) отсюда вытекает, что левые (правые)

смежные классы либо совпадают, либо не пересекаются (на этом факте и было основано доказательство теоремы Лагранжа).

Подгруппа H называется нормальной подгруппой èëè нормальным делителем

группы G, åñëè

aH = Ha a G. aha−1 H a G h H.

Элемент eh называется сопряженным ê h, åñëè eh = aha−1 для некоторого a G. Таким образом, подгруппа H G является нормальной тогда и только тогда, когда H вместе

с любым элементом содержит все сопряженные к нему элементы.

Пусть K множество различных смежных классов для нормального делителя H G. Определим произведение смежных классов следующим образом:

(aH)(bH) ≡ (ab)H.

Прежде всего, нужно убедиться в том, что если a1 aH, b1 bH, òî (a1b1)H = (ab)H (то есть, определение корректно). Пусть a1 = ah1, b1 = bh2, h1, h2 H. Значит, если h H, òî

(a1b1)h = ah1bh2h = (ab)(b−1h1b)(h2h) (ab)H. 2

Нетрудно проверить, что операция умножения смежных классов превращает множество K в группу. Эта группа называется фактор-группой группы G по нормальному

делителю H. Обозначение: K = G/H.

Задача. Какие смежные классы являются подгруппами?

Задача. Докажите, что любая абелева группа порядка pq, ãäå p è q различные простые числа, является циклической.

42.3Изоморфизмы групп

Рассмотрим группу H с операцией и группу G с операцией ◦. Обратимое отображение f : H → G называется изоморфизмом, åñëè

f(a b) = f(a) ◦ f(b) a, b H. (#)

Свойство (#) называется свойством сохранения операций. Легко видеть, что обратное отображение f−1 : G → H также является изоморфизмом. Группы H è G называются

изоморфными. Обозначение: H ' G. Несмотря на формальные различия в определении

элементов и операций, изоморфные группы можно считать одинаковыми с точки зрения свойств их операций.

Например, любые две конечные циклические группы одного порядка n будут изоморфными. Если a0, a1, . . . , an−1 все различные элементы группы H, òî an = a0 (äî- кажите!). Пусть b0, b1, . . . , bn−1 все различные элементы группы G. Тогда определим отображение f правилом f(ak) = bk. Оно является изоморфизмом, поскольку

f(ak+m) = bk+m = bk bm = f(ak) f(am).

Задача. Докажите, что группа положительных рациональных чисел относительно умножения не изоморфна группе всех рациональных чисел с операцией сложения.

Задача. Найдите все группы, изоморфные любой своей неединичной подгруппе.

42.4Гомоморфизмы групп

Отображение f : H → G называется гомоморфизмом, если выполняется свойство сохранения операций (#) (при этом обратимость отображения не требуется).

Обозначим через eG единичный элемент группы G. Его полный прообраз K = f−1(eG) называется ядром гомоморфизма f. Множество f(H) называется образом го-

моморфизма f.

Утверждение. Ядро гомоморфизма f : H → G является нормальной подгруппой группы H. Образ гомоморфизма f является подгруппой группы G.

Доказательство. Пусть e единица группы H è K ядро гомоморфизма f. Äëÿ

Теорема о гомоморфизме. Пусть f : H → G гомоморфизм группы H в группу G и пусть K его ядро. Тогда f(H) ' H/K.

Доказательство. Отображение Φ : H/K → f(H) определим следующим образом:

Φ(aK) = f(a), a H.

Пусть a1 = ab1, b1 K. Тогда f(a1) = f(a).

Обратно, если f(a1) = f(a), òî f(a1a−1) = eG a1a−1 K. Таким образом, отображение определено корректно (то есть, не зависит от выбора представителя a â

смежном классе aK) и является взаимно-однозначным. Легко видеть, что оно сохраняет операции:

Φ((aK)(bK)) = Φ((ab)K) = f(ab) = f(a)f(b) = Φ(aK)Φ(bK). 2

Теорема показывает, что изучать образы группы при всевозможных гомоморфизмах можно изнутри : для полного описания соответствующих подгрупп группы G, â

которой размещаются образы элементов, не требуется знание самой группы G вопрос сводится к изучению фактор-групп по нормальным делителям заданной группы.

42.5Избыточность в определении группы

Пусть G непустое множество с ассоциативной алгебраической операцией. Элемент e G называется правой единицей, åñëè ae = a äëÿ âñåõ a G. Элемент b G назывется правым обратным äëÿ a G относительно правой единицы e, åñëè ab = e.

Теорема. Пусть G имеет правую единицу e, относительно которой для каждого элемента a G существует правый обратный элемент. Тогда G является группой.

Доказательство. Докажем, что правая единица e является единичным элементом. Возьмем произвольный элемент a и положим c = ea. Согласно условию теоремы, существуют b, d G такие, что ab = e è bd = e. Отсюда a = ed. Далее, cb = e(ab) = e, откуда c = ed = a.

Докажем теперь, что b является обратным элементом для a. Пусть c = ba. Тогда cb = b(ab) = b, è

значит, c = bd = e. 2