Дасгупты, Пападимитриу, Вазирани «Алгоритмы»

f = (g) (f растёт не медленнее g, с точностью до константы) означает g = O(f );

f = (g) (f и g имеют одинаковый порядок роста) означает, что f = = O(g) и g = O(f ).

Для рассматриваемых нами функций f2 = (f3) и f1 = (f3).

Благодаря O-символике мы можем заменить 3n2 + 4n + 5 на (n2), пренебрегая остальными слагаемыми. Вот несколько общих правил такого рода замен:

1. Постоянные множители можно опускать. Например, 14n2 можно заменить на n2.

2. na растёт быстрее nb для a > b. Например, в присутствии слагаемого n2 можно пренебречь слагаемым n.

3. Любая экспонента растёт быстрее любого многочлена (полинома). Например, 3n растёт быстрее n5.

4. Любой полином растёт быстрее любого логарифма. Например, n (и даже pn) растёт быстрее (log n)3; мы не указываем основания логарифма, поскольку замена основания приводит лишь к умножению логарифма на константу. По тем же причинам n2 растёт быстрее n log n.

Не подумайте, что на практике никого не интересуют постоянные множители: ускорение алгоритма вдвое может быть весьма трудоёмким, но необычайно выгодным. Но для начала разумно оценить ситуацию в первом приближении, и O-символика тут весьма полезна.

Упражнения

0.1. Выясните, верно ли, что f = O(g) и f = (g) (возможно, верно и то, и другое, тогда f = (g)) для следующих функций:

i=1

Мы не указываем основание логарифма в тех случаях, когда оно не играет роли.

0.2. Покажите, что для произвольной константы c > 0 функция g(n) = 1 + c + + c2 + ‌ + cn есть

(a) (1), если c < 1;

(b) (n), если c = 1;

(c) (cn), если c > 1.

Другими словами, в сумме убывающей геометрической прогрессии можно оставить лишь первый член; возрастающей –– последний, а постоянной –– количество членов.

0.3. Напомним, что в последовательности Фибоначчи F0 = 0, F1 = 1, Fn = = Fn 1 + Fn 2. Убедитесь, что у данной последовательности экспоненциальный порядок роста, получив такие оценки:

(a) Докажите по индукции, что Fn ¾ 20,5n при n ¾ 6.

(b) Найдите константу c < 1, для которой Fn ¶ 2cn при всех n ¾ 0.

(c) Для какого максимального c вы можете доказать, что Fn = (2cn)?

0.4. Можно ли ускорить алгоритм Fib2 (с. 9)? Оказывается, что да, если использовать матрицы. Запишем равенства F1 = F1 и F2 = F0 + F1 с помощью матриц:

(a) Покажите, что для перемножения двух матриц размера 2 2 достаточно четырёх сложений и восьми умножений (чисел).

Но сколько умножений матриц потребуется для вычисления X n?

(b) Покажите, что O(log n) матричных умножений будет достаточно. (Под-

сказка: подумайте, как вычислить X 8.)

DRAFTЭта формула позволяет свести вычисление Fn к возведению двух чисел в степень n. Однако числа эти иррациональны и перемножать их с достаточной точностью –– непростая задача.

В итоге количество арифметических операций для нового алгоритма (на-

зовём его Fib3) есть всего O(log n), что гораздо меньше, чем O(n) для Fib2.

Оптимист мог бы обрадоваться и сказать, что мы снова экспоненциально ускорили алгоритм: теперь вместо O(n) операций у нас всего O(log n) операций. Но радость эта преждевременна: подвох в том, что новый алгоритм не только складывает, но и перемножает числа, а умножение больших чисел –– более медленная операция, чем сложение. Как мы уже видели, с учётом слож-

ности арифметических операций время работы алгоритма Fib2 есть O(n2).

(c) Покажите, что все числа, встречающиеся в процессе работы алгоритма

Fib3, имеют длину O(n).

(d) Пусть M(n) –– время умножения двух n-битовых чисел. Ясно, что

M(n) = O(n2) (школьный метод умножения «в столбик», рассматриваемый в главе 1, имеет как раз такое время работы). Покажите, что время работы алгоритма Fib3 есть O(M(n) log n).

(e) Докажите более сильную оценку O(M(n)) на время работы алгоритма Fib3. (Подсказка: длины умножаемых чисел удваиваются с каждым возведе-

нием в квадрат.)

Будет ли алгоритм Fib3 быстрее, чем Fib2? Это зависит от того, сможем ли мы умножать n-битовые числа быстрее, чем за O(n2) (ответ мы узнаем в

главе 2).

В заключение приведём формулу для чисел Фибоначчи:

Знающие линейную алгебру могут заметить, что на самом деле алгоритм Fib3 как раз и возводит эти два числа в степень n. (Подсказка: подумайте, каковы собственные числа матрицы X .)

Глава 1

Числовые алгоритмы

DRAFTВ данной главе мы увидим, как сильно различаются две (очень похожие на первый взгляд) задачи:

ff Разложение на множители: представить данное число N как произведение простых.

ff Проверка на простоту: выяснить, является ли данное число N простым.

Разложение на множители является очень сложной задачей. Несмотря на усилия учёных всего мира, самые быстрые алгоритмы разложения числа N на простые множители по-прежнему требуют экспоненциального времени. (Показатель экспоненты –– количество битов в записи числа, точнее, некоторый корень из этого количества.) В то же время, как мы скоро увидим, проверить простоту числа N можно довольно быстро. И, что самое интересное, на этом разрыве между двумя родственными задачами основаны современные технологии безопасного обмена информацией.

Попутно мы разберём алгоритмы для различных операций с числами. Мы начнём с арифметических операций (что даже исторически оправдано: алгоритмами изначально назывались методы решения как раз таких задач).

1.1. Элементарная арифметика

1.1.1. Сложение

Когда школьника учат складывать два числа столбиком, ему не объясняют, почему этот способ годится (а если и пытаются, то вряд ли это доходит). Посмотрим на него немного подробнее.

Ключевую роль играет такое наблюдение: сумма любых трёх цифр будет однозначным или двузначным числом. (Действительно, такая сумма не больше 9 + 9 + 9 = 27.) Это же верно и для любого основания b ¾ 2 (упражнение 1.1). Скажем, в двоичной системе счисления сумма любых трёх цифр не превосходит 3, то есть 11 в двоичной записи.

Почему это важно? Когда мы складываем две цифры в разряде единиц, может появиться цифра в разряде десятков («один пишем, один в уме»). Тогда в разряде десятков мы должны складывать уже три цифры, но всё равно получится двузначное число и перенос потребуется только в следующем разряде (сотен). Складывая три цифры в разряде сотен, мы получаем разряд сотен суммы и цифру переноса, и так далее.

16 Глава 1. Числовые алгоритмы

Основания и логарифмы

Популярность десятичной системы, видимо, связана с тем, что у нас 10 пальцев. Древние майя использовали основание 20 (тоже естественно, если ходить босиком). А в компьютерах числа представляются в двоичной системе счисления.

Сколько нужно цифр, чтобы записать целое число N > 0 в системе счис-

для записи числа N в b-ичной системе счисления нужно dlogb(N + 1)e разрядов (примерно logb N, если допустить ошибку плюс-минус один разряд).

Как меняется число разрядов при изменении основания системы счисления? Вспомним, что logb N = (loga N)=(loga b). Значит, при переходе от основания b к основанию a размер записи (примерно) умножается на loga b. Поэтому для записи числа N нужно O(log N) цифр, какова бы ни была система счисления. По этой причине внутри O( ) основание логарифма обычно не указывается. Когда мы используем логарифм без основания вне O( ), мы имеем в виду двоичный логарифм.

Функция log N встретится нам не раз. Её можно описать так:

1. По определению log N –– это степень, в которую нужно возвести 2, чтобы получить N.

2. Число N нужно уполовинить log N раз, чтобы получить 1 или меньше (точнее говоря, dlog Ne раз). (Это наблюдение позволяет оценить число повторений цикла, в котором некоторая величина убывает по крайней мере вдвое.)

3. log N –– количество битов в двоичной записи числа N (точнее говоря, в ней dlog(N + 1)e битов).

4. log N –– глубина полностью заполненного двоичного дерева с N вершинами (точнее говоря, она равна blog Nc).

5. log N = 1 + 12 + 13 + ‌ + N1 (упражнение 1.5).

Для примера сложим числа 53 и 35 в двоичной системе счисления (где

Мы не будем приводить псевдокод сложения столбиком, а сразу перейдём к анализу его эффективности. Сколько времени потребуется, чтобы сложить два числа x и y? Точнее говоря, как число операций зависит от размера входных данных (количества битов в записи x и y)?

Подобные вопросы мы будем задавать себе по поводу всех рассматриваемых алгоритмов.

Допустим, что x и y –– числа из n битов (или меньше). Тогда в двоичной записи x + y будет не более n + 1 битов. На вычисление каждого бита суммы уходит ограниченное константой время. Общее время линейно (c0 + c1n с какими-то константами c0, c1). Эти константы нас не интересуют, и время работы мы записываем просто как O(n).

Оценив время работы имеющегося алгоритма, мы должны спросить се-

бя: существует ли более быстрый алгоритм? В данном случае ответ прост: существенно более быстрого алгоритма существовать не может, поскольку уже для чтения входных битов и записи ответа требуется O(n) операций. Значит, наш алгоритм сложения оптимален с точностью до мультипликативной константы.

DRAFTДело упрощается тем, что в двоичной записи каждая цифра в x есть либо нуль (тогда в произведении нуль), либо 1 (и тогда достаточно сдвинуть y), так что никакой таблицы умножения помнить не надо. Корректность этого алгоритма мы просим доказать в упражнении 1.6.

Могут спросить –– к чему все эти разговоры? Разве современные компьютеры не складывают два числа за один шаг? Есть два ответа. Во-первых, действительно, за один шаг можно сложить два числа, которые помещаются в машинное слово (обычно 32 или 64 бита). Однако, как мы увидим, часто необходимо работать с гораздо более длинными числами, и их волей-неволей приходится разбивать на части. Во-вторых, хотя сложение машинных слов производится одной командой, внутри процессора эта команда состоит из многих операций с отдельными битам. И число таких битовых операций существенно, поскольку от него зависит количество функциональных элементов (транзисторов, проводов и т. д.), необходимых для реализации алгоритма

«в железе».

1.1.2. Умножение и деление

Перейдём к умножению. Школьный метод умножения двух чисел x и y «в столбик» заключается в том, чтобы умножить x на каждую цифру числа y и сложить результаты с соответствующим сдвигами. Для примера перемножим в двоичной системе числа 13 и 11 (соответственно 1101 и 1011):

Каково же время его работы? Если в двоичной записи чисел x и y по n битов, то будет n промежуточных результатов длины не более 2n (учитывая нули на конце после сдвигов). Для последовательного сложения этих n чисел

входов –– по-прежнему полиномиально, хотя и гораздо больше, чем для сложения (где время линейно).

Аль-Хорезми знал другой способ умножения чисел. Запишем множители

x и y рядом (см. пример ниже). Теперь будем повторять следующую операцию: поделим первое число пополам, отбросив дробную часть 1=2 (если число было нечётным), а второе число удвоим. Будем делать так до тех пор, пока первое число не станет единицей. После этого вычеркнем все строки, в которых первое число чётно, и сложим оставшиеся числа из второй колонки.

DRAFTКорректен ли данный алгоритм? Да, поскольку он следует этому правилу при y > 0 и правильно ведёт себя в случае y = 0.

На самом деле два этих алгоритма умножения (столбиком в двоичной системе и по способу аль-Хорезми) тесно связаны. Глядите: числа 13, 26 и 104, которые складываются в примере, получаются умножением числа 13 на степени двойки и в точности совпадают с промежуточными результатами при умножении столбиком в двоичной системе. Разница лишь в том, что во втором примере мы пользуемся десятичной записью, и поэтому двоичное представление 11 приходится строить, глядя на чётность чисел в левой колонке. Так что алгоритм Аль-Хорезми неявно использует двоичную систему, хотя все

числа записываются в десятичной.

Можно даже сказать, что мы записали по существу один и тот же алгоритм двумя способами. Для разнообразия мы приведём и третью формулировку –– рекурсивный алгоритм Multiply (рис. 1.1), который реализует простое пра-

Каково время работы алгоритма? Если множитель y содержит n битов, то потребуется n рекурсивных вызовов, поскольку при каждом таком вызове y делится пополам (отбрасывается последний бит) и количество битов в двоичной записи y уменьшается на 1.

В каждом рекурсивном вызове производятся следующие операции: деление пополам (правый сдвиг), проверка на чётность (чтение последнего бита), умножение на 2 (левый сдвиг) и, возможно, сложение –– всего O(n) бито-

Рис. 1.1. Алгоритм умножения.

функция Multiply(x, y)

{Вход: множители x и y, где y ¾ 0.} {Выход: x y.}

если y = 0: вернуть 0 z Multiply(x, by=2c)

если y чётно: DRAFTвернуть 2z иначе:

вернуть x + 2z

вых операций для n-битовых входов. Общее время работы алгоритма, таким образом, будет по-прежнему O(n2).

Можно ли быстрее? Интуитивно кажется, что умножение требует n сложений, каждое из которых требует O(n) шагов, поэтому всего нужно не меньше(n2) операций. Как ни странно, это не так, более быстрый алгоритм суще-

ствует, и мы рассмотрим его в главе 2.

Нам осталось научиться делить числа. Поделить целое число x на положительное целое число y означает найти такие числа q (частное) и r (остаток), что x = yq + r и 0 ¶ r < y. В упражнении 1.8 читателю предлагается доказать, что рекурсивный алгоритм Divide (рис. 1.2) корректен и имеет квадратичное

время работы.

Рис. 1.2. Алгоритм деления.

функция Divide(x, y)

{Вход: n-битовые x и y, причём y ¾ 1.}

{Выход: частное и остаток от деления x на y.}

1.2. Арифметика сравнений

При сложении и особенно умножении размеры чисел могут сильно возрасти. Иногда полезно «сбрасывать» ставшие слишком большими числа. Скажем, мы сбрасываем количество часов на ноль, когда оно достигает 24, а «на смену декабрям // приходят январи». Похожим образом числа в процессоре имеют некоторую максимальную длину, например, 32 бита. Подразумевается, что

20 Глава 1. Числовые алгоритмы

обычно мы не выходим за этот предел, но когда выходим, процессор обрезает результат (оставляя последние 32 бита).

В интересующих нас приложениях (проверка числа на простоту, криптография) используются большие числа (гораздо длиннее 32 битов), но и они имеют ограниченную длину, и при сложении и умножении используется арифметика остатков, или сравнений. Сейчас мы объясним, что это такое.

Фиксируем некоторое целое положительное N. Определим x mod N (x по модулю N) как остаток от деления x на N: если x = qN + r, где 0 ¶ r < N, то x mod N = r. Это позволяет ввести отношение эквивалентности на числах: x сравнимо с y по модулю N, если x и y дают при делении на N одинаковый остаток, то есть если их разность делится на N:

x y (mod N) , (x y) делится на N.

Например, 253 13 (mod 60), потому что 253 13 = 240 делится на 60. (В более знакомой формулировке: 253 минуты –– это 4 часа и 13 минут.) Сравниваемые числа могут быть и отрицательными: 59 1 (mod 60), ведь 59 минут –– это час без одной минуты.

Работая с числами по модулю N, мы ограничиваемся отрезком f0, 1, ‌ ‌, N 1g, и, достигнув конца отрезка, мы просто попадаем в его начало –– как на циферблате (рис. 1.3).

Рис. 1.3. Сложение по модулю 8.

Можно также представлять себе, что мы работаем со всеми целыми числами, но они поделены на N классов эквивалентности, каждый из которых представляет собой арифметическую прогрессию с разностью N, то есть множество fi + kN : k 2 Zg для некоторого i из интервала 0, ‌, N 1. Например,

Работая по модулю 3, мы можем не различать числа одного класса, свободно