1.2Формально об алгоритмах. Несложно о сложности

1.2.1«RAM»: машины с произвольным доступом

При написании данного раздела использован обзор [КР96].

В предыдущих разделах мы довольствовались качественным, интуитивным понятием «эффективного» алгоритма. Для построения же математической теории сложности алгоритмов, разумеется, необходимо строгое количественное определение меры эффективности.

Опыт, накопленный в теории сложности вычислений, свидетельствует, что наиболее удобным и адекватным способом сравнения эффективности разнородных алгоритмов является понятие асимптотической сложности, рассмотрению которого и посвящен настоящий параграф.

Первое, о чем следует договориться, — это выбор вычислительной модели, в которой конструируются наши алгоритмы. Оказывается, что как раз этот вопрос не имеет слишком принципиального значения для теории сложности вычислений, и тот уровень строгости, на котором мы работали в разделе 1.1 (число выполненных операторов на языке Python), оказывается почти приемлемым. Главная причина такого легкомысленного отношения к выбору модели состоит в том, что существуют весьма эффективные способы моделирования (или трансляции программ в более привычных терминах) одних естественных вычислительных моделей с помощью других. При этих моделированиях сохраняется класс эффективных алгоритмов и, как правило, алгоритмы более эффективные в одних моделях оказываются более эффективными и в других.

Сначала рассмотрим модель, наиболее напоминающую современный компьютер, программируемый непосредственно в терминах инструкций процессора (или на языке Assembler): random access machines (RAM)¹ , т. е. «машины с произвольным доступом к памяти».

¹ В теории сложности вычислений под машинами традиционно понимают single-purpose machines, т. е. машины, каждая из

RAM-машину составляют следующие компоненты (рис. 1.7).

•Конечная входная read-only лента, на которую записываются входные данные.

•Полубесконечная¹¹ выходная write-only лента, куда записывается результат работы машины.

•Бесконечное число регистров r0; r1; r2; : : :, каждый из которых может хранить произвольное целое число (изначально везде записаны нули). Регистр r0 является выделенным и называется «сумматором» — этот регистр используется при арифметических операциях как накопитель, т. е. как второй операнд и место хранения результата.

•Программа, состоящая из конечного числа инструкций, каждая из которых содержит адрес и команду с операндом. Список команд приведен в таблице 1.2. Существенно, что в качестве операнда можно использовать как произвольный регистр, так и регистр, номер которого хранится в другом регистре — это так называемая косвенная адресация.

•Регистр-счетчик «PC» — указатель текущей команды.

Машина последовательно, такт за тактом, выполняет команды, на которые указывает регистр «PC», читает входную ленту, изменяет значения регистров и записывает результат на выходную ленту.

Легко видеть, что высокоуровневые конструкции языков программирования, типа циклов, легко моделируются на ассемблере RAM-машин (см. рис. 1.8).

Переменные других типов (булевы, строки, структуры) тоже можно моделировать с помощью целых чисел и косвенной адресации.

которых создана для решения какой-либо одной фиксированной задачи. В привычных терминах это скорее программы. ¹¹Ограниченная с одной стороны и неограниченная с другой.

однородные меры сложности. В англоязычной литературе RAM с однородной мерой сложности называ-

ются unit-cost RAM.

Более реалистично было бы учитывать битовый размер операндов при выполнении каждой команды. Например, можно считать, что время выполнения каждой команды есть единица плюс величина пропорциональная сумме логарифмов значений операндов¹², если они есть (т. е. их суммарной битовой длине), а общее время работы программы на рассматриваемых входных данных — суммарное время выполнения всех индивидуальных команд. Таким образом, мы можем определить различные логарифмические меры сложности.

Очевидно, логарифмическая сложность всегда больше однородной. С другой стороны, обратите внимание, что определенная нами RAM-машина не включает в число основных операций умножение и деление, хотя в литературе такой вариант машин со случайным доступом часто рассматривается. Допустим, что однородное время работы некоторой машины с произвольным доступом к памяти без умножения

иделения при работе на входных данных x1; : : : ; xm, битовая длина каждого из которых не больше n, равно t. Так как при выполнении любого индивидуального оператора максимальная битовая длина может возрасти не более чем на 1, в ходе выполнения всей программы встречаются лишь числа битовой длины не более (t + n), и, стало быть, логарифмическая сложность превышает однородную не более чем в 2(t + n) раз. В частности (см. обсуждение в разделе 1.1), с точки зрения эффективности однородная

илогарифмическая сложности равносильны, и выбор одной из них в основном определяется внутренней спецификой рассматриваемой задачи.

Если же добавить умножение и деление к списку элементарных операций, то это исключит равносильность однородной и логарифмической сложности. Следующий известный способ быстро переполнить память карманного калькулятора (алгоритм 13) имеет однородную сложность порядка (t + 1) и логарифмическую порядка экспоненты — 2t.

¹²Более корректно логарифм брать от модуля операнда плюс 2, чтобы логарифм был положительным.