Оценки функции сложности.

При оценке сложности вычислений стремятся свести задачу к подзадачам меньшей размерности и получить неравенство типа:

, а, в, с, d – const ≥0

 

меньшей размерности м.б. алгоритм известного типа, т.е. с уже известной оценкой

Предположим, что функция обладает дополнительными условиями:

а)

б)

Лемма 1. Если ƒ(n) и g(n) удовлетворяют а) и б), и при некоторых const выполняется:

, то

Доказательство: из условия б) следует, что

Разделив обе части неравенства на a 0 получим ⇒

по a)

, т.е.

Лемма 2. Если при некоторой const a , c, d > 0 удовлетворяет условиям:

при n > 1, то

Доказательство для случая n = a^t:

по 2)

1)  a > c

2)  a = c

3) a < c

Арифметические операции с целыми числами и их сложность Двоичные операции.

Сложение и умножение. Начнем с очень простой арифметиче­ской задачи сложения двух двоичных целых чисел, например,

Предположим, что оба числа имеют длину в к бит. Если запись одного из чисел короче, ее можно дополнить нужным числом нулей слева.

Детально проанализируем всю процедуру сложения. При сложе­нии необходимо к раз повторить следующие шаги.

Посмотреть на верхний и нижний биты, а также проверить, имеется ли перенос единицы от сложения младших разрядов.

Если оба бита нулевые, а переноса нет, то в данном разряде суммы записываем нуль и двигаемся дальше.

Если либо а) оба бита нулевые и есть перенос, либо б) один бит — нуль, другой — единица и переноса нет, то записываем единицу и двигаемся дальше.

Если либо а) один бит — нуль, другой — единица и есть пе­ренос, либо б) оба бита — единицы и переноса нет, то записываем нуль в данный разряд, записываем единицу переносов в следующий столбец и двигаемся дальше.

Если оба бита — единицы и есть перенос, то в данном разряде суммы записываем единицу, записываем единицу переносов в следую­щий столбец и двигаемся дальше.

Однократное выполнение этих шагов называется двоичной (бито­вой) операцией. Сложение двух k-разрядных двоичных чисел требу­ет к двоичных операций. Мы увидим ниже, что и более сложные зада­чи тоже могут быть разбиты на двоичные операции. Время, которое расходует компьютер на решение задачи, по сути дела пропорциональ­но числу двоичных операций. Конечно, константа пропорционально­сти — число наносекунд, расходуемых на одну двоичную операцию, — зависит от вида компьютера. (Сказанное является упрощением, так как это время может зависеть также от «технических» факторов, на­пример, времени доступа к памяти.) Когда мы говорим об оценке времени работы, подразумевается оценка числа двоичных операций. В этих оценках мы будем пренебрегать временем, расходуемым на запись информации или на логические шаги, отличные от двоичных операций.

Теперь рассмотрим процесс умножения k-разрядного двоичного числа на l-разрядное двоичное число. Например,

Предположим, что мы пользуемся обычным способом умножения k-разрядного двоичного числа п и l-разрядного двоичного числа т. Мы получаем самое большее l строк (каждый нулевой бит числа m уменьшает это количество на единицу), где каждая строка содержит копию числа n, сдвинутую влево на некоторое расстояние, т. е. копию, дополненную нулями справа. Пусть имеется l¹ ≤ l строк. Посколь­ку мы ограничиваемся двоичными операциями, мы не можем сложить все строки сразу. Правильнее будет двигаться от второй строки к l¹-й, складывая каждую строку с накопившейся суммой верхних строк. На каждом этапе сначала отмечаем, как далеко сдвинуто влево число n в рассматриваемой строке. Сносим вниз крайние правые разряды на­копленной суммы верхних строк, а остальную часть записи накоплен­ной суммы складываем (описанным выше способом) с числом n, что требует к двоичных операций. В примере выше 11101×1101 после сложения первых двух строк получаем 10010001, сносим вниз последние три разряда 001 и складываем остальное (т.е. 10010) с n = 11101. И наконец, к сумме 10010+ 11101 = 101111 приписываем 001 и полу­чаем 101111001 — сумму l¹= 3 строк.

Это описание показывает, что задача умножения может быть раз­ложена на l¹-1 сложений, по к двоичных операций каждое. Так как l¹ -1 <l ≤ l, то получаем простую оценку

Time (умножение k-разрядного и l-разрядного двоичных чисел) < kl.

Здесь и далее Time (A) обозначает число двоичных операций, необхо­димых для выполнения процедуры А.

Замечания. Во-первых, как упоминалось выше, мы подсчитали только число дво­ичных операций. Мы пренебрегли временем на сдвиг числа n вле­во и временем на снос крайних правых разрядов накопленной суммы. На практике операции сдвига и копирования являются быстрыми по сравнению с большим числом производимых двоичных операций, так что можно без опаски проигнорировать их. Другими словами, мы определим «временную оценку (сложности)» арифметической задачи как верхнюю границу для числа двоичных операций без учета опера­ций сдвига, копирования, обращения в память и т.п. Мы могли бы применить эту же временную оценку к умножению k-разрядной и l-разрядной двоичных дробей. Единственное отличие со­стоит в необходимости правильного определения места для запятой, разделяющей целую и дробную части.

Во-вторых, если мы хотим получить простую и удобную в ра­боте оценку, мы всегда должны предполагать, что имеем дело с «са­мым плохим случаем». Например, если двоичное разложение числа m имеет много нулей, то l¹ будет значительно меньше l. Поэтому мож­но использовать оценку Time (умножение k-разрядного и l-разрядного двоичных чисел) <k (k-число единиц в двоичном разложении m). Од­нако обычно вместо такого уточнения (понижения) нашей временной оценки удобнее пользоваться простой равномерной оценкой, зависящей лишь от длины записи n и m, а не от конкретных значений битов.

Как частный случай, имеем оценку:

Time (умножение двух k-разрядных двоичных чисел) < k².

Наконец, наша оценка kl может быть выражена в терминах n и m, если вспомнить приведенную выше формулу для числа разрядов, из которой следует, что и

Пример 1. Найти верхнюю границу для числа двоичных опе­раций, необходимых для вычисления n!

Решение. Используем следующую процедуру. Сначала умно­жим 2 на 3, затем результат умножим на 4, новый результат умножим на 5 и т. д., пока не получим n!. На (j - 1)-м шаге (j = 2, 3,..., п — 1) производится умножение j! на ( j +1). Поэтому есть п-2 шагов, ка­ждый из которых состоит в умножении частичного произведения j! на очередное целое число. Частичные произведения быстро станут очень большими. В качестве оценки для числа разрядов частичного произведения в наихудшем случае возьмем число разрядов последнего произведения, т.е. числа n!

При определении числа двоичных разрядов в произведении мы используем тот факт, что это число не превосходит суммы числа раз­рядов у сомножителей. Следо­вательно, произведение п целых k-разрядных чисел имеет не более пк разрядов. Таким образом, если n - двоичное k-разрядное число (то­гда любое меньшее число имеет не больше к разрядов), то п! имеет самое большее пк разрядов.

Итак, в каждом из n-2 умножений, необходимых при вычисле­нии п!, мы умножаем не более чем k-разрядное целое число j + 1 на не более чем nk-разрядное целое число j!. Это требует самое большее пк двоичных операций. Всего таких умножений п-2. Поэтому общее число двоичных операций ограничено величиной

, что приблизительно равно

Вычитание и деление. Существуют две другие арифметические операции — вычитание и деле­ние — имеют те же самые оценки временной сложности, что сложение и умножение соответственно: Time (вычитание к-разрядного двоич­ного числа из l-разрядного) ≤ max (k,l), Time (деление k-разрядного двоичного числа на l-разрядное) ≤ kl. Более точно, для описания вы­читания надо расширить круг двоичных операций, включив в него операцию вычитания нуля или единицы из других нуля или единицы, возможно, с займом единицы из старшего разряда (см. пример 2).

Анализируя деление в двоичной системе. Пусть к ≥ l (если к < l деление тривиально, т.е. частное равно нулю, а все делимое образу­ет остаток). Нахождение частного и остатка требует самое большее k-l+1вычитаний. Каждое вычитание требует l или l + 1 двоичных операций, но в последнем случае в самом левом разряде разности бу­дет стоять нуль, поэтому можно опустить одну двоичную операцию (считая, что это скорее операция «по учету данных», а не вычисле­ние). Подобным образом мы игнорируем и другие технические детали, например, сравнение двоичных целых чисел (при определении мини­мального числа разрядов делимого, которые образуют число, большее делителя), снос разрядов и т.п. Таким образом, наша оценка есть просто (k-l+1)l , что не больше kl.

Пример 2. Найти верхнюю границу для числа двоичных опе­раций, необходимых для вычисления биномиального коэффициента

Решение. Так как , то без потери общности мож­но предположить, что . Будем использовать следующую про­цедуру вычисления . Мы имеем m-1 умножений и последующие m-1 делений. Ка­ждый раз максимально возможная величина первого числа при умно­жении и делении есть , а граница для второго числа есть п. Рассуждая аналогично примеру 1, убежда­емся в том, что граница для общего числа двоичных операций есть , что при больших n и m приблизительно равно .

Теперь обсудим весьма удобное обозначение для краткой записи временных оценок сложности. (А.В.Черемушкин, 2002)

О-большое.

Определение. Пусть и -две функции, определенные на наборах из r положительных целых чи­сел. Предположим, что существуют такие константы В и С, что, ко­гда все n_j больше B, обе функции положительны и В этом случае говорим, что функция f ограничена функцией g, и пишем f = 0(g).

Заметим, что равенство в обозначении f = 0(g) следует, скорее, понимать как неравенство <, а О-большое — как некоторую мульти­пликативную константу.

Пример 3. а) Пусть f(n) - произвольный многочлен степе­ни d с положительным старшим коэффициентом. Тогда, как легко показать, f(n)= O(n^d). В более общем случае можно показать, что f = O(g), если f (n)/g(n) имеет конечный предел при n→∞.

В примере 1 можно записать Time(n!) = O((nlogn)²).

Функции f (n) и у нас будут часто обозначать вре­мя, которое требуется для решения некоторой арифметической задачи с целым числом п или с набором целых чисел в качестве исходных данных. Мы хотим получить наши оценки в виде достаточ­но простых функций g(п). При этом желательно, чтобы функции g(n) не давали чрезмерно завышенное представление о времени решения за­дач (хотя с чисто математической точки зрения замена функции g(п) в соотношении f=O(g) любой большей функцией корректна).

Образно говоря, соотношение f(n)=O(nd) показывает, что функ­ция f растет приблизительно как d-я степень аргумента. Напри­мер, если d=3, то оно говорит нам, что удвоение аргумента при­ведет к увеличению функции приблизительно в 8 раз. Соотноше­ние (где означает ) показывает, что функция возрастает приблизительно как d-я степень числа двоичных разрядов в п. Это так, потому что с точностью до мультиплика­тивной константы число бит равно приблизительно logn (а именно, ). Так, например, если , то удвоение числа бит в n (что гораздо сильнее увеличивает аргумент, нежели его удвоение) приводит к увеличению f(n) приблизительно в 8 раз.

Заметим, что запись означает, что функция f огра­ничена некоторой константой.

В общем случае, когда оценивается число двоичных операций, требующихся для решения какой-либо задачи, сначала надо опреде­лить и выписать подробную процедуру решения задачи. Конкретная пошаговая процедура выполнения вычислений называется алгорит­мом. Конечно, может существовать много разных алгоритмов, вы­полняющих одну и ту же работу. Можно воспользоваться тем из них, который попроще в записи, или тем, который быстрее работает, или выбрать какой-то компромисс между простотой и быстродействием. Использованный выше алгоритм умножения n на m далек от самого быстрого из известных. Но вместе с этим он много быстрее метода повторного сложения (m-кратного сложения числа n с собой).

Пример 4. Оценить время, требующееся для перевода числа из k бит в десятичную систему счисления.

Решение. Пусть п - целое из к бит, записанное в двоич­ной системе счисления. Алгоритм перевода следующий. Разделим n на 10 = (1010)₂. Остаток от деления — который является одним из чисел 0, 1, 10, 11, 100, 101, 110, 111, 1000 или 1001 — даст содержи­мое d₀ разряда единиц. Частное от деления возьмем вместо n, поде­лим на (1010)₂ и возьмем остаток от этого деления в качестве d_l а частное — в качестве делимого при следующем делении на (1010)₂. Этот процесс должен повторяться столько раз, сколько десятичных разрядов содержится в числе n, т.е. раз. То­гда процесс будет завершен. Как много двоичных операций будет сделано? Мы сделали О (к) делений, каждое из них требовало O(4к) операций (делимое содержит не более к бит, а делитель (1010)₂ - 4 бита). Но О(4к) эквивалентно О(к) (постоянный множитель несуществен в обозначении О-большое). Поэтому общее число двоичных операций равно О(к)×О(к)=O( ). Если желатель­но выразить оценку в терминах n, а не k, то, используя равенство , можно записать

Time (перевод n в десятичную систему счисления) = О (log²n).