3.2. Сложность алгоритма. Классификация алгоритмов по сложности

Размер задачи r(n) оценивает величину памяти, необходимой для представления исходных данных задачи в ЭВМ.

Однако, возможность представления условия задачи в памяти ЭВМ не гарантирует её практического решения. Во-первых, как правило, нужна дополнительная память для хранения промежуточных и окончательных результатов счёта.

Во–вторых, время решения может оказаться недопустимо большим. И первое условие и второе зависят от алгоритмов, применяемых при решении задачи.

Размер дополнительной памяти, как правило, определить несложно. Рассмотрим время счёта. В процессе реализации расчётного алгоритма, выбранного для решения задачи, необходимо выполнять определённое число элементарных арифметических, логических и других операций – сложения, вычитания, умножения, деления, возведения в степень, сравнения и т. д.

Пусть в процессе решения задачи при помощи некоторого алгоритма выполняются элементарные операции с номерами 1, 2, ..., k. Среднее время выполнения этих операций на используемой ЭВМ обозначим через t₁, ... , t_k , число операций, зависящее от применяемого алгоритма решения – через g₁(n), ... , g_k(n).

Обозначим полное время счёта алгоритма через Т(n). Достаточно точно его можно выразить в виде суммы: Т(n) = Т₁(n) + Т₂(n)+...+Т_k(n), где Т₁(n), Т₂(n), ... ,Т_k(n) – общее время выполнения каждой из операций 1,2,...,k. Выражая все величины Т_i(n) через t_i и g_i(n), получим:

Рассмотрим зависимость скорости роста общего времени счета алгоритма Т(n) от чисел выполняемых операций g₁(n) – g_k(n).

Теорема 3.1 о скорости роста времени счета алгоритма. Пусть при выполнении алгоритма используются элементарные операции 1, 2, ... , k. У операции с номером s (1  s  k) число выполняемых операций g_s(n) имеет устойчивую скорость роста f_s(n). У остальных операций i (1  i  k , i  s) числа выполняемых действий g_i(n) ограничены сверху функциями со скоростями роста, меньшими f_s(n).

Тогда при n→∞ скорость роста общего времени счёта алгоритма Т(n) будет устойчивой и равна скорости роста f_s(n) независимо от среднего времени выполнения t₁ , ... , t_k элементарных операций f₁(n), ... , f_k(n).

Доказательство. Представим общее время счета алгоритма Т(n) в следующем виде:

У операции s для числа выполняемых действий g_s(n) по определению одинаковой скорости роста с f_s(n) существуют такие значения n_0sN, С_1s>0, С_2s >0 , что при  n  n_0s выполняется условие: С_1s f_s (n) ≤ g_s (n) ≤ С_2s f_s (n).

Рассмотрим остальные операции i (1  i  k , i  s). Очевидно, g_i (n)  0. По определению ограниченности сверху для любой операции i существуют такие значения n_0i N, С_2i >0 , что при  n  n_0i выполняется условие: g_i (n) ≤ С_2i f_i (n).

Принимая:

зависимость всех пар функций g_i(n), f_i(n) при  n  n₀ можно представить в унифицированном виде: g_i (n) ≤ С₂ f_i (n) , а для общего времени счета – записать неравенство:

Поскольку все скорости роста f_i (n) при i  s меньше скорости роста f_s (n), то по определению для константы С=1 всегда найдется такое значение параметра n_0i N, что при n n_0i справедливо: f_i(n) ≤ f_s(n). Принимая в качестве n₀ = max(n₀, n₀₁, … , n_ik), получим, что при  n  n₀ правое неравенство может быть представлено в виде:

Вводя новые константы:

получим, что при  n  n₀ выполняется соотношение, доказывающее справедливость теоремы:

С₁  f_s (n) ≤ T(n) ≤ С₂  f_s (n),

т.е. одинаковую скорость роста у общего времени счета T(n) и у максимальной из скоростей роста числа элементарных операций алгоритма, что и требовалось доказать.

При анализе элементарных арифметических операций алгоритма и подсчете их числа необходимо учитывать тип величин, с которыми выполняются данные действия. Представление целых и вещественных чисел в памяти ЭВМ различно. Операции с целыми числами в процессоре выполняет арифметико-логическое устройство, а операции с вещественными числами - сопроцессор для чисел с плавающей запятой.

Замечания. 1. Одинаковая скорость роста числа выполняемых операций может быть у нескольких элементарных операций. Справедливость доказанного утверждения при этом сохраняется.

2. Если у максимально растущих чисел операций g_i(n) скорость роста не является устойчивой, а известна лишь верхняя ее оценка, то справедлив следующий вариант теоремы 3.1.

Теорема 3.2 о верхней оценке скорости роста времени счета алгоритма. Пусть при выполнении алгоритма используются элементарные операции 1, ... , k. Числа этих операций g₁(n), … , g_k(n) ограничены сверху скоростью роста функции f(n).

Тогда при n→∞ скорость роста общего времени счёта алгоритма Т(n) также будет ограничена сверху скоростью роста функции f(n).

Доказательство Теоремы 3.2 можно выполнить по аналогии с доказательством Теоремы 3.1.

Следствие. Скорость роста общего времени счёта алгоритма Т(n) определяется скоростями роста f₁(n), ... , f_k(n) чисел элементарных операций g₁(n), ... , g_k(n) либо их верхними границами.

Скорость роста общего времени счёта алгоритма Т(n) называют сложностью алгоритма и обозначают через f(n).

В зависимости от сложности все комбинаторные алгоритмы делятся на несколько основных групп.

Полиномиальными называются алгоритмы, сложность которых ограничена полиномом.

Примеры 1: а) f(n) = n, б) f(n) = n ², в) f(n) = nlogn < n ².

Экспоненциальными называются комбинаторные алгоритмы, сложность которых в пределе при бесконечном возрастании n превышает полином любой степени.

Примеры 2: а) f(n) = е ⁿ, б) f(n) = n ⁿ, в) f(n) = n!, г) f(n) = 2 ⁿ.

Субэкспоненциальными называются алгоритмы, сложность которых в пределе при бесконечном возрастании n превышает полином любой степени, но меньше 2 ^nδ при любом δ>0.

Пример 3. f(n) = n ^logn.

Рассмотрим примеры расчета сложности алгоритмов.

Пример 4. Задача: упорядочить по убыванию элементов линейный числовой массив А[n]_i.

Предлагаемый алгоритм решения: внутренняя (без использования дополнительной памяти) сортировка с выбором. В данном алгоритме выполняется n –1 шаг. На первом определяется минимальный из n элементов a₁, a₂, … , a_n и путем обмена с a₁ помещается на первое место. На втором определяется минимальный из n–1 элементов a₂, … , a_n и путем обмена с a₂ помещается на второе место и т.д.

Необходимо определить сложность алгоритма как функцию характерного числа задачи, которым является длина массива n.

Решение. В алгоритме используются две основные операции – 1) сравнение величин элементов массива и 2) обмены пар элементов местами. Определим в зависимости от параметра задачи n числа выполняемых основных операций. Обозначим их, соответственно, g₁(n) и g₂(n). Так как всего выполняется n – 1 шаг, на каждом один обмен, то g₂(n) = n – 1. На первом шаге выполняется (n - 1) сравнение, на втором – (n – 2), … , на последнем (n – 1) –том – одно сравнение. g₁(n) определяем как сумму арифметической прогрессии:

g₁(n) = (n – 1)+ (n – 2)+…+1 = n(n - 1)/2.

Так как для найденных функций выполняются следующие предельные оценки:

то по определению g₁(n) имеет квадратичную полиномиальную скорость роста, а g₂(n) – линейную.

Ответ: поскольку у операции сравнения 1 устойчивая квадратичная полиномиальная скорость роста, а у операции обмена 2 – устойчивая линейная скорость, то по Теореме 3.1 скорость роста общего времени счёта (сложность) алгоритма будет устойчивой и равна максимальной из скоростей роста чисел элементарных операций, т.е. будет квадратичной полиномиальной.

Пример. 5. Необходимо определить сложность алгоритма, заключающегося в полном переборе обходов в задаче коммивояжера (ЗК) для n населенных пунктов {vⁿ }={v₁, v₂, ... , v_n}(пример 5 п.3.1).

Решение. На каждом из (n–1)!/2 возможных обходов при полном переборе требуется выполнить следующие операции:

1) сформировать сам обход Оⁿ={v_i1, v_i2, ... , v_in} ,

2) вычислить длину обхода {v_i1, v_i2, ... , v_in} L(Оⁿ):

3) сравнить длину обхода L(Оⁿ) с текущим значением минимума L_min и при необходимости – скорректировать L_min.

Поскольку формирование обхода Оⁿ требует n элементарных операций, вычисление длины – также n сложений, то числа выполняемых операций g₁(n) (формирование обхода), g₂(n) (сложение), g₃(n) (сравнение длин обхода) будут следующими:

g₁(n)= n! /2, g₂(n)= n! /2, g₃(n)= (n–1)!/2 .

Для найденных функций выполняются следующие предельные оценки:

По Теореме 3.1 сложность алгоритма будет устойчивой и равна максимальной из скоростей роста чисел элементарных операций, т.е. будет факториальной по n.

Ответ: Сложность алгоритма относится к экспоненциальному типу.

Сравнительные значения величин функций для трёх рассмотренных типов скоростей роста при значениях характерного параметра n = 10, 100, 1000 приведены в таблице.

NN Вид алгоритма Функция n = 10 n =100 n = 1000

n ¹ 10 10² 10³

nlogn 10 210² 310³

1. Полиномиальный n ² 10² 10⁴ 10⁶

n ³ 10³ 10⁶ 10⁹

n¹⁰ 10¹⁰ 10²⁰ 10³⁰

2. Субэкспоненциальный n^lnn 200,7 1,6210¹³ 5,2910²⁹

еⁿ 0.2210⁵ 0.2710⁴³ 0.7810²⁰⁸

3. Экспоненциальный 2ⁿ 0.110⁴ 0.1210³¹ 0.110³⁰¹

n! 0.36 10⁷ 10¹⁵⁸ 410²⁵⁶⁷

nⁿ 10¹⁰ 10²⁰⁰ 10³⁰⁰⁰