5. Лекция 4

   1. Алгоритмы. Сведение алгоритмов.

   2. Сортировки и связанные с ними задачи.

Д.Кнут. Искусство программирования для ЭВМ. тт 1-3. Москва. Мир. 1996-1998 Т.Кормен, Ч.Лейзерсон, Р.Ривест. Алгоритмы. Построение и анализ. Москва. МЦНМО. 1999. Препарата Ф., Шеймос М. Вычислительная геометрия. Москва. Мир. 1989

К вопросу о понимании предыдущих лекций. Найти ошибку.

``Доказательство'' того, что любое натуральное число можно однозначно получить с помощью алгоритма, задаваемого не более, чем 20-тью словами (имеется в виду, можно использовать только существующие в языке слова, а не что-нибудь вроде "ШестьсотШестьдесятШесть").

Пусть это не так. Тогда существует множество, являющееся подмножеством натуральных чисел, каждый элемент которого невозможно получить с помощью алгоритма, задаваемого не более, чем 30 словами. У всякого подмножества натуральных чисел есть наименьший элемент.

Получаем: "Наименьшее натуральное число, которое нельзя получить с помощью алгоритма, задаваемого не более, чем 30 словами, имеющимися в русском языке" - итого 20 слов потребовалось, дабы назвать данное число, которое принадлежит этому великолепному множеству => противоречие.

1. HeapSort или сортировка с помощью пирамиды.

Алгоритм основан на промежуточном упорядочивании массива входных данных {A₁ ,…, A_N }. Мы докажем, что промежуточно-упорядоченный массив (мы будем его называть пирамидально-упорядоченным) обладает свойством максимальности своего первого элемента. Тогда мы отрезаем от массива первый элемент и восстанавливаем утраченное свойство пирамидально-упорядоченности у оставшегося куска. Так, отрезая по одному (максимальному из оставшихся) элементу, мы можем `набрать’ полный упорядоченный массив.

Определение. Массив {A₁ ,…, A_N } называется пирамидально-упорядоченным, если для всех допустимых i: A_[i/2]  A_i .

Иначе данное соотношение можно выписать следующим образом:

A_i  A_2i и A_i  A_2i+1 (*)

Легко видеть, что данные соотношения задают древообразную структуру, в вершине которой находится первый элемент дерева. Его потомками являются элементы с номерами 2 и 3, и т.д. В получившемся дереве все слои заполнены, кроме, быть может, последнего. Поэтому глубина дерева равна [log N]+1, где N – количество элементов в множестве.

Пусть для некоторого поддерева пирамиды, начинающегося с элемента с индексом i и заканчивающегося элементом с индексом N, выполнено свойство (*) для всех элементов поддерева, кроме вершины поддерева. Т.е. свойство выполняется для всех элементов, имеющих индексы больше i (здесь имеется в виду возможное невыполнения условий A_k  A_2k и A_k  A_2k+1 для k=i и его выполнение при k>i).

Определим процедуру Heapify(A,i,N), которая в данном случае подправляет элементы поддерева до полной пирамидально-упорядоченности элементов с индексами от i до N. Здесь A – рассматриваемый массив, i – индекс массива с которого начинается рассматриваемое поддерево, N – количество элементов во всем дереве.

Процедура Heapify(A,i,N) осуществляет следующие действия. Она проверяет условия

A_i  A_2i в случае 2iN

A_i  A_2i+1 в случае 2i+1N.

Если они выполняются (случаи 2iN, 2i+1N легко рассмотреть отдельно), то дальше ничего делать не надо, происходит выход из процедуры. Иначе, выбирается максимальный из элементов A_i , A_2i, A_2i+1 и выбранный элемент меняется местами с A_i . Не ограничивая общности рассуждений, допустим, что максимальным оказался элемент A_2i , тогда после перестановки имеем A_i  A_2i+1 , при этом элемент A_2i+1 не изменился, поэтому свойство пирамидально-упорядоченности будет выполняться и дальше в данном (правом) поддереве. Далее рекурсивно вызываем процедуру Heapify(A,2i,N).

Исходя из построения процедуры Heapify, имеем следующее утверждение

Утверждение 1. Процедура Heapify(A,i,N) выполняется за время O( h(i,N) ), где h(i,N) – глубина поддерева в пирамиде из N элементов, начинающегося с элемента с индексом i.

Алгоритм Heapsort(A,N) выглядит следующим образом

Heapsort(A,N)

Для всех i от N-1 до 1 с шагом –1 выполнить: Heapify(A,i,N)

Для всех i от 1 до N-1 с шагом 1 выполнить

Поменять местами элементы A₁ и A_N-i+1

Heapify(A,1,N-i)

Первый цикл в алгоритме создает пирамиду, а второй, используя ее свойство максимальности первого элемента, создает упорядоченный массив. Согласно Утверждению 1, каждый цикл состоит из N процедур, каждая из которых выполняется за время O(log ₂ N), из чего вытекает теорема

Теорема. Время работы алгоритма Heapsort(A,N) равно O(N log ₂ N).

На самом деле, оказывается, что время работы первого из двух циклов алгоритма равно O(N). Действительно, процедура Heapify(A,i) для каждого i из последнего уровня дерева выполняется за время O(1) (а в этом уровне содержится половина всех элементов!). Для следующего уровня время выполнения процедуры равно уже O(2). И т.д.

Т.о. суммарное время работы алгоритма вычисляется по формуле

T(N) = O(_i=0^ih (h-i+1) 2ⁱ)

где высота дерева равна h+1 (т.е. дерево имеет уровни с номерами от 0 до h).

Докажем соотношение T(N)/2^h =  (1). Отсюда и из того, что количество элементов в дереве высотой h+1 находится между 2^h-1 и 2^h, мы сразу получим, что время работы алгоритма равно O(N).

Рассмотрим следующие равенства для некоторого x1

1 + x + x² + … + x^N = ( 1- x^N+1 )/(1-x), тогда, взяв производную по x, получим

1 +2x + 3x² + … + Nx^N-1 = (- (N+1)x^N(1-x) + ( 1- x^N+1 ) )/(1-x)²= (1), если x =1/2.

C другой стороны, положим j=h-i+1, тогда

T(N)/2^h= O(_i=0 ^{i  h} (h-i+1) 2^i-h)= O(_j=1 ^{j  h+1} j 2 ^{- j+1})= O(_j=1 ^{j  h+1} j 2 ^{- j}) = (1).



Из вышесказанного вытекает, что мы имеем возможность получить упорядоченный подмассив, состоящий из довольно большого количества самых больших элементов исходного массива, за время O(N), где N – количество элементов в массиве. Более строго, верна теорема

Теорема. Получить упорядоченный массив из N / log ₂ N самых больших элементов массива можно за время O(N).