7. Некоторые задачи, сводящиеся к сортировке.

К задачам сортировки могут быть за линейное время сведены следующие классические задачи

Задача 1. Найти все различные элементы множества {A₁,…,A_N }, где – A_i , например, целые или вещественные числа.

Задача 2. Определить, все ли элементы в множестве A={A₁,…,A_N } различаются, где – A_i , например, целые или вещественные числа.

Задача 3. Определить, совпадают ли два множества {A₁,…,A_N } и {B₁,…,B_N } с учетом количества одинаковых элементов в каждом множестве, где A_i , B_i , например, – целые или вещественные числа.

Т.о., мы получаем, что для всех трех приведенных задач верхняя оценка времени решения равна  (N log N).

Можно задаться вопросом: а можно ли решить эти задачи быстрее? Заметим, что Задача 2 может быть за линейное время сведена к Задаче 1, поэтому если мы докажем, что нижняя оценка времени решения Задачи 2 есть (N log N), то тем мы докажем неулучшаемость полученной оценки для Задачи 1.

Задача 2 относится к классу задач о принятии решения. Это значит, что на выходе таких задач выдается всего один бит информации, т.е. ответ `да’ или `нет’. Мы будем рассматривать алгоритмы решения задач о принятии решений, которые сводятся к бинарному дереву принятия решений. Под деревом принятия решений имеется в виду следующее. Пусть на входе нашего алгоритма находится вектор входных данных aIR ^N. Рассмотрим бинарное дерево, в каждой вершине которого вычисляется некоторая функция от вектора a и в зависимости от знака этой функции происходит переход на правую или левую ветвь дерева. Каждая конечная вершина дерева будет называться либо принимающей либо отвергающей, в зависимости от приписанного ей соответствующего атрибута. Достижение принимающей вершины означает выдачу алгоритмом ответа `да’, а отвергающей, соответственно, - `нет’.

Дерево принятия решений называется алгебраическим деревом принятия решений степени n, если функции в вершинах дерева являются многочленами степени не выше n.

Далее мы рассмотрим лишь алгоритмы, представимые в виде алгебраического дерева принятия решений степени 1. Мы будем предполагать, что время вычисления каждой функции в вершине дерева есть (1). Приведенная далее теорема верна и для деревьев высшей степени, но для ее доказательства потребуются весьма серьезные факты из теории функций, которые мы здесь привести не сможем.

Введем два определения.

Разделимые множества. Множества A, B  IR ^N называются разделимыми (линейно-разделимыми) если  a A, b B найдется c [a,b], такое что с A, с B.

Связное множество. Связным множеством называется такое множество, что при любом его разбиении на два непересекающихся непустых подмножества одно из них содержит точку, предельную для другого. В евклидовом пространстве открытое множество связно тогда и только тогда, когда любые две его точки можно соединить целиком лежащей в нём ломаной.

Теорема. Пусть W  IR ^N – множество точек, на которых решением задачи будет `да’. Пусть #W – количество разделимых связных компонент множества W. Тогда, в рамках алгоритмов, описывающихся алгебраическими деревьями степени 1, нижняя оценка времени решения задачи равна (log ₂ #W).

Доказательство. Докажем, что количество принимающих вершин дерева принятия решений не меньше #W. Для этого докажем, что все элементы R ^N, относящиеся к одной принимающей вершине дерева решений находятся внутри одной разделимой связной компоненты W.

Предположим противное: существует принимающая вершина дерева принятия решений, в которую попадает алгоритм при использовании двух различных a,b W , таких что a и b принадлежат различным разделимым связным компонентам V_a , V_b  W, соответственно. Рассмотрим [a,b]. Линейные функции от N переменных обладают свойством монотонности на отрезке, поэтому все функции, вычисляющиеся в вершинах дерева принятия решений, сохраняют свой знак на [a,b]. Т.о. весь отрезок [a,b]  W (т.к. все точки из отрезка обязаны попасть в одно и ту же принимающую вершину). Это противоречит предположению о принадлежности a и b различным разделимым компонентам.

Итак, мы получили, что количество концевых вершин бинарного дерева принятия решений не меньше #W, из чего сразу следует, что высота дерева не меньше [log ₂ #W].



Вернемся к решению Задачи 2. Рассмотрим множество W для Задачи 2. Легко увидеть, что W – открыто. Для точки P  IR ^N будем называть связной компонентой, содержащей P, множество W_P  W, состоящее из таких точек R  W, для которых существует ломаная, соединяющая P и R , содержащаяся в W. В силу открытости W каждая такая точка R имеет окрестность O_R  W, а значит O_R  W_P . Но тогда W_P можно представить как объединение всех описанных окрестностей O_R , а объединение любого количества открытых множеств открыто. Т.о. множество W_P открыто, а значит (в силу определения множества) и связно.

Рассмотрим в качестве различных вариантов входных данных задачи все перестановки последовательности {1,2,…,N}. Т.е.

A_p= {p(1), p(2),…, p(N)}, где p – некоторая перестановка.

Докажем, что каждая последовательность A_p принадлежит своей связной компоненте W_AP множества W и что все W_AP линейно разделимы. Тогда мы докажем, что каждая A_p принадлежит своей разделимой связной компоненте. Действительно, допустим противное, т.е. пусть две различные последовательности A_p1 и A_p2 принадлежат одной связной компоненте W. Тогда найдутся 1  i, j  N, такие что (p₁(i)- p₁(j)) (p₂(i)- p₂(j))<0, т.е. (p₁(i)- p₁(j)) и (p₂(i)- p₂(j)) имеют разные знаки. Но тогда для любой ломаной S, соединяющей точки A_p1 и A_p2  IR ^N , найдется x  S такая, что x_i = x_j , что противоречит принадлежности A_p1 и A_p2 одной связной компоненте множества W.

Аналогично доказывается, что компоненты W_P1 и W_P2 линейно разделимы. Действительно, рассмотрим произвольные точки p₁’  W_P1 и p₂’  W_P2. Для тех же самых индексов i, j получим, что (p’₁(i)- p’₁(j)) (p’₂(i)- p’₂(j))<0 (здесь мы использовали следующее утверждение: для любой пары i, j внутри одной открытой связной компоненты W знак p(i)- p(j) для всех точек одинаков), из чего сразу получаем, что на отрезке, соединяющем p’₁ и p’₂, найдется точка, не принадлежащая W.

В приведенном доказательстве требует объяснения следующий факт: для двух различных перестановок множества {1,2,…,N} всегда найдутся 1  i, j  N, такие что (p₁(i)- p₁(j)) и (p₂(i)- p₂(j)) имеют разные знаки. Пусть для каждой перестановки p: t_k – количество чисел p(i) больших p(k) для i>k. Легко увидеть, что p и t однозначно задают друг друга.

Действительно, для p(i)=N имеем t(i)=0, причем для j<i выполняется: t(j)>0. (отметим, что t(i)=0 может выполняться и для других i) Поэтому если мы найдем минимальное i такое, что t(i)=0, то сразу получим, что p(i)=N; далее положим p(i)=-1, что потребует уменьшить на 1 все t(j) для j<i, а t(i) тоже положим равной -1, чтобы исключить из рассмотрения. Для нахождения i такого, что p(i)=N-1, мы опять ищем минимальное i такое, что t(i)=0. После исключения из рассмотрения найденного i и уменьшения на 1 всех t(j) для j<i мы можем перейти к поиску i такого, что p(i)=N-2, и т.д.

Пример:

p={4,5,3,1,2} => t={1,0,0,1,0}

Ищем p по заданной t:

1)Ищем минимальное i, для которого t(i)=0: i=2 => p(2)=5

Для всех j<2 уменьшаем t на 1 и кладем t(i)=-1:

t={0,-1,0,1,0}

2) Ищем минимальное i, для которого t(i)=0: i=1 => p(1)=4

Для всех j<1 уменьшаем t на 1 (таковых нет) и кладем t(i)=-1:

t={-1,-1,0,1,0}

3) Ищем минимальное i, для которого t(i)=0: i=3 => p(3)=3

Для всех j<3 уменьшаем t на 1 и кладем t(i)=-1:

t={-2,-3,-1,1,0}

4) Ищем минимальное i, для которого t(i)=0: i=5 => p(5)=2

Для всех j<5 уменьшаем t на 1 и кладем t(i)=-1:

t={-3,-4,-2,0,-1}

5) Ищем минимальное i, для которого t(i)=0: i=4 => p(4)=1

Т.о. для двух различных перестановок p₁ и p₂ мы получим различные соответствующие t₁ и t₂ . Выберем i: t₁(i)  t₂(i). Пусть, например, t₁(i) > t₂(i), но тогда найдется j>i, такое что p₁(j)> p₁(i), но p₂(j)< p₂(i). Получили требуемое.



Итак, мы доказали, что верна следующая

Теорема. Задачи 1 и 2 имеют нижнюю оценку времени решения  (NlogN) на алгоритмах, основанных на алгебраическом дереве принятия решения первой степени.

Для Задачи 3 также можно доказать аналогичную теорему:

Теорема. Задача 3 имеет нижнюю оценку времени решения  (NlogN) на алгоритмах, основанных на алгебраическом дереве принятия решения первой степени.

Для доказательства рассмотрим все пары последовательностей {1,2,…,N} и {s₁,s₂,…,s_N} для всех перестановок s. Назовем эти последовательности A и B_s. Покажем, что количество принимающих вершин любого алгебраического дерева принятия решения первой степени, решающего заданную задачу, не меньше, чем количество всевозможных пар {A, B_s}. В этом случае мы сразу получим, что высота дерева принятия решения будет не меньше  (log(N!))=  (N log N), что докажет нашу теорему.

Доказательство требуемого факта тривиально. Нам достаточно доказать, что никакие две различные пары {A, B_s} и {A, B_r} не могут попасть в одну принимающую вершину данного дерева принятия решений. Докажем данный факт от противного.

Пусть есть две различные пары {A, B_s} и {A, B_r}, на которых данный алгоритм попадает в одну принимающую вершину алгебраического дерева принятий решений первой степени. Тогда найдется индекс i для которого r_i≠s_i. Рассмотрим пары последовательностей {A, B_st}, для которых B_st=tB_s+(1-t) B_r , где t(0,1). Значения B_st для t[0,1] образуют собой отрезок в пространстве IR ^2N. В данных парах последовательностей элемент B_st с индексом i должен принимать все возможное значения в интервале (Min(r_i,s_i), Max(r_i,s_i)). Тогда, с одной стороны любая пара {A, B_st} должна попасть в ту же принимающую вершину (в силу проверки линейных соотношений в каждой вершине дерева и сохранения знака линейной функции на отрезке), а с другой, среди возможных значений t обязательно найдется значение, не встречающееся в последовательности A. Получаемое противоречие завершает доказательство.



Заметим, что Задача 3 также, как и Задача 2, может быть сведена к Задаче 1.