Дональд Кнут. Искусство программирования. т.3 / knuth3

Original pages: 483-535 271

В среднем имеем C1 = 12(C + S); действительно, C1 + C2 = C и C1 − S C2. Поэтому время поиска примерно равно (7:5C − 2:5S + 4)u.

Picture: Рис 11. Поиск с вставкой по дереву.

Программы бинарного поиска, использующие неявные деревья, работают дольше! (Ср. с программой 6.2.1С.) Продублировав команды, как и в программе 6.2.1F, можно избавиться от строки 08 в программе Т, уменьшив тем самым время поиска до (6:5C − 2:5S + 5)u. Если поиск неудачен, фаза вставки займет еще время 14u или 15u.

Алгоритм Т легко приспособить к работе с ключами и записями переменной длины. Например, если мы распределяем имеющееся в наличии пространство последовательно, способом ”последним включается—первым исключается” (LIFO), то легко сможем создавать узлы различного размера; первое слово дерева (1) может указывать длину. Такое эффективное использование памяти делает алгоритмы таблиц символов, основанные на древовидной структуре, особенно привлекательными для разработчиков компиляторов, ассемблеров и загрузчиков.

А как насчет наихудшего случая? Многие программисты сначала скептически воспринимают алгоритм T. Если бы ключи рис. 10 поступали в алфавитном порядке AQUARIUS, : : : , VIRGO, a не в календарном CAPRICORN, : : :, SCORPIO, то алгоритм выстроил бы вырожденное дерево, которое, в сущности, определяет последовательный поиск. (Все поля LLINK равнялись бы .) Аналогично, если ключи поступают в необычном порядке:

AQUARIUS; VIRGO; ARIES; TAURUS; CANCER; SCORPIO;

CAPRICORN; PISCES; GEMINI; LIBRA; LEO;

мы получим зигзагообразное дерево, что ничуть не лучше. (Постройте это дерево!)

С другой стороны, для удачного поиска по дереву рис. 10 требуется в среднем всего лишь 3112 сравнений, что немногим больше оптимального среднего числа сравнений 3, которое достигается при поиске по наилучшему из возможных бинарных деревьев.

Для достаточно хорошо сбалансированного дерева время поиска примерно пропорционально

log N, а для вырожденного дерева—N. В упр. 2.3.4.5-5 доказывается, что, если считать все бинарные

2 p

деревья из N узлов равновероятными, среднее время поиска приблизительно пропорционально N. Чего же нам ожидать от алгоритма T?

К счастью, можно доказать, что поиск по дереву требует лишь около 2 lnN 1:386 log2 N сравнений, если ключи добавляются к дереву в случайном порядке; хорошо сбалансированные деревья— правило, а вырожденные—исключение.

Доказать этот факт удивительно просто. Предположим, что каждая из N!перестановок N ключей с равной вероятностью используется для построения дерева путем вставок. Число сравнений, нужных для нахождения ключа, ровно на единицу больше числа сравнений, потребовавшихся при вставке его в дерево. Следовательно, если через CN обозначить среднее число сравнений при удачном поиске,

Но согласно соотношению между длинами внутреннего и внешнего путей (6.2.1-2)

дает

(N + 1)CN0 − NCN0 −1 = 2 + CN0 −1;

CN0 = CN0 −1 + 2=(N + 1):

Упражнения 6–8 дают более детальную информацию: можно найти не только средние значения CN и CN0 , но и их вероятностные распределения.

Сортировка вставкой в дерево. Алгоритм T предназначался для поиска, но его можно принять за основу алгоритма внутренней сортировки, так как он является естественным обобщением алгоритма вставок в список 5.2.1L. Умело запрограммированный, он будет работать лишь немного медленнее лучших алгоритмов, обсуждавшихся в гл. 5. Когда построение дерева завершено, остается симметрично обойти его (алгоритм 2.3.1T)—мы ”посетим” записи в отсортированном порядке.

Однако необходимо быть осторожным. Ясно, что в шаге T2 при K = KEY(P) надо действовать по-другому, так как мы сортируем, а не ищем. Можно, например, реагировать на K = KEY(P) так же, как и на K > KEY(P); это даст правильный метод сортировки. (Заметим, впрочем, что равные ключи не обязательно должны находиться в смежных узлах, лишь бы они проходились последовательно при симметричном обходе.) При большом количестве повторяющихся ключей этот метод приведет к весьма несбалансированному дереву, и сортировка замедлится. Другим методом является хранение в каждом узле списка записей с одним и тем же ключом; потребуется дополнительное поле для ссылки, но это ускорит сортировку в случае, когда встречается много одинаковых ключей.

Таким образом, алгоритм T, применяемый только для сортировки, неплох, но есть и лучшие. Если же нужно сочетать поиск и сортировку, использование древовидной структуры следует настоятельно рекомендовать.

Интересно отметить тесную связь между анализом сортировки вставкой в дерево и анализом обменной сортировки с разделением (”быстрой сортировки”), хотя на первый взгляд эти методы совершенно различны. При вставке в первоначально пустое дерево N ключей в среднем совершается то же число сравнений, что и в алгоритме 5.2.2Q (за небольшими исключениями). Например, при вставке в дерево каждый ключ сравнивается с K1, а каждый ключ, меньший K1, сравнивается с первым ключом, меньшим K1, и т. д.; при быстрой сортировке каждый ключ сравнивается с первым разделяющим элементом K, а затем каждый ключ, меньший K, сравнивается с определенным, меньшим K элементом и т. д. Среднее число сравнений в обоих случаях равно NCN. (Правда, на самом деле, чтобы ускорить внутренний цикл, алгоритм 5.2.2Q совершает несколько больше сравнений.)

Удаления. Иногда бывает нужно заставить ЭВМ забыть один из элементов таблицы. Легко удалить ”лист” (узел, оба поддерева которого пусты) или узел, в котором LLINK = или RLINK = . Но если обе ссылки не пусты, надо действовать особым образом—ведь нельзя в одном месте хранить два указателя.

В качестве примера снова рассмотрим рис. 10. Как удалить CAPRICORN? Вот одно из решений: удалить следующий ближайший узел, левая ссылка которого пуста, и затем вернуть его на место узла, который действительно требуется удалить. Например, на рис. 10 сначала удаляется GEMINI, затем CAPRICORN заменяется на GEMINI. Такая операция сохраняет порядок элементов таблицы. Алгоритм D реализует эту идею.

Алгоритм D. (Удаление из дерева.) Через Q обозначим переменную, указывающую на узел бинарного дерева поиска, которое представлено как в алгоритме T. Данный алгоритм удаляет этот узел, оставляя бинарное дерево поиска. (На самом деле мы имеем или Q ROOT, или Q LLINK(P), или Q RLINK(P) для некоторого узла P. Алгоритм изменяет в памяти значение Q в соответствии с осуществлённым удалением.)

Original pages: 483-535 273

Читатель может испытать этот алгоритм, удаляя узлы AQUARIUS, CANCER и CAPRICORN дерева рис. 10; каждый случай имеет свои особенности. Внимательный читатель, вероятно, заметил, что отдельно не выделен случай RLINK(T) 6= , LLINK(T) = ; мы обсудим это несколько позже, так как алгоритм в том виде, в котором он представлен здесь, обладает весьма интересными свойствами.

Поскольку в алгоритме D нет никакой симметрии между правым и левым, то кажется, что длинная последовательность случайных удалений и вставок разбалансирует дерево, и выведенные оценки эффективности потеряют силу. Но в действительности вырождения вовсе не произойдет!

Теорема Н (Т. Н. Хиббард, 1962). После удаления посредством алгоритма D случайного узла случайного дерева вновь получается случайное дерево.

[Не любящие математику, пропустите, пожалуйста, вплоть до (10)!] Такая формулировка теоремы, разумеется, весьма туманна. Опишем ситуацию более точно. Пусть J—дерево из n элементов, а P(J)—вероятность появления J, если его ключи вставляются случайным образом с помощью алгоритма T. Некоторые деревья появляются с большей вероятностью, чем другие. Через Q(J) обозначим вероятность получения J после вставки в случайном порядке n+1 ключей (посредством алгоритма T) и последующего удаления с помощью алгоритма D одного из этих элементов, выбранного случайно. При вычислении P(J) предполагается, что все n перестановок ключей равновероятны; при нахождении Q(J) мы считаем, что (n + 1)(n + 1)! перестановок ключей и выборов ключа для удаления равновероятны. Теорема утверждает, что P(J) = Q(J) для всех J.

Доказательство. По условию равновероятны не деревья, а перестановки, поэтому будем доказывать теорему, рассматривая в качестве случайных объектов перестановки. Определим сначала удаление из перестановки и затем докажем, что ”после удаления из случайной перестановки случайного элемента остается случайная перестановка”.

Пусть a1 a2 : : : an+1—перестановка множества f1; 2; : : : ; n + 1 g; мы хотим определить операцию удаления элемента ai, получив в результате перестановку b1 b2 : : : bn множества f1; 2; : : : ; n g. Эта операция должна быть согласована с алгоритмами Т и D, т. е. если отправиться от дерева, построенного последовательными вставками a1, a2, : : : , an+1, и удалить ai с перенумерацией ключей числами от 1 до n, то получится дерево, которое могло быть построено последовательными вставками b1 b2 : : : bn.

К счастью, определить такую операцию нетрудно. Возможны два случая:

Случай 1: ai = n + 1 или ai + 1 = aj для некоторого j < i. (Это, в сущности, есть условие ”RLINK(ai) = ”.) Удаляем ai из последовательности и вычитаем единицу из всех элементов, больших ai.

Случай 2: ai + 1 = aj для некоторого j > i. Заменяем ai на aj, удаляем aj с первоначальной позиции и вычитаем, единицу из всех элементов, больших ai.

Например, рассмотрим перестановку 4 6 1 3 5 2. Если пометить элемент, который нужно удалить, заключив его в кружок, то получится

Поскольку всего можно сделать (n + 1)(n + 1)! различных удалений, теорема будет установлена, если мы покажем, что каждую перестановку множества f1; 2; : : : ; n g можно получить как результат применения ровно (n + 1)2 удалений.

Рассмотрим перестановку b1 b2 : : : bn множества f1; 2; : : : ; n g. Определим (n + 1)2 удалений, но одному для каждой пары i; j (1 i; j n + 1).

Если i < j, искомым удалением будет

Здесь и далее b0k обозначает bk или bk + 1 в зависимости оттого, меньше bk помеченного элемента или нет. Это удаление соответствует случаю 2.

Если i > j, искомым удалением будет

Original pages: 483-535 275

Например, если вероятности подчиняются закону Зипфа (6.1-8), среднее число сравнений сводится к

(предполагается, что мы вставляем ключи в порядке уменьшения важности; см. упр. 18). Формула (6) предсказывает примерно в два раза большую величину; при бинарном поиске мы также произвели бы больше сравнений. Например, на рис. 12 изображено дерево, полученное последовательными вставками в порядке убывания частот 31 наиболее употребительного английского слова. Относительная частота помещена под каждым словом. [Ср. Н. F. Gaines, Cryptanalysis (New York: Dover, 1956), 226.] Среднее число сравнений при

удачном поиске по такому дереву равно 4:042; соответствующий бинарный поиск, использующий алгоритм 6.2.1В или C, потребовал бы 4:393 сравнения.

Оптимальные бинарные деревья поиска. Уместно спросить, какое дерево является наилучшим для поиска по таблице, если ключи запрашиваются с данными частотами? Например, оптимальное дерево для 31 наиболее употребительного английского слова изображено на рис. 13; в среднем на удачный поиск требуется 3.437 сравнения.

Исследуем проблему нахождения оптимального дерева. В случае N = 3 и при соответственных вероятностях p, q, m ключей

На рис. 14 показаны диапазоны величин p, q, r, для которых каждое из деревьев оптимально; сбалансированное дерево является наилучшим примерно в 45% случаев, если p, q, r случайны (см. упр. 21).

Ксожалению, при больших N существует

бинарных деревьев, так что мы не в состоянии все их перебрать и выбрать наилучшее. Поэтому, чтобы придумать более удачный способ отыскивать оптимальные бинарные деревья поиска, нужно ближе познакомиться с их свойствами.

До сих пор мы изучали лишь вероятности при удачном поиске; оказывается, случай неудачи столь же важен. Например, 31 слово (рис. 13) составляет лишь около 36% типичного английского текста; остальные 64%, несомненно, повлияют на структуру оптимального дерева поиска.

Следовательно, поставим задачу таким образом: дано 2n+1 чисел p1, p2, : : : , pn и q0, q1, : : : , qn, где

pi = вероятность того, что аргументом поиска является Ki;

qi = вероятность того, что аргумент поиска лежит между Ki и Ki+1:

(По определению q0 есть вероятность того, что аргумент поиска меньше K1, a qn есть вероятность того, что аргумент поиска больше Kn.) Таким образом, p1 + p2 + + pn + q0 + q1 + + qn = 1, и мы хотим найти бинарное дерево, минимизирующее математическое ожидание числа сравнений при поиске, а

276Original pages: 483-535

где (j) есть j-й внутренний узел при симметричном обходе, a k есть (k + 1)-й внешний узел; корень находится на нулевом уровне. Так, математическое ожидание числа сравнений для бинарного дерева

Picture: Рис. стр. 517.

равно 2q0 +2p1 +3q1 +3p2 +3q2 +p3 +q3. Назовем это ценой дерева; скажем, что дерево с минимальной ценой оптимально. При таком определении нет нужды требовать, чтобы pи q давали в сумме единицу, можно искать дерево с минимальной ценой для данной последовательности ”весов” (p1, : : : , pn; q0, : : : , qn).

В п. 2.3.4.5 мы изучили процедуру Хаффмэна для построения деревьев с минимальной взвешенной длиной пути, но этот метод требует, чтобы все p равнялись нулю, а в порожденном им дереве внешние узлы, имеющие веса (q0, : : :, qn), обычно не располагаются в нужном симметричном порядке слева направо. Значит, необходимо действовать иначе.

Воспользуемся следующим принципом: любое поддерево оптимального дерева оптимально. Например, если (15) есть оптимальное дерево для весов (p1; p2; p3;q0; q1; q2; q3), то левое поддерево корня должно быть оптимальным для (p1; p2;q0; q1; q2), т. е. любое улучшение поддерева ведет к улучшению всего дерева.

Этот принцип подсказывает вычислительную процедуру, с помощью которой систематически находятся всё большие и большие оптимальные поддеревья. Мы воспользовались абсолютно той же идеей в п. 5.4.9 для построения схем оптимального слияния; общий подход, известный под названием ”динамическое программирование”, будет изучен в гл. 7.

Через c(i; j) обозначим цену оптимального поддерева с весами (pi+1; : : : ; pj; qi; : : : ; qj), и пусть w(i; j) = pi+1+ +pj+qi+ +qj будет суммой этих весов; c(i; j)и w(i; j)определяются для 0 i j n. Так как минимально возможная цена дерева с корнем (k) равна w(i; j) + c(i; k − 1) + c(k; j), имеем

Если i < j, то через R(i; j) обозначим множество всех k, при которых достигается минимум в (16); это множество определяет возможные корни оптимальных поддеревьев.

Соотношения (16) позволяют найти значения c(i; j) для j −i = 1, 2, 3, : : :, n; существует примерно 12n2 таких значений, а операция минимизации выполняется для приблизительно 16n3 величин k. Это значит, что оптимальное дерево можно найти за O(n3) единиц времени, используя O(n2) ячеек памяти.

В оценке времени работы показатель степени при n можно уменьшить, если воспользоваться свойством ”монотонности”. Пусть r(i; j) обозначает элемент из R(i; j); нет нужды находить все множество R(i; j), нам достаточно одного представителя. В силу результата упр. 27 после нахождения r(i; j − 1) и r(i + 1; j) элемент r(i; j) можно искать в пределах

при условии неотрицательности весов. Теперь в (16) вместо i − j нужно проверять лишь r(i + 1; j) − r(i; j − 1) + 1 значений k. Полный объем работы, если j − i = d, оценивается суммой

X

(r(i + 1; j) − r(i; j − 1) + 1) = r(n − d + 1; n) + r(0; d − 1) + n − d + 1 < 2n;

d j n i=j−d

поэтому время выполнения уменьшается до O(n2). Предложенная процедура подробно описана ниже.

Алгоритм K. (Нахождение оптимальных бинарных деревьев поиска.) Даны неотрицательные веса (p1, : : : , pn; q0, q1, : : : , qn). Алгоритм позволяет построить бинарные деревья t(i; j), имеющие минимальную (в указанном выше смысле) цену для весов (pi+1, : : : , pj; qi, : : :, qj). Вычисляются три массива:

Результаты алгоритма определяются массивом r: если i = j, то t(i; j) пусто; если i 6= j, то левым поддеревом является t(i; r[i; j] − 1), а правым—t(r[i; j]; j).

r[i;j−1] k r[i+1;j]

изанести в r[i; j] величину k, при которой достигается минимум. (В упр. 22 доказывается, что r[i; j − 1] r[i + 1; j].)

Как пример работы алгоритма K рассмотрим рис. 15, связанный с разработкой указателя KWIC (”key-word-in-context”—”ключевое слово в контексте”). Заголовки всех статей первых десяти томов ACM Journal были отсортированы таким образом, чтобы каждому слову каждого заголовка соответствовала одна строка. Правда, некоторые слова вроде ”THE” и ”EQUATION”

Picture: Рис 15. Оптимальное бинарное дерево поиска для применения указателя KWIC.

были признаны неинформативными и не попали в указатель. Эти специальные слова и частоты их появлений представлены на рис. 15 внутренними узлами. Заметим, что такое название, как ”On the solution of an equation for a certain new problem” (”О решении уравнения для некоторой новой задачи”), было бы настолько неинформативным, что вообще не попало бы в указатель! Идея указателя KWIC принадлежит Г. П. Лану [Amer. Documentation, 11 (1960), 288–295]. Полностью указатель KWIC приведен в работе [W. W. Youden, JACM, 10 (1963), 583–646].

При подготовке указателя KWIC можно было использовать бинарное дерево поиска для проверки, нужно ли вносить то или иное слово в указатель. Частотам появления слов, включенных в указатель, соответствуют внешние узлы дерева рис. 15; так, в заголовках статей JACM за 1954–1963 гг. встретились ровно 277 слов, расположенных по алфавиту между ”PROBLEMS” и ”SOLUTION”.

На рис. 15 изображено оптимальное дерево, полученное с помощью алгоритма K при n = 35. Значения r[0; j], вычисленные для j = 1, 2, : : : , 35, равны (1, 1, 2, 3, 3, 3, 3, 8, 8, 8, 8, 8, 8, 11, 11, : : : , 11, 21, 21, 21, 21, 21, 21); значения r[i; 35] для i = 0, 1, : : : , 34 равны (21, 21, : : :, 21, 25, 25, 25, 25, 25, 25, 26, 26, 26, 30, 30, 30, 30, 30, 30, 30, 33, 33, 33, 35, 35).

”Промежуточные частоты” qj заметно влияют на оптимальную структуру дерева; на рис. 16 (a) приведено оптимальное дерево, которое получилось бы при нулевых qj. Так же важны и внутренние частоты pi; на рис. 16 (b) изображено оптимальное дерево при нулевых pi. Вернемся к полному набору частот. Дерево рис. 15 требует в среднем лишь 4:75 сравнения, а деревья рис. 16—соответственно 5:29 и 5:32. (Прямой бинарный поиск в данном случае был бы лучше деревьев рис. 16.)

Так как алгоритм K требует O(n2) времени и пространства, его использование при больших n становится нерациональным. Конечно, в этом случае можно бы использовать другие методы поиска, и далее в этой главе они будут обсуждаться. Давайте предположим, что нужно найти оптимальное или почти оптимальное дерево, если n велико.

Мы видели, что идея вставки ключей в порядке уменьшения частот в среднем ведет к довольно хорошим деревьям; но дерево может получиться и очень плохим (см. упр. 20), так как не используются веса qj. Другой подход состоит в выборе корня k таким образом, чтобы максимальный вес получающегося поддерева max(w(0; k − 1); w(k; n)) был как можно меньше. Этот подход также неудачен, ибо в качестве корня может быть выбран узел с очень малым pk. Однако Пол Бэйер доказал, что получившееся дерево будет иметь взвешенную длину пути, близкую к оптимальной.

У. Э. Уолкер и К. К. Готлиб [Graph Theory and Computing (Academic Press, 1972)] предложили более удовлетворительную процедуру, сочетающую оба рассмотренных метода: попытайтесь уравнять левосторонние и правосторонние веса, но будьте готовы передвинуть корень на несколько шагов вправо или влево для нахождения узла с относительно большим весом pk. Рисунок 17

Picture: Рис. 16. Оптимальные бинарные деревья поиска, основанные на половине данных рис. 15, (a) не учитываются внешние частоты; (b) не учитываются внутренние частоты.

показывает, почему этот метод разумен: если мы изобразим c(0; k − 1) + c(k; n) как функцию от k для данных KWIC (см. рис. 15), то увидим, что результат очень чувствителен к величине pk.

278 Original pages: 483-535

Такой метод ”сверху вниз” можно использовать при больших n для выбора корня и для обработки левых и правых поддеревьев. Если получится достаточно маленькое поддерево, можно применить алгоритм K. Результирующий метод дает довольно хорошие деревья (согласно сообщениям), на 2– 3% хуже оптимума, а требует лишь O(n) единиц пространства и O(n log n) единиц

Picture: Рис. 17. Поведение цены как функции корня k (слева по оси ординат отложен минимум средней цены).

времени. На самом деле М. Фредмэн показал, что достаточноO(n) единиц времени, если использовать подходящие структуры данных [ACM. Symp. Theory of Comp., 7 (1975), 240–244].

*Алгоритм Ху-Такера. В специальном случае, когда все p равны нулю, Т. Ч. Ху и Э. К. Такер открыли замечательный способ построения оптимальных деревьев ”снизу вверх”; при использовании подходящих структур данных их метод требует O(n)единиц пространства и O(n log n)единиц времени и строит дерево, не близкое к оптимальному, а действительно оптимальное. Алгоритм Ху-Такера можно описать так.

ФАЗА 1. Комбинация. Начните с ”рабочей последовательности” весов, написанных внутри внешних узлов

Затем раз за разом комбинируйте два веса qi и qj для i < j, получая единственный вес qi+qj, исключите qj из последовательности и замените узел, содержащий qi, на внутренний узел

Комбинировать нужно единственную пару весов (qi; qj), удовлетворяющую следующим правилам:

i)Между qi и qj нет внешних узлов. (Это наиболее важное правило, отличающее данный алгоритм от метода Хаффмэна.)

ii)Сумма qi + qj минимальна среди всех (qi; qj), удовлетворяющих правилу (i).

iii)Индекс i минимален среди всех (qi; qj), удовлетворяющих правилам (i), (ii).

iv)Индекс j минимален среди всех (qi; qj), удовлетворяющих правилам (i)–(iii).

ФАЗА 2. Присваивание уровней. Когда фаза 1 окончена, в рабочей последовательности остается единственный узел. Пометьте его номером уровня 0. Затем проделайте шаги фазы 1 в обратном порядке, таким образом помечая узлы номерами уровней, что, если (19) имеет уровень l, узлы qi и qj, породившие (19), получают номер l + 1.

ФАЗА 3. Рекомбинация. Теперь у нас есть последовательность внешних узлов и уровней

Внутренние узлы, использованные в фазах 1 и 2, теперь отбросьте за ненадобностью—мы будем создавать новые узлы путем комбинации весов (qi; qj) по следующим новым правилам:

Новому узлу (19) присваивается уровень li − 1. Бинарное дерево, формируемое в этой фазе, имеет минимальную взвешенную длину пути среди всех бинарных деревьев, внешние узлы которых имеют веса (слева направо) q0, q1, : : :, qn.

Рисунок 18 иллюстрирует работу этого алгоритма; весами являются относительные частоты букв , A, B, : : : , Z в английском тексте. В течение фазы 1 первым формируется узел (6), содержащий частоты букв J и K, затем узел (16) (комбинируем P и Q), затем

и2.

вэтот момент мы имеем рабочую последовательность

Original pages: 483-535 279

Правило (i) позволяет комбинировать несмежные веса, только если они разделены внутренними узлами; так что можно скомбинировать 57 + 57, затем 63 + 51, затем 58 + 64 и т. д.

Номера уровней, присвоенные во время фазы 2, изображены на рис. 18 справа от каждого узла. В результате рекомбинации (фаза 3) мы получаем дерево, показанное на рис. 19; заметьте, что деревья рис. 18 и 19 существенно различны: рис. 18 не сохраняет упорядоченности слева направо. Но цены у этих деревьев одинаковы, так как внешние узлы расположены на одинаковых уровнях.

Рассмотрим простой пример, где веса равны 4, 3, 2, 4; легко показать, что единственным оптимальным деревом является

На этом примере видно, что в оптимальном дереве два наименьших веса 2 и 3 не всегда следует комбинировать в одно оптимальное дерево, даже если они приписаны смежным узлам; нужна некоторая рекомбинационная фаза.

В нашей книге не приводится доказательство справедливости алгоритма Ху-Такера; простые доказательства не известны, и очень вероятно, что они никогда не будут найдены! Чтобы проиллюстрировать внутренне присущую данной ситуации сложность, заметим, что фаза 3 должна скомбинировать все узлы в одно дерево, но возможность этого не очевидна. Например, предположим, что фазы 1 и 2 привели к дереву

(т. е. были получены узлы (a), (b), (c), (d), (e) в указанном порядке); это согласуется с правилом (i). Затем после формирования узлов

мы не сможем продолжить фазу 3, так как узлы уровня 3 несмежные! Правило (i) само по себе не гарантирует благополучного завершения фазы 3, и необходимо доказывать, что конфигурация, подобная (22), никогда не получается на фазе 1.

При реализации алгоритма Ху-Такера можно хранить приоритетные очереди для множества весов в узлах, между которыми нет внешних узлов. Например, (20) можно было бы представить приоритетными очередями, содержащими соответственно

и информацией о том, какие из узлов внешние, а также указанием на порядок слева направо (это нужно для применения правил (iii) и (iv)). В другой, ”управляющей” приоритетной очереди можно запоминать суммы двух наименьших элементов очередей. Создание нового узла 57 + 57 вызывает слияние трех очередей. Если приоритетные очереди представлены левосторонними деревьями (см. п. 5.2.3), то каждый шаг фазы 1 требует не более O(log n) операций; значит, при n ! 1 достаточно O(n log n) операций. Конечно, при небольших n более эффективным будет относительно более прямолинейный O(n2)-способ реализации.

Оптимальное бинарное дерево рис. 19 полезно не только для поиска, но и для теории кодирования: используя 0 для обозначения левой ветви дерева и 1 для правой, получаем следующие коды различной длины:

Таким образом, сообщение вроде ”RIGHT ON” можно закодировать цепочкой

110011000011010111111000010111010:

280Original pages: 483-535

Заметим, что переменная длина кодов не затрудняет расшифровку слева направо, так как структура дерева подсказывает, когда кончается код одной буквы и начинается другой. Такой метод кодирования сохраняет алфавитный порядок и использует для кодирования одной буквы в среднем около 4.2 битов. Этот код можно использовать для уплотнения файлов данных без нарушения лексикографического порядка буквенной информации. (Число 4:2 минимально для кодирования с помощью бинарных деревьев, хотя его можно уменьшить до 4:1 битов на букву, если отказаться от сохранения алфавитного порядка. Уменьшение с сохранением алфавитного порядка достигается кодированием не отдельных букв, а пар букв.)

Интересная асимптотическая оценка минимальной взвешенной длины пути деревьев поиска выведена Э. Н. Гилбертом и Э. Ф. Муром:

Теорема G. Если p1 = p2 = = pn = 0, то взвешенная длина пути оптимального бинарного дерева

Доказательство. Для получения нижней оценки используем индукцию по n. При n > 0 взвешенная длина внешнего пути не меньше

дерево поиска, соответствующее этим кодам. Возвращаясь к примеру рис. 19, можно показать, что

C0 = 0001, C1 = 00110, C2 = 01000001, C3 = 0100011 и т. д.; дерево начинается с

Picture: Рис. стр. 530

(Избыточные биты в конце кодов часто можно отбросить.) Взвешенная длина пути бинарного дерева, построенного такой процедурой, будет

XX

(ei + 1)qi < qi(2 + log2(1=qi)):

0 i n 0 i n

Методом, использованным в первой части доказательства, легко установить, что взвешенная

P

длина пути любого бинарного дерева не меньше, чем 0 i n qi log2(Q=qi), независимо от порядка весов слева направо. (Этот фундаментальный результат принадлежит Клоду Шеннону.) Таким образом, сохранение порядка весов слева направо увеличивает цену оптимального дерева не больше, чем на цену двух дополнительных уровней, т. е. на удвоенную сумму весов.

История и библиография. Рассмотренные методы поиска по дереву были открыты независимо несколькими исследователями в начале 50-х годов. В неопубликованном документе, датированном августом 1952 г., А. И. Думи описал вставки в дерево в простейшем виде:

”Пусть имеется барабан, на котором записано 2n элементов, и каждый из них имеет бинарный адрес. Придерживайтесь такой программы:

1)Прочитайте первый элемент и поместите его по адресу 2n−1, т. е. в середину массива памяти.

2)Прочитайте следующий элемент. Сравните его с первым.

3)Если он больше, поместите его по адресу 2n−1 + 2n−2.