Дональд Кнут. Искусство программирования. т.3 / knuth3

Original pages: 572-600 311

возникает и в случае бора [формула (5.2.2-38)]; в самом деле, если рассмотреть в (14) лишь члены с n = 0, получается ровно N − 1 плюс число проверок в бинарном бору. Дальнейший вывод асимптотической оценки можно провести уже известным нам способом; см. упр. 27. Приведенный вывод в большой степени основан на подходе, предложенном Э. Г. Конхеймом и Д. Дж. Ньюмэном [Discrete Mathematics, 4 (1973), 56–63].

И наконец, взглянем на Патрицию с точки зрения математика. Ее бинарное дерево похоже на соответствующий бинарный бор с теми же ключами, но сжатыми вместе (ибо поля SKIP устраняют однопутевые разветвления), так что имеется N −1 внутренних и N внешних узлов. На рис. 36 изображено дерево Патриции, соответствующее шестнадцати ключам в бору рис. 34. Числа, заключенные во внутренних узлах, обозначают содержимое полей SKIP; ключи указаны вместе с внешними узлами, хотя последние не присутствуют явно (в действительности вместо внешних узлов существуют помеченные ссылки на внутренние узлы, которые в свою очередь ссылаются на массив TEXT). Однако для целей анализа можно считать, что внешние узлы существуют в том виде, как они изображены на рис. 36.

Так как удачный поиск с использованием Патриции оканчивается во внешних узлах, среднее число проверок битов, производимых при случайном удачном поиске, равно длине

Picture: Рис. 36. Патриция строит это дерево вместо рис. 34.

внешнего пути, деленной на N. Если, как и выше, ввести производящую функцию b(z) для внешних узлов, это число будет равно b0(1)=b(1). Неудачный поиск также кончается во внешнем узле, но с вероятностью 2−l (l—номер уровня, на котором расположен узел), так что среднее число проверок

Производящую функцию b(z), усредненную по всем деревьям Патриции, построенным с N внешними узлами с использованием равномерно распределенных ключей, обозначим через hN(z). Рекур-

по-видимому, не имеет простого решения. Но, к счастью, существует простое рекуррентное соотношение для средней длины внешнего пути h0n(1), поскольку

Так как оно имеет вид (6), для нахождения h0n(1) можно использовать уже развитые методы; оказывается, что h0n(1) ровно на n меньше соответствующего числа проверок битов в случайном бинарном бору. Таким образом, поле SKIP позволяет сэкономить примерно одну проверку бита для удачного поиска при случайных данных. (См. упр. 31.) На самом же деле избыточность типичных данных приведет к большей экономии.

Если мы попытаемся найти среднее число проверок битов для случайного неудачного поиска, производимого Патрицией, то получим соотношение

Эта формула является, вероятно, наиболее сложной асимптотической оценкой из всех, которые нам нужно было получить; решение в упр. 34 дает поучительный обзор многих ранее изученных вещей с некоторыми нюансами.

Выводы из анализа. Следующие результаты заслуживают наибольшего внимания:

312Original pages: 572-600

(a)Число узлов, необходимых для хранения N случайных ключей в M-арном бору, разветвления в котором происходят до тех.пор, пока не останется подфайл из s ключей, примерно равно N=(s lnM). (Это приближение справедливо для больших N и малых s и M.) Так как узел бора содержит M полей ссылок, то, если выбрать s = M, всего потребуется лишь около N=(lnM) полей ссылок.

(b)Для всех рассмотренных методов количество цифр или литер, проверяемых в процессе случайно-

го поиска, примерно равно logM N. При M = 2различными методами можно получить следующие более точные приближения для числа проверок битов:

[Все эти приближенные значения можно выразить через фундаментальные математические постоянные; например, число 0:31875 получилось из (ln − γ)=(ln2) − 1=2.]

(c) ”Случайность” данных здесь означает то, что M-ичные цифры являются равномерно распределенными, как если бы ключами были действительные числа между 0 и 1, записанные в M-ичной системе счисления. Методы цифрового поиска не чувствительны к порядку, в котором ключи помещены в файл (исключением является алгоритм D, лишь в малой степени чувствительный к порядку); но они очень чувствительны к распределению цифр. Например, если нулевые биты встречаются гораздо чаще единичных, деревья будут гораздо более асимметричными по сравнению с деревьями, полученными для случайных данных. (В упр. 5.2.2-53 разобран пример того, что происходит при таком воздействии на данные.)

Упражнения

1.[00] Если дерево имеет листья, то что имеет бор?

2.[20] Постройте алгоритм вставки нового ключа в M-арный бор, придерживаясь соглашений алгоритма T.

3.[21] Постройте алгоритм удаления ключа из M-арного бора, придерживаясь соглашений алгоритма T.

>4. [21] Большинство из 360 элементов табл. 1—пробелы (пустые ссылки). Однако можно сжать таблицу до 49 элементов, допуская перекрытие непустые и пустых элементов:

[Узлы (1), (2), : : :, (12) табл. 1 начинаются соответственно с позиций 20, 19, 3, 14, 1, 17, 1, 7, 3, 20, 18, 4 сжатой таблицы.]

Покажите, что, если заменить такой сжатой таблицей табл. 1, программа T будет работать и в этом случае, правда, не столь быстро.

>5. [М26] (Й. Н. Пэтт.) В деревьях рис. 31 буквы упорядочены по алфавиту внутри каждого семейства. Это не является необходимым, и если мы, прежде чем строить бинарное дерево типа (2), изменим порядок узлов внутри каждого семейства, поиск может ускориться. Какое переупорядочение рис. 31 будет оптимальным с этой точки зрения? (Используйте частоты, данные на рис. 32, и найдите лес, который, будучи представлен в виде бинарного дерева, минимизирует время удачного поиска.)

6.[15] Какое дерево цифрового поиска получится, если пятнадцать четырехбитовых бинарных ключей 0001, 0010, 0011, : : :, 1111 вставить в возрастающем порядке с помощью алгоритма D? (Начните с ключа 0001 в корневом узле и затем произведите четырнадцать вставок.)

>7. [M26] Если пятнадцать ключей из упр. 6 вставляются в другом порядке, может получиться другое дерево. Какова наихудшая среди всех 15! возможных перестановок этих ключей в том смысле, что она порождает дерево с наибольшей длиной внутреннего пути?

8. [20] Рассмотрим следующие изменения алгоритма D, ведущие к исключению переменной K1: заменить ”K1” на ”K” в шаге D2 и устранить операцию ”K1 K” из шага D1. Годится ли полученный алгоритм для поиска и вставки?

9.[21] Напишите MIX-программу для алгоритма D и сравните ее с программой 6.2.2T. Вы можете использовать бинарные операции вроде SLB (бинарный сдвиг влево AX), JAE (переход, если A четно) и т. д., если сочтете нужным. Вы можете также использовать идею упр. 8.

Original pages: 572-600 313

10.[23] Имеется файл, все ключи которого суть n-битовые двоичные числа, и аргумент поиска K = b1 b2 : : : bn. Предположим, что мы хотим найти максимальное число k, такое, что в файле существует ключ, начинающийся с b1b2 : : : bk. Как сделать эти эффективно, если файл представлен в виде: (a) бинарного дерева поиска (ср. с алгоритмом 6.2.2T); (b) бинарного бора (ср. с алгоритмом T); (c) бинарного дерева цифрового поиска (ср. с алгоритмом D)?

11.[21] Можно ли использовать алгоритм 6.2.2D без изменений для удаления узла из дерева цифрового поиска?

12.[25] Будет ли случайным дерево, полученное в результате удаления случайного элемента из случайного дерева цифрового поиска, построенного с помощью алгоритма D? (Ср. с упр. 11 и с теоремой 6.2.2H.)

13.[20] (M-арный цифровой поиск). Объясните, как из алгоритмов T и D составить сообщенный алгоритм, сводящийся к алгоритму D при M = 2. Как следует изменить табл. 1, если использовать ваш алгоритм при M = 30?

>14. [25] Постройте эффективный алгоритм, с помощью которого сразу после удачного завершения алгоритма P можно было бы найти все места в массиве TEXT, где встречается K.

15.[28] Придумайте, эффективный алгоритм, который можно использовать для построения дерева Патриции или для вставки новой ссылки на TEXT в уже существующее дерево. Ваш алгоритм вставки должен обращаться к массиву TEXT не более двух раз.

16.[22] Почему для Патриции хотелось бы иметь такое ограничение, что ни один ключ не должен служить началом другого?

17.[М25] Найдите способ выразить решение рекуррентного соотношения

с помощью биномиальных преобразований, обобщая метод упр. 5.2.2-36.

18.[M21] Используя результат упр. 17, выразите решения уравнений (4) и (5) через функцииUn и Vn, аналогичные введенным в упр. 5.2.2-38.

19.[ВМ23] Найдите асимптотическое значение функции

с точностью до O(1) при n ! 1 для фиксированных значений s 0 и m > 1. [Случай s = 0 рассмотрен в упр. 5.2.2-50, а случай s = l, m = 2—в упр. 5.2.2-48.]

>20. [M30] Рассмотрим M-арную боровую память, в которой, достигнув подфайла, содержащего не более s ключей, мы используем последовательный поиск. (Случаю s = 1 соответствует алгоритм T.) Примените результаты предыдущих упражнений, чтобы проанализировать: (a) среднее число узлов бора; (b) среднее число проверяемых цифр или литер при удачном поиске; (c) среднее число сравнений, производимых при удачном поиске. Сформулируйте ответы в виде асимптотических формул (N ! 1) для фиксированных M и s, ответ для (a) должен быть дан с точностью до O(1), ответы для (b) и (c)—с точностью до O(N−1). [Если M = 2, этот анализ применим также к модифицированной обменной поразрядной сортировке, когда подфайлы размера < s сортируются посредством вставок].

21.[М25] Сколько узлов в случайном M-арном бору, содержащем N ключей, имеют пустую ссылку в качестве нулевой компоненты? (Например, 9 из 12 узлов табл. 1 в позиции ” ” имеют пустую ссылку. ”Случайный” в этом упражнении, как и обычно, означает, что литеры ключей равномерно распределены между 0 и M − 1.)

22.[М25] Сколько узлов расположено на 1-м уровне случайного M-apнoro бора, содержащего N ключей, при l = 0, 1, 2, : : :?

23.[М26] Сколько проверок цифр производится в среднем при неудачном поиске в M-арном бору, содержащем N случайных ключей?

24.[M30] Рассмотрим M-арный бор, представленный в виде леса (ср. с рис. 31). Найдите точные и асимптотические выражения для: (a) среднего числа узлов в лесу; (b) среднего количества выполнении присваивания P RLINK(P) в процессе случайного удачного поиска.

>25. [М24] Математический вывод асимптотических значений, сделанный в данном пункте, весьма труден; использовалась даже теория комплексного переменного. Дело в том, что мы не хотели ограничиваться главным членом асимптотики, а второй член действительно сложен. Цель этого упражнения состоит в том, чтобы элементарными методами получить некоторые результаты в

Original pages: 572-600 315

(Заметим, что дерево цифрового поиска имеет наибольшую тенденцию к сбалансированности.) В

Q

упр. 6.2.2-5 мы нашли формулу для вероятности в случае поиска по дереву: (1=s(x)), где произведение берется по всем внутренним узлам x, a s(x)—число внутренних узлов в поддереве, корнем которого служит x. Найдите аналогичные формулы для вероятности в случае: (a) алгоритма D;

(b) алгоритма Р.

>37. [М22] Рассмотрим бинарное дерево, на l-м уровне которого расположено bl внешних узлов. В

тексте указывалось, что время неудачного поиска в деревьях цифрового поиска не связано непо-

P

средственно с длиной внешнего пути lbl, а, по существу, пропорционально модифицированной

P

длине внешнего пути lbl2−l. Докажите или опровергните следующее утверждение: среди всех деревьев с N внешними узлами наименьшую модифицированную длину внешнего пути имеет то дерево, все внешние узлы которого расположены не более чем на двух смежных уровнях (ср. с упр. 5.3.1-20).

38.[М40] Разработайте алгоритм для нахождения n-узлового дерева, имеющего минимальное значение величины (длина внутреннего пути) + (модифицированная длина внешнего пути),

и —данные числа (ср. с упр. 37).

39.[М43] Придумайте алгоритм нахождения оптимальных деревьев цифрового поиска, аналогичных оптимальным бинарным деревьям поиска, рассмотренным в п. 6.2.2.

40.[25] Пусть a0a1a2 : : :—периодическая бинарная последовательность; aN+k = ak при всех k 0. Покажите, что любую фиксированную цепочку этого типа можно представить в O(N) ячейках памяти таким образом, что следующая операция требует лишьO(n)шагов: имея бинарную цепоч-

ку b0b1 : : : bn−1, нужно определить, сколько раз она встречается в периоде (т. е. найти количество значений p, 0 p < N, таких, что bk = ap+k при 0 k < n). (Длина цепочки n, как и сама цепочка, является переменной. Предполагается, что каждая ячейка памяти достаточно велика, чтобы вместить произвольное целое число от 0 до N.)

41.[ВМ28] (Приложение к теории групп.) Пусть G—свободная группа над символами fa1; : : : ; an g, т. е. множество всех цепочек = b1 : : : br, где bi есть либо aj, либо a−j 1, и нет смежных пар aja−j 1 или a−j 1aj. Обратным к элементом является b−r 1 : : : b−1 1; мы перемножаем две такие цепочки путем конкатенации и сокращения смежных взаимнообратных элементов. Пусть H—подгруппа

группы G, порожденная цепочками f 1; : : : ; p g, т. е. множество всех элементов из G, которые можно записать в виде произведений i и j−1. Можно показать (см. А. Г. Курош, Теория групп (М., ”Наука”, 1967), гл. 9], что всегда существует система образующих 1, : : : , m для H, m p, удовлетворяющая ”свойству Нильсена”, которое гласит, что средний символ в i (или не менее

чем один из двух центральных символов, если i имеет четную длину) никогда не сокращается в выражениях i je или je i, e = 1 (кроме очевидного исключения i = j, e = −1). Из этого свойства, вытекает, что существует простой алгоритм проверки принадлежности произвольного элемента G подгруппе H: используя 2n символов a1, : : : , an, a−1 1, : : : , a−n 1, запишем 2m ключей

1, : : :, m, 1−1, : : :, m−1 в дерево, ориентированное на поиск по символам. Пусть = b1 : : :br— данный элемент из G; если r = 0, то элемент , разумеется, принадлежит H. В противном случае ищем , находя самую длинную приставку b1 : : : bk, соответствующую ключу. Если более чем

один ключ начинается с b1 : : :bk, то элемент не принадлежит H; в противном случае обозначим этот единственный ключ через b1 : : : bkc1 : : :cl = le и заменим на l−e = c−l 1 : : : c−1 1bk+1 : : : br. Если это новое значение длиннее старого (т. е. если l > k), не принадлежит H; в противном случае повторяем процесс с новым значением . Свойство Нильсена гарантирует конечность этого алгоритма. Если удалось свести к пустой цепочке, мы можем восстановить исходное

представление в виде произведений i.

Например, пусть f 1; 2; 3 g = fbbb; b−1a−1b−1; ba−1b g и = bbabaab. Лес

вместе с описанным алгоритмом позволяет получить = 1 3−1 1 3−1 2−1. Реализуйте этот алгоритм, используя в качестве входных данных для вашей программы i.

42.[23] (Сжатие спереди и сзади.) Если набор бинарных ключей используется в качестве указателя для расчленения более крупного файла, то нет нужды хранить полные ключи. Например, шестнадцать ключей рис. 34 можно урезать справа так, чтобы оставалось достаточно цифр для их однозначного определения: 0000, 0001, 00100, 00101, 010, : : : , 1110001. Такие урезанные ключи можно использовать для расчленения файла на семнадцать частей; например, пятая часть

316 Original pages: 601-650

состоит из всех ключей, начинающихся с 0011 или 010, а последняя часть содержит все ключи, начинающиеся с 111001, 11101 или 1111. Урезанные ключи можно представить более компактно, если опустить левые цифры, общие с предыдущим ключом: 0000, 1, 100, 1, 10, : : : ,

1. За звездочками всегда следует единица, поэтому ее можно опустить В большом файле будет много звездочек, и мы должны хранить лишь их число и значения следующих битов. (На этот способ сжатия автору указали Р. Э. Геллер и Р. Л. Йонсен.) Покажите, что суммарное число битов в сжатом файле, исключая звездочки и следующую за ними единицу, равно числу узлов в бинарном бору, содержащем эти ключи.

(Следовательно, среднее суммарное число таких битов во всем указателе примерно равно N=(ln2), что составляет лишь около 1:44 бита на ключ. Возможно и еще большее сжатие, так как нам нужно представить лишь структуру бора, ср. с теоремой 2.3.1A).

6.4. ХЕШИРОВАНИЕ

До сих пор мы рассматривали методы поиска, основанные на сравнении данного аргумента K с имеющимися в таблице ключами или на использовании его цифр для управления процессом разветвления. Но есть и третий путь: не рыскать вокруг да около, а произвести над K некоторое арифметическое вычисление и получить функцию f(K), указывающую адрес в таблице, где хранится K и ассоциированная с ним информация.

Например, рассмотрим вновь множество из 31 английского слова, которое мы подвергали воздействию различных стратегий поиска в п. 6.2.2 и x 6.3. Таблица 1 содержит короткую программу для MIX, преобразующую каждый из 31 ключа в уникальное число f(K) между −10 и 30. Если мы сравним этот метод с MIX-программами для уже изученных нами методов (например, с бинарным поиском, оптимальным поиском по дереву, боровой памятью, цифровым поиском по дереву), то увидим, что он лучше как с точки зрения пространства, так и с точки зрения скорости; только бинарный поиск использует несколько меньше пространства. В самом деле, при использовании программы из табл. 1 среднее время поиска составляет лишь около 17:8u (данные о частоте взяты из рис. 12), и для хранения 31 ключа требуется таблица всего для 41 элемента.

К сожалению, находить подобные функции f(K) довольно сложно. Существует 4131 1050 различных отображений множества из 31 элемента в множество из 41 элемента, и только 41 40 : : : 11 = 41!=10! 1043 из них дают различные значения для каждого аргумента; таким образом, лишь одна из каждых 10 миллионов функций оказывается подходящей.

Функции, дающие неповторяющиеся значения, неожиданно редки даже в случае довольно большой таблицы. Например, знаменитый парадокс дней рождения утверждает, что, если в комнате присутствует не менее 23 человек, имеется хороший шанс на то, что у двух из них совпадет день рождения! Иными словами, если мы выбираем случайную функцию, отображающую 23 ключа в 365-элементную таблицу, то с вероятностью 0:4927 (менее половины) все ключи попадут в разные места. Скептики, сомневающиеся в этом, могут попытаться найти совпадение дней рождения на ближайшей большой вечеринке. [Парадокс дней рождения впервые упомянут в работах фон Мизеса

вероятностей и ее приложения, М., ”Мир”, 1964, гл. 2, x 3).]

С другой стороны, подход, использованный в табл. 1, довольно гибкий [ср. с М. Греневски и В. Турски, CACM, 6 (1963), 322–323], и для таблицы среднего размера подходящую функцию можно найти примерно за день. В самом деле, очень занятно решать подобные головоломки.

Разумеется, такой метод имеет существенный недостаток, ибо содержимое таблицы должно быть известно заранее; добавление хотя бы одного ключа может все испортить, и нам придется начинать фактически на пустом месте. Можно получить гораздо более гибкий метод, если отбросить идею однозначности, допуская совпадения значений f(K) для различных аргументов, и использовать особый метод разрешения неопределенности после вычисления f(K).

Наши рассмотрения приводят к широко известному классу методов, обычно называемых хешированием или рассеянной памятью. Английский глагол ”to hash” имеет смысл нарезать, раскрошить что-либо или сделать из этого месиво; идея хеширования состоит в том, чтобы взять некоторые характеристики ключа и использовать полученную частичную информацию в качестве основы поиска. Мы вычисляем хеш-функцию h(K) и берем это значение в качестве адреса начала поиска.

Парадокс дней рождения служит для нас предостережением, что, вероятно, найдутся различные ключи Ki 6= Kj, для которых h(Ki) = h(Kj). Подобное событие называется коллизией; для разрешения коллизий были разработаны интересные подходы. Чтобы использовать рассеянную таблицу, программист должен принять два почти независимых решения: он должен выбрать хеш-функцию h(K) и метод разрешения коллизий. Эти два аспекта задачи поиска мы и рассмотрим по очереди.

Original pages: 601-650 317

Хеш-функции. Для определенности на протяжении этого пункта будет предполагаться, что хешфункция h имеет не более M различных значений и что эти значения удовлетворяют условию

для всех ключей K. В реальном файле много почти одинаковых ключей, поэтому желательно выбрать хеш-функцию, рассеивающую их по таблице. Это важно для уменьшения числа коллизий.

Теоретически невозможно так определить хеш-функцию, чтобы она создавала случайные данные из неслучайных реальных файлов. Но на практике нетрудно сделать достаточно хорошую имитацию случайности, используя простые арифметические действия, обсуждавшиеся в гл. 3. На самом деле мы можем поступить даже лучше, выявляя неслучайные свойства реальных данных и строя на их основе хеш-функцию, дающую меньше коллизий; чем когда имеются истинно случайные ключи.

Рассмотрим, например, случай десятизначных ключей на десятичном компьютере. Сам собой напрашивается следующий способ выбора хеш-функции: положить M равным, скажем, 1000, а в качестве h(K) взять три цифры, выбранные примерно из середины 20-значного произведения K K. Казалось бы, это должно давать довольно равномерное распределение значений между 000 и 999 с низкой вероятностью коллизий. В самом деле, эксперименты с реальными данными показали, что такой метод ”середины квадрата” неплох при условии, что ключи не содержат много левых или правых нулей подряд. Выяснилось, однако, что существуют более надежные и простые способы, подобно тому как в гл. 3 метод середины квадрата оказался не слишком хорошим датчиком случайных чисел.

Многочисленные проверки реальных файлов выявили очень хорошую работу двух основных типов хеш-функций. Один из них основан на делении, а другой на умножении.

Метод деления особенно прост: используется остаток от деления на M

В этом случае, очевидно, некоторые значения M много лучше других. Например, если M—четное число, то значение h(K) будет четным при четном K и нечетным в противном случае; часто это приводит к значительным смещениям данных. Совсем плохо брать M равным степени основания системы счисления ЭВМ, так как тогда h(K)дает нам правые значащие цифры K (K mod M не зависит от других цифр). Аналогично, M не должно быть кратно 3, ибо буквенные ключи, отличающиеся друг от друга лишь порядком букв, могли бы дать значения функции, разность между которыми кратна 3. (Причина кроется в том, что 10n mod 3 = 4n mod 3 = 1.) Вообще мы хотели бы избежать значений M, делящих rk a, где k и a—небольшие числа, а r—”основание системы счисления” для множества используемых литер (обычно r = 64, 256 и 100), так как остаток от деления на такие значения M обычно оказываются простой суперпозицией цифр ключа. Наши рассмотрения подсказывают, что лучше всего взять в качестве M такое простое число, чтобы rk 6a (mod M) при небольших k и a. Практически во всех случаях, этот выбор оказывается вполне удовлетворительным.

Например, на машине MIX можно положить M = 1009, вычисляя h(K) следующим образом:

Мультипликативную схему хеширования также легко реализовать, но несколько труднее описать, так как нужно представить, что мы работаем с дробями, а не с целыми числами. Пусть w есть размер машинного слова (для MIX это значение обычно равно 1010 или 230); целое число A можно рассматривать как дробь A=w, если мысленно поставить десятичную (или двоичную) точку слева от машинного слова, в котором записано A. Метод состоит в том, чтобы выбрать A взаимно простым с w

На двоичной ЭВМ M обычно берут равным степени двойки, так что h(K) состоит из старших битов правой значащей половины произведения AK.

На двоичной версии машины MIX при M = 2m мультипликативная хеш-функция вычисляется

так:

318Original pages: 601-650

Результат получается в регистре A. MIX имеет довольно медленные команды умножения и сдвига, поэтому (5) и (3) затрачивают одинаковое время; однако на многих машинах умножение значительно быстрее деления.

Всущности, этот метод можно рассматривать как обобщение (3), поскольку мы могли бы, например, взять в качестве A приближение к w=1009; умножение на обратную величину часто оказывается быстрее деления. Заметим, что (5) почти совпадает с методом середины квадрата, однако имеется одно важное отличие: в дальнейшем мы увидим, что умножение на подходящую константу имеет много полезных свойств.

Одна из привлекательных черт мультипликативной схемы состоит в том, что в (5) не происходит потери информации; мы могли бы вновь найти K, зная лишь содержимое rAX после выполнения

инструкций (5). Дело в том, что A взаимно просто с w, и при помощи алгоритма Евклида можно найти константу A0: AA0 mod w = 1; отсюда следует, что K = (A0(AK mod w)) mod w. Иными словами, если обозначить через f(K) содержимое регистра X перед выполнением инструкции SLB в (5), то

Конечно, f(K)принимает значения в диапазоне от 0 до w−1и не является сколько-нибудь подходящей хеш-функцией, но она может быть очень полезной в качестве рассеивающей функции, а именно функции, удовлетворяющей (6) и обычно приводящей к рандомизации ключей. Например, ее очень хорошо использовать в сочетании с алгоритмами поиска по дереву из п. 6.2.2, если порядок ключей нам безразличен, так как она устраняет опасность вырождения дерева при поступлении ключей в возрастающем порядке. Рассеивающая функция полезна также в связи с алгоритмами цифрового поиска по дереву из x 6.3, если биты истинных ключей имеют смещение.

Другая черта мультипликативного метода хеширования состоит в том, что он хорошо использует неслучайные свойства, которые обнаруживаются во многих файлах. Часто множества истинных ключей содержат арифметические прогрессии fK; K + d; K + 2d; : : : ; K + td g, например имена fPART1; PART2; PART3g или fTYPEA; TYPEB; TYPECg. Мультипликативный метод хеширования преобразует арифметические прогрессии в приближенные

арифметические прогрессии h(K), h(K + d), h(K + 2d), : : : несовпадающих величин, уменьшая тем самым число коллизий по сравнению со случайной ситуацией. Метод деления обладает таким же свойством.

Рисунок 37 иллюстрирует этот аспект мультипликативного хеширования в особенно интересном p

случае. Предположим, что A=w приближенно равно золотому сечению −1 = ( 5−1)=2 = 0:6180339887; поведение последовательных значений h(K), h(K + 1), h(K + 2), : : : можно изучать, рассматривая поведение величин h(0), h(1), h(2), : : : Это наводит нас на мысль провести такой эксперимент: берется отрезок [0; 1], на котором последовательно отмечаются точки f −1g, f2 −1g, f3 −1g, : : : , где fxgобозначает дробную часть числа (fxg = x − bxc = x mod 1). Как показано на рис. 37, эти точки расположены не слишком близко друг к другу; каждая вновь добавляемая точка попадает в один из наибольших оставшихся интервалов и делит его золотым сечением! [Это явление было впервые замечено Я. Одерфельдом и доказано С. Сверчковски, Fundamenta Math., 46 (1958), 187–189. Важную роль в доказательстве играют числа Фибоначчи.]

Это замечательное свойство золотого сечения в действительности является частным случаем очень общей теоремы, предугаданной Гуго Штейнгаузом и доказанной Верой Туран Шош [Acta Math. Acad. Sci. Hung., 8 (1957), 461–471; Ann. Univ. Sci. Budapest. Eotv¨ os¨ Sect. Math., 1 (1958), 127–134]:

Теорема S. Пусть —любое иррациональное число. Если поместить на отрезок [0; 1]точки f g, f2 g, : : :, fn g, то длины получившихся отрезков будут выражаться не более чем тремя различными числами. Кроме того, следующая точка f(n + 1) g попадет в один из отрезков наибольшей длины.

Таким образом, точки f g, f2 g, : : : , fn gрасполагаются между 0 и 1 очень равномерно. Теорема верна

идля рациональных f g, если дать подходящую трактовку отрезков нулевой длины, образующихся при n, большем или равном знаменателю f g. Доказательство теоремы S вместе с подробным анализом возникающей ситуации приводится в упр. 8. Оказывается, что отрезки данной длины создаются

иразрушаются в порядке ”первым включается—первым исключается”. Конечно, некоторые значения f g предпочтительнее других; например, если взять f g близким к 0 или 1, то сначала образуется много маленьких отрезков и один большой. В упр. 9 показано, что два числа −1 и −2 = 1 − −1 приводят к ”наиболее равномерно распределенным” последовательностям среди всех f g от 0 до 1.

Original pages: 601-650 319

Приведенные рассуждения подводят нас к фибоначчиеву хешированию, когда в качестве A берется ближайшее к −1w целое число, взаимно простое с w. Например, если бы MIX была десятичной ЭВМ, можно было взять

Picture: Рис. стр. 607

Этот множитель очень хорошо рассеет ключи вроде LIST1, LIST2, LIST3. Посмотрим, однако, что произойдет, если возрастание последовательности происходит в четвертой позиции, как в ключах SUM1 , SUM2 , SUM3 : картина будет такой, как если бы теорема S использовалась с = f100A=wg = 0:80339887 вместо = 0:6180339887 = A=w. Результирующее поведение, однако, будет достаточно хорошим, несмотря на то что это значение хуже −1. Если же возрастание происходит во второй позиции, как в ключах A1 , A2 , A3 , то истинное значение = 0:9887; пожалуй, это слишком близко к 1. Поэтому, может быть, лучше вместо (7) взять в качестве множителя

Picture: Рис. стр. 608

Подобный множитель разделит последовательные ключи, различающиеся в любой позиции. К сожалению, этот выбор страдает другим пороком, аналогичным делимости rk 1: ключи вроде XY и YX попадут в одно и то же место! Один из способов преодоления возникающей трудности состоит в более пристальном изучении ситуации, лежащей в основе теоремы S. Для коротких последовательностей ключей имеют значение лишь несколько первых неполных частных разложения в непрерывную дробь; малость неполных частных соответствует хорошим свойствам распределения. Поэтому наилучшие значения выбираются из интервалов

В качестве A можно взять такое значение, чтобы каждый из его байтов лежал в хорошем диапазоне и не был слишком близок к значениям других байтов или их дополнениям, например

Такой множитель можно рекомендовать. (Изложенные идеи в основном принадлежат Р. Флойду.) Хорошая хеш-функция должна удовлетворять двум требованиям:

a)ее вычисление должно быть очень быстрым;

b)она должна минимизировать число коллизий.

Свойство (a) отчасти зависит от особенностей машины, а свойство (b)—от характера данных. Если бы ключи были действительно случайными, можно было бы просто выделить несколько битов и использовать их для хеш-функции, но на практике, чтобы удовлетворить (b), почти всегда нужна функция, зависящая от всех битов.

До сих пор мы рассматривали хеширование ключей, состоящих из одного слова. С ключами, состоящими из нескольких слов или имеющими переменную длину, можно работать как с представленными с многократной точностью числами и применить к ним рассмотренные методы. Однако обычно оказывается достаточной более быстрая процедура, когда отдельные слова сначала комбинируются в одно, а затем производится единственное умножение или деление. Для комбинирования можно использовать сложение по модулю w или операцию ”исключающее или” (на двоичных ЭВМ). Достоинством обеих операций является их обратимость, т. е. их результат зависит от всех битов аргументов, причем ”исключающее или” иногда предпочтительнее, так как не может привести к арифметическому переполнению. Заметим, что обе операции коммутативны, поэтому ключи (X; Y ) и (Y; X) будут ”брошены” по одному адресу. Чтобы избежать этого, Г. Д. Кнотт предложил предварительно делать циклический сдвиг.

Было придумано много других методов хеширования, но ни один из них не оказался предпочтительнее описанных выше простых схем деления и умножения. Обзор некоторых методов и их подробные статистические характеристики при работе с реальными файлами можно найти в статье [V. Y. Lum, Р. S. Т. Yuen, M. Dodd, CACM, 14 (1971), 228–239].

Из других испытанных методов хеширования, пожалуй, наиболее интересным является способ, основанный на алгебраической теории кодирования. Идея аналогична методу деления, только вместо деления на целое число используется деление на многочлен по модулю 2. (Как было замечено в x 4.6, эта операция представляет собой аналог деления, так же как сложение—аналог

320Original pages: 601-650

”исключающего или”.) Для предлагаемого метода M должно быть степенью 2: M = 2m; кроме то-

го, используется многочлен m-й степени P(x) = xm + pm−1xm−1 + + p0. Двоичный ключ K = (kn−1 : : : k1k0)2 можно рассматривать как многочлен K(x) = kn−1xn−1 + + k1x + k0, и вычислить остаток K(x) mod P(x) = hm−1xm−1 + +h1x+h0, используя полиномиальную арифметику по модулю 2: h(K) = (hm−1 : : :h1h0)2. При правильном выборе P(x) такая хеш-функция позволяет избежать коллизий, между почти равными ключами. Например, если n = 15, m = 10 и

то можно показать, что h(K1) 6= h(K2), когда K1 6= K2 и K1 отличается от K2 менее чем семью битами. (В упр. 7 вы найдете дополнительную информацию об этой схеме; разумеется, для нее больше подходит аппаратная или микропрограммная, а не программная реализация.)

Как показал опыт, при отладке программ удобно использовать постоянную хеш-функцию h(K) = 0; так как все ключи будут храниться вместе; эффективная h(K) может быть введена позднее.

Разрешение коллизий методом цепочек. Мы уже говорили, что некоторые адреса могут порождаться несколькими ключами. Пожалуй, наиболее очевидный способ решения проблемы состоит в том, чтобы поддерживать M связанных списков, по одному на каждый возможный хеш-адрес. Все записи должны содержать поля LINK; кроме того, нужно иметь M головных узлов списков HEAD[i], где i меняется от 1 до M. После хеширования

ключа мы просто выполняем последовательный поиск в списке с номером h(K) + 1. (Ср. упр. 6.1-2. Ситуация аналогична сортировке вставками в несколько списков—программа 5.2.1M.) Рисунок 38 иллюстрирует этот простой метод цепочек при M = 9 для последовательности семи ключей

(так называются числа от 1 до 7 по-норвежски), имеющих соответственные хеш-коды

Первый список содержит два элемента, три списка пусты.

Метод цепочек является весьма быстрым, поскольку списки коротки. Если в одной комнате собрать 365 человек, то найдется много пар, имеющих один и тот же день рождения, но данный день рождения в среднем имеет лишь один человек! Вообще, если имеется N ключей и M списков, средний размер списка равен N=M; таким образом, хеширование уменьшает количество работы, требуемое на последовательный поиск, примерно в M раз. (Точная формула выведена в упр. 34.)

Этот метод представляет собой очевидную комбинацию обсуждавшихся ранее методов, поэтому нет нужды подробно описывать алгоритм для рассеянных таблиц с цепочками. Часто полезно содержать отдельные списки упорядоченными по ключам; это убыстряет вставки и неудачный поиск. Так, если делать списки возрастающими, на рис. 38 следовало бы поменять местами узлы TO и FIRE, а все пустые ссылки заменить на указатель на вспомогательную запись с 1 в качестве ключа (см. алгоритм 6.1T). Другим возможным подходом является использование понятия ”самоорганизующегося файла”, которое обсуждалось в x 6.1; вместо упорядочения по ключам происходит упорядочение по времени последнего обращения к записи.

В целях экономии времени желательны большие M, но в этом случае многие ссылки будут пустыми, так что большая часть пространства, отводимого под M головных узлов, потратится зря. Для небольших по размеру записей напрашивается другой подход: можно наложить пространство для записей на пространство для головных узлов, отводя в таблице место под M записей и M ссылок, а не под N записей и M + N ссылок. Иногда можно совершить один проход по данным и выяснить, какие головные узлы будут использоваться, вставляя на следующем проходе ”переполняющие” записи в свободные щели. Часто, однако, это нежелательно или невозможно; нам хотелось бы иметь метод, при котором каждая запись обрабатывается лишь один раз, при первом поступлении в систему. Следующий алгоритм, принадлежащий Ф. Уильямсу [CACM, 2, 6 (June 1959), 21–24], является общепринятым способом решения этой задачи.

Алгоритм C. (Поиск с вставкой по рассеянной таблице с цепочками.) Предлагаемый алгоритм позволяет отыскать в таблице из M элементов данный ключ K. Если K нет в таблице и она не полна, K вставляется в нее.