Дональд Кнут. Искусство программирования. т.3 / knuth3

Original pages: 601-650 321

Элементы таблицы обозначаются через TABLE[i], 0 i M, и могут быть двух различных типов: свободный и занятый. Занятый узел содержит ключевое поле KEY[i], поле ссылки LINK[i] и, возможно, другие поля.

Алгоритм использует хеш-функцию h(K). Для облегчения поиска свободного пространства используется вспомогательная переменная R; если таблица пуста, R = M +1; по мере проведения вставок будет оставаться в силе утверждение, что узлы TABLE[j]заняты для всех j в диапазоне R j M. Условимся, что узел TABLE[0] всегда будет свободен.

[См., например, рис. 40, где SEKS попадает в список, содержащий TO и FIRE, так как последний ключ уже был вставлен в позицию 9.]

Чтобы сравнить данный и другие алгоритмы этой главы, напишем следующую программу для MIX (при составлении программы учитывалось, что списки, как правило, будут короткими).

Программа C. (Поиск с вставкой по рассеянной таблице с цепочками.) Для удобства будем считать, что ключи состоят из трех байтов, а узлы имеют следующий формат:

В качестве размера таблицы M берется простое число; TABLE[i] хранится по адресу TABLE + i; rI1 i, rA K.

Время работы этой программы определяют следующие параметры:

C = число элементов таблицы, исследуемых во время поиска; A = 1, если первый испробованный узел оказался занятым; S = 1 при удачном поиске, 0 при неудачном;

T = число элементов таблицы, просматриваемых в процессе поиска свободного пространства.

Здесь S = S1+S2, где S1 = 1, если первая проба была удачной. Суммарное время работы фазы поиска программы C равно (7C+4A+17−3S+2S1)u, вставка нового ключа при S = 0требует дополнительного времени (8A + 4T + 4)u.

Таким образом, если таблица заполнена наполовину, среднее число проб, производимых во время неудачного поиска, приближенно равно 14(e + 2) 1:18; даже если таблица заполняется полностью, среднее число проб при вставке последнего элемента доставляет лишь около 14(e2 + 1) 2:10. Как доказывается в упр. 40, среднеквадратичное отклонение также мало. Эти выкладки показывают, что при случайной функции хеширования списки остаются короткими, несмотря на возможность срастаний. Разумеется, C может стать равным N, если хеш-функция плоха или если нам здорово не повезло.

Для удачного поиска A всегда равно 1. Среднее число проб можно вычислить, просуммировав величины C + A по первым N неудачным поискам и поделив на N. Предполагается, что все ключи равновероятны. Имеем

Даже в случае заполненной таблицы в среднем для нахождения элемента понадобится лишь около 1:80 пробы! Аналогично (см. упр. 42) среднее значение S1 оказывается равным

На первый взгляд шаг C5 может показаться неэффективным, так как в нем поиск свободной позиции производится последовательно. Но в действительности в процессе заполнения таблицы суммарное число проб в шаге C5 не превышает количества элементов в таблице; значит, в среднем на каждую вставку тратится не более одной такой пробы! В упр. 41 доказывается, что для случайного неудачного поиска T e .

Можно было бы избежать срастания списков, соответствующим образом модифицировав алгоритм C, но тогда пришлось бы прибегнуть к перемещению записей. Рассмотрим, например, что происходит при попытке вставить SEKS в позицию 9 (см. рис. 40). Чтобы списки оставались раздельными, нужно переместить FIRE; при этом необходимо найти узел, содержащий ссылку на FIRE. Для решения этой задачи можно, как предложил Аллен Ньюэлл в 1962 г., вместо двухсвязевых использовать

Original pages: 601-650 323

кольцевые списки, так как в каждом списке немного элементов. Однако это, вероятно, замедлит главный цикл поиска, поскольку шаг C4 становится сложнее. В упр. 34 показано, что в случае непересекающихся списков среднее число проб уменьшается до

Вряд ли стоит ради такого улучшения изменять алгоритм.

С другой стороны, Батлер Лэмпсон заметил, что большая часть пространства, в действительности занятого ссылками, может быть сэкономлена в методе цепочек, если избавиться от срастания списков. Это приводит к интересному алгоритму, обсуждающемуся в упр. 13.

Заметим, что метод цепочек можно использовать и при N > M, так что переполнение не представляет серьезной проблемы. Если используются раздельные списки, формулы (18) и (19) справедливы для > 1. Когда же списки срастаются, как в алгоритме C, можно помещать переполняющие элементы во вспомогательный пул памяти. Как доказал Л. Гюиба, в этом случае среднее число проб при вставке (M + L + 1)-го элемента составляет L=2M + 14 ((1 + 2=M)M − 1) + 12.

Разрешение коллизий ”открытой адресацией”. Другой способ решения проблемы коллизий состоит в том, чтобы полностью отказаться от ссылок и просто просматривать один за другим различные элементы таблицы, пока не будут найдены ключ K или свободная позиция. Не плохо было бы иметь правило, согласно которому каждый ключ K определяет последовательность проб, т. е. последовательность позиций в таблице, которые нужно просматривать всякий раз при вставке или поиске K. Если мы, используя определяемую K последовательность проб, натолкнемся на свободную позицию, то можно сделать вывод, что K нет в таблице, так как та же последовательность проб выполняется каждый раз при обработке данного ключа. Этот общий класс методов У. Петерсон назвал открытой адресацией [IBM J. Research & Development, 1 (1957), 130–146].

Простейшая схема открытой адресации, известная как линейное опробование, использует циклическую последовательность

и описывается следующим образом.

Алгоритм L. (Поиск с вставкой по открытой рассеянной таблице.) Алгоритм позволяет разыскать данный ключ K в таблице из M узлов. Если K нет в таблице и она не полна, ключ K вставляется.

Узлы таблицы обозначаются через TABLE[i], 0 i < M, и принадлежат двум различным типам узлов—свободных и занятых. Занятый узел содержит ключ KEY[i] и, возможно, другие поля. Значение вспомогательной переменной N равно числу занятых узлов; эта переменная рассматривается как часть таблицы, и при вставке нового ключа ее значение увеличивается на 1.

Данный алгоритм использует хеш-функцию h(K) и линейную последовательность проб (20) для адресации. Модификации этой последовательности обсуждаются ниже.

На рис. 41 показано, что происходит при вставке с помощью алгоритма L семи ”норвежских” ключей (11), имеющих коды хеширования 2, 7, 1, 8, 2, 8, 1 соответственно. Последние три ключа— FEM, SEKS и SYV—смещены по сравнению со своими начальными адресами h(K).

Программа L. (Поиск с вставкой по открытой рассеянной таблице.) Программа работает с ключами, занимающими полное слово; однако нулевой ключ использовать нельзя, так как нуль обозначает

324Original pages: 601-650

свободную позицию в таблице. (Другая возможность состоит в том, чтобы наложить условие неотрицательности ключей, а в свободные позиции записать −1.) Предполагается, что размер таблицы M— простое число и что узел TABLE[i] имеет адрес TABLE + i, 0 i < M. Для ускорения внутреннего цикла

вячейку TABLE − 1 помещен 0. Ячейка VACANCIES содержит значение M − 1 − N; rA K, rI1 i. Также для ускорения внутреннего цикла программы из него вынесена проверка ”i < 0”, так что

внем остались лишь существенные части шагов L2 и L3. Поисковая фаза длится (7C +9E +21−4S)u, а вставка после неудачного поиска требует дополнительно 9u.

Как и в программе C, по переменной C мы судим о количестве проб, по переменной S—был ли поиск удачным. Переменной E можно пренебречь, так как она равна 1, лишь если производилась проба фиктивного узла TABLE[−1]; ее среднее значение равно (C − 1)=M.

Эксперименты с линейным опробованием показывают, что этот метод работает прекрасно, пока таблица не слишком заполнена, но в конце концов процесс замедляется, длинные серии проб становятся все более частыми. Причину такого поведения можно понять, рассмотрев следующую гипотетическую рассеянную таблицу (M = 19, N = 9):

Заштрихованные квадраты обозначают занятые позиции. Ключ K, который должен быть вставлен в таблицу следующим, попадет в одну из десяти свободных позиций, но не с равными вероятностями. В самом деле, K будет вставлен в позицию 11, если 11 h(K) 15, а в позицию 8 он попадет лишь при h(K) = 8. Следовательно, вероятность попасть в позицию 11 в пять раз больше, чем в позицию 8; длинные списки стремятся стать ещё длиннее.

Но это явление само по себе не объясняет относительно плохого поведения линейного опробования, так как аналогичный факт справедлив и для алгоритма C. (Рост списка из четырех элементов вчетверо вероятнее роста списка из одного элемента.) Настоящие трудности возникают при вставке в ячейку вроде 4 или 16 (см. (21)); два различных списка объединяются. Заметим, что в алгоритме C списки удлиняются не более чем на один элемент. Следовательно, характеристики линейного опробования резко ухудшаются, когда N приближается к M.

Далее в этом параграфе мы докажем, что среднее число проб, производимых алгоритмом L, приближенно равно

где = N=M есть коэффициент заполнения таблицы. Так что, если таблица заполнена меньше чем на 75%, программа L работает почти так же быстро, как и программа C, хотя последняя и работает

Original pages: 601-650 325

с неправдоподобно короткими ключами. С другой стороны, когда приближается к 1, лучшее, что можно сказать о программе L, это то, что она работает медленно, но верно.

В самом деле, если N = M − 1, в таблице имеется лишь одно вакантное место, поэтому среднее

число проб для неудачного поиска равно (M +1)=2; мы докажем, что среднее число проб для удачного p

поиска в заполненной таблице приближенно равно M=8.

Явление скучивания, которое делает линейное опробование дорогостоящим в случае почти заполненных таблиц, усугубляется при использовании хеширования делением, если вполне вероятна появление последовательных значений ключей fK; K + 1; K +2; : : : g, так как эти ключи будут иметь последовательные хеш-коды. Хеширование умножением рассеет такие группы достаточно хорошо.

Другой способ разрешения проблемы последовательных кодов хеширования состоит в том, чтобы в шаге L3 вместо i i − 1 установить i i − c. Годится любая положительная величина c, взаимно простая с M, так как мы проверим все позиции таблицы. Это изменение сделает программу L несколько медленнее и не разрешит проблемы скучивания, так как по-прежнему будут образовываться группы записей, удаленных друг от друга на c; формулы (22) и (23) останутся в силе. Правда, теперь появление последовательных ключей fK; K + 1; K + 2; : : :g из помехи превратится в помощь.

Хотя фиксированное значение c не устраняет скучивания, можно существенно улучшить ситуацию, если сделать c зависящим от K. Эта идея приводит к важному изменению алгоритма L, которое впервые открыл Гюи де Бальбин [докторская диссертация, Calif. Inst. of Technology (1968), 149–150].

Алгоритм D. (Открытая адресация с двойным хешированием.) Этот алгоритм почти совпадает с алгоритмом L, но использует несколько иную последовательность проб, вычисляя две хеш-функции h1(K)и h2(K). Как обычно, h1(K)порождает величины от 0 до M −1включительно; но значения h2(K)

Для вычисления h2(K) было предложено несколько способов: Если M—простое число и h1(K) = K mod M, можно положить h2(K) = 1 + (K mod (M − 1)); но так как M − 1 четно, было бы лучше положить h2(K) = 1+(K mod (M −2)). Это наводит на мысль о таком выборе M, чтобы M и M −2 были простыми числами-близнецами, например 1021 и 1019. Можно взятьh2(K) = 1+(bK=Mc mod (M−2)), ибо частное bK=Mc можно получить в регистре как побочный продукт вычисления h1(K).

Если M = 2m и используется хеширование умножением, h2(K) можно получить, производя сдвиг еще на m битов влево и выполняя операцию ”или” с 1, так что к последовательности команд (5) нужно добавить

Это быстрее метода деления.

В каждом из предложенных выше методов h1(K)и h2(K)являются ”независимыми” в том смысле, что на различных ключах значения обеих функций h1 и h2 совпадают с вероятностью O(1=M2), а не с вероятностью O(1=M). Эмпирические проверки показывают, что число проб в алгоритме D при независимых хеш-функциях, в сущности, не отличимо от числа проб, которое потребовалось, если бы ключи вставлялись в таблицу случайно; ”окучивания”, имеющего место в алгоритме L, здесь практически нет.

Можно также допустить зависимость h2(K) от h1(K) (как предложил в 1968 г. Г. Кнотт); например, если M—простое число, положим

Этот метод быстрее повторного деления, но он все же приводит к вторичному окучиванию, требуя несколько больше проб из-за увеличения вероятности того, что два или более ключей последуют одним

Original pages: 601-650 327

(См. упр. 44.) Заметим, что, когда таблица заполняется, т. е. когда N стремится к M, значение CN приближается к HM+1 −1, а CN0 —к HM+1 − 12; это много лучше, чем в случае алгоритма L, но не столь хорошо, как в методах цепочек.

Поскольку в алгоритме L пробы занимают несколько меньше времени, двойное хеширование предпочтительно лишь при заполненной таблице. На рис. 42 сравниваются средние времена работы программ L, D и модифицированной программы D (причем эта модификация влечет за собой вторичное скучивание): мы заменяем довольно медленное вычисление h2(K) в строках 10–13 на три команды

В данном случае вторичное скучивание лучше независимого повторного хеширования.

На двоичной ЭВМ мы могли бы иным способом ускорить вычисление h2(K), заменив строки 10– 13, скажем, на

если M—простое число, большее 512. Эта идея, предложенная Беллом и Кама [CACM, 13 (1970), 675–677], независимо придумавшими алгоритм D, позволяет избежать вторичного скучивания без затрат на повторное деление.

Было предложено много других последовательностей проб в качестве улучшений алгоритма L, но, по-видимому, ни одна из них не лучше алгоритма D. (Быть может, исключение составляет метод, описанный в упр. 20.)

Picture: Рис. 43. Сколько раз компилятор ищет имена переменных в типичном случае. Имена выписаны слева направо в порядке их первого появления.

Изменение, предложенное Брентом. Ричард Брент нашел такой способ изменения алгоритма D, чтобы среднее время удачного поиска оставалось ограниченным по мере заполнения таблицы. Его метод основан на том факте, что во многих приложениях удачный поиск производится гораздо чаще вставок; поэтому он предлагает делать больше работы при вставке элемента, перемещая записи, чтобы уменьшить ожидаемое время выборки. [CACM, 16 (1973), 105–109.]

Например, на рис. 43 показано, сколько раз тот или иной идентификатор встречался в типичной процедуре на PL/1. Судя по этим данным, компилятор с PL/1, использующий рассеянную таблицу для хранения имен переменных, будет искать многие имена пять или более раз, а вставлять их лишь однажды. Аналогично Белл и Кама обнаружили, что компилятор с Кобола использовал свой алгоритм таблиц символов 10988 раз во время компиляции программы и совершил лишь 735 вставок, т. е. на один неудачный поиск приходилось примерно 14 удачных. Иногда таблица создается только один раз (например, таблица символических кодов операций в автокоде) и используется после этого исключительно для выборки.

Брент предложил следующим образом изменить процесс вставки в алгоритме D. Предположим, что при неудачном поиске были опробованы ячейки

p0; p1; : : :; pt−1; pt;

где pj = (h1(K) − jh2(K)) mod M и узел TABLE[pt] пуст. Если t 1, мы, как обычно, вставляем K в позицию pt, но если t 2, вычисляем c0 = h2(K0), где K0 = KEY[p0], и смотрим, свободно ли в TABLE[(p0 − c0) mod M]. Если условие выполнено, помещаем в данный узел содержимое ячейки TABLE[p0] и вставляем K в позицию p0. Это увеличивает время выборки K0 на один шаг, но уменьшает время выборки K на t 2 шагов. Выигрыш налицо. Аналогично, если в TABLE[(p0 − c0) mod M] занято и t 3, мы пробуем ячейку TABLE[(p0 − 2c0) mod M]; если и там занято, вычисляем c1 = h2(KEY[p1]) и пробуем TABLE[(p1 − c1) mod M] и т. д. Вообще, пусть cj = h2(KEY[pj]) и pj;k = (pj − kcj) mod M; если позиции TABLE[pj;k] оказались занятыми при всех j; k, таких, что j +k < r, и если t r +1, просматриваем узлы TABLE[p0;r], TABLE[p1;r−1], : : : , TABLE[pr−1;1]. Если первой свободной оказалась позиция pj;r−j, устанавливаем TABLE[pj;r−j] TABLE[pj] и вставляем K в позицию pj.

Как явствует из анализа Брента, среднее число проб в процессе удачного поиска уменьшилось (см. рис. 44) и его максимальное значение приближенно равно 2:49.

328 Original pages: 601-650

Число t + 1 проб при неудачном поиске в результате предложенного изменения не уменьшилось; оно осталось на уровне, указанном формулой (26), и достигает (M + 1)=2 для заполненной таблицы.

Удаления. Многие программисты свято верят в алгоритмы и очень удивляются, обнаружив, что

очевидный способ удаления записей из рассеянной таблицы не работает. Например, при попытке удалить ключ EN (см. рис. 41) нельзя просто пометить эту позицию в таблице как свободную, ибо другой ключ FEM внезапно окажется потерянным! (Вспомним, что EN и FEM имеют одинаковые хеш-коды. При поиске FEM мы наткнемся на свободный узел, что свидетельствует о том, что поиск неудачен.) Аналогичное соображение справедливо для алгоритма C, в котором имеет место срастание списков; представьте себе удаление ключей TO и FIRE (см. рис. 40).

Вообще говоря, можно производить удаления, помещая в соответствующую ячейку специальное значение, т. е. имея три типа позиций в таблице: свободные, занятые и удаленные. При поиске ключа удаленные позиции нужно трактовать как занятые. В случае неудачного поиска ключ можно вставить в первую встреченную удаленную или свободную позицию.

Однако эта идея применима только при очень редких удалениях, потому что однажды занятая позиция не может снова стать свободной. После длинной последовательности вставок и удалений все свободное пространство в конце концов исчезнет и каждый неудачный поиск будет требовать M проб! Кроме того, пробы потребуют больше времени, так как в шаге D4 необходимо проверять, не вернулось ли i к своему начальному значению, а число проб при удачном поиске возрастет с CN до CN0 . Если используется линейное опробование (т. е. алгоритм L), можно действовать рациональнее, при условии что мы согласны потратить некоторые дополнительные усилия на удаления.

Алгоритм R. (Удаление при линейном опробовании.) Настоящий алгоритм удаляет запись из данной позиции TABLE[i] открытой рассеянной таблицы, построенной с помощью алгоритма L.

В упр. 22 показано, что этот алгоритм не вызывает ухудшения характеристик, т.е. среднее число проб, предсказанное формулами (22) и (23), остается прежним. (Более слабый результат для удаления из дерева был доказан в теореме 6.2.2H.) Однако справедливость алгоритма R сильно зависит от того факта, что используется линейное опробование; в случае алгоритма D не существует аналогичной процедуры удаления.

Разумеется, если используется метод цепочек и для каждого хеш-кода имеется отдельный список, удаление не является проблемой, так как сводится просто к удалению из связанного линейного списка. Удаления для алгоритма C обсуждаются в упр. 23.

*Анализ алгоритмов. При хешировании мы полагаемся на вероятностные законы, поэтому особенно важно знать поведение методов хеширования в среднем. Наихудший случай в этих алгоритмах почти немыслимо плох, так что нам необходима уверенность в том, что поведение в среднем является очень хорошим.

Прежде чем приступить к анализу линейного опробования и т. п., рассмотрим весьма приближенную модель данной ситуации, которую можно назвать равномерным хешированием (ср. с W. W. Peterson, IBM J. Research & Development, 1 (1957), 135–136). В данной модели предполагается, что ключи

или вторичного окучивания; в сущности, предполагается, что занятость любой ячейки не зависит от. занятости других. Для рассматриваемой модели вероятность того, что для вставки(N +1)-го элемента

Original pages: 601-650 329

следовательно, среднее число проб для равномерного хеширования составляет

(Мы уже решали, в сущности, ту же задачу, возникающую в связи со случайной выборкой; упр. 3.4.2- 5.) Полагая = N=M, точную формулу для CN0 можно приближенно заменить на

Этому ряду можно дать грубую интуитивную интерпретацию: с вероятностью нужна более чем одна проба, с вероятностью 2—более чем две и т. д. Соответствующее среднее число проб при удачном поиске равно

Как отмечалось выше, многочисленные тесты показали, что алгоритм D с двумя независимыми хешфункциями ведет себя, по существу, как равномерное хеширование, и для всех практических нужд можно использовать формулы (32)–(34). На самом деле Л. Гюиба и Э. Семереди удалось доказать трудную теорему о том, что двойное хеширование асимптотически (при M ! 1) эквивалентно равномерному [будет опубликовано].

На этом анализ равномерного хеширования завершается. Чтобы изучать линейное опробование и другие способы разрешения коллизии, нужно строить теорию иным, более реалистическим способом. В вероятностной модели, которую мы будем использовать для этой цели, предполагается, что все MN возможных хеш-последовательностей

a1 a2 : : : aN; 0 aj < M; (35)

равновероятны. Здесь aj обозначает первоначальный хеш-адрес ключа, вставленного в таблицу в позицию j, Как и выше, среднее число проб в случае удачного поиска при любом данном алгоритме обозначим через CN. Это есть среднее число проб, нужных для нахождения k-го ключа, усредненное по 1 k N при равновероятных ключах и по всем хеш-последовательностям (35), которые также считаются равновероятными. Аналогично, среднее число проб, необходимых для вставки N-го клю-

k<N

так что, зная одну величину, можно получить другую, как было сделано в (34).

Строго говоря, даже эта более правильная модель имеет два недостатка. Во-первых, не все хешпоследовательности равновероятны, потому что сами ключи являются различными. Это делает вероятность равенства a1 = a2 несколько меньшей, чем 1=M, однако разностью обычно можно пренебречь, так как количество всех возможных ключей в типичном случае много больше M. (См. упр. 24.) Далее, хорошая хеш-функция будет использовать неслучайность обычных данных, делая равенство a1 = a2 еще менее вероятным; в результате наши оценки числа проб будут пессимистическими. Другая неточность данной модели указана на рис. 43: ключи, появившиеся ранее (за некоторыми исключениями),

330Original pages: 601-650

разыскиваются чаще. Следовательно, наши оценки CN будут вдвойне пессимистическими, а алгоритмы на практике должны работать несколько лучше, чем предсказывает наш анализ.

После этой преамбулы мы готовы выполнить ”точный” анализ линейного опробования8. Через f(M; N) обозначим число хеш-последовательностей (35), таких, что позиция 0 таблицы будет свободна после вставки ключей с помощью алгоритма L. Из круговой симметрии линейного опробования следует, что позиция 0 свободна с той же вероятностью, что и любая другая позиция, т. е. с вероятностью 1 − N=M; иными словами,

По определению полагаем f(0; 0) = 1. Через g(M; N; k)обозначим число хеш-последовательностей (35), таких, что алгоритм оставляет позицию 0 свободной, позиции с 1 по k занятыми, а позицию k + 1

ибо все такие последовательности состоят из двух подпоследовательностей. Одна (содержащая k элементов ai k) оставляет позицию 0 свободной и позиции с 1 по k занятыми, а другая (содержащая

N− k элементов aj k + 1) оставляет позицию k + 1 свободной. Существует f(k + 1; k) последова-

тельностей первого типа и f(M − k − 1; N − k) второго и Nk способов смешать две такие подпосле-

довательности. Наконец, положим Pk равным вероятности того, что при вставке (N + 1)-го элемента понадобится ровно (k + 1) проб; можно показать (см. упр. 25), что

Доказательство. Подробные вычисления проведены в упр. 27.

Появляющаяся в теореме функция Qr(M; N) выглядит не очень изящно, но в действительности

8 Здесь автор не может удержаться от биографического замечания. Впервые предлагаемый вывод был сформулирован мною в 1962 г., вскоре после начала работы над ”Искусством программирования для ЭВМ”. Мой первый успешный анализ нетривиального алгоритма оказал сильное влияние на структуру этих книг. Мог ли я думать, что пройдет более десяти лет, прежде чем этот вывод попадет в печать!