Дасгупты, Пападимитриу, Вазирани «Алгоритмы»

Посмотрим на последовательность более внимательно. Предположим, что мы обнаружили, что разные буквы встречаются с разной частотой:

буква количество

Нельзя ли это использовать и часто встречающиеся буквы кодировать покороче за счёт менее частых? Но если коды букв разной длины, то как провести границы? Скажем, если использовать кодовые слова f0, 01, 11, 001g, то можно раскодировать 001 двумя разными способами. Такого не случится, если код является беспрефиксным (prefix-free): никакое кодовое слово не является началом другого.

Кодовые слова (коды букв) беспрефиксного кода можно изобразить вершинами двоичного дерева; эти вершины будут листьями дерева (почему?), и соответствующее кодовое слово можно прочесть на пути из корня в этот лист (поворот налево означает 0, направо –– 1). На рисунке 5.10 показан пример такого кода для четырёх символов A, B, C, D. При расшифровке мы читаем последовательность битов, двигаясь по дереву сверху вниз (налево/направо при чтении нуля/единицы). Дойдя до листа, мы говорим себе, что нашли код очередного символа, печатаем этот символ и снова начинаем движение с корня. Тем самым декодирование по-прежнему однозначно, и есть шанс сэкономить: в нашем условном примере (с кодом рис. 5.10) вместо 260 мегабитов получается 213 мегабитов (на 17% лучше).

В этом примере каждая вершина дерева либо является листом, либо имеет двух соседей. Если это не так, то некоторые последовательности (когда мы сворачиваем в сторону, которой в дереве нет) дадут ошибку в расшифровке (при правильном кодировании такого не может получиться). Мы увидим, что в этом случае код –– не самый экономный.

Рис. 5.10. Дерево кодов. В квадратных скобках указаны частоты.

Как в общем случае найти оптимальное кодирующее дерево, зная частоты f1, f2, ‌, fn для кодируемых n символов? Мы хотим минимизировать

n

стоимость дерева = X fi (глубина i-го символа в дереве)

i=1

(число битов в кодовом слове равно его глубине в дереве). Под частотами можно понимать количество букв данного вида в кодируемом слове (или до- DRAFTлю таких букв, поделив всё на длину слова).

Удобно представлять себе стоимость немного иначе. Хотя нам заданы только частоты листьев, мы можем приписать частоту каждой внутренней вершине как сумму частот её листьев-потомков; другими словами, это количество проходов через эту внутреннюю вершину при кодировании и декодировании. Можно представлять себе дело так, что при кодировании мы идём по дереву и в каждой вершине (кроме корня) добавляем бит к коду. Отсюда видно, что минимизируемая нами

стоимость дерева –– это сумма частот всех листьев и внутренних вершин, за исключением корня.

Какими свойствами должен обладать оптимальный код? Посмотрим на самое длинное кодовое слово. Оно должно быть парным, то есть слово, которое отличается в последнем бите (соседний лист), тоже должно быть кодовым словом. Например, если мы какую-то букву кодируем как x0, а как x1 ничего не кодируем, то почему же мы не используем просто x? Ведь получится тоже беспрефиксный код, и будет короче. (Аналогично можно доказать, что в оптимальном коде любая вершина, не являющаяся листом, имеет двух детей, но это нам не понадобится.)

Итак, посмотрим на два рядом стоящих листа на нижнем уровне дерева. Они будут кодами каких-то двух символов. Если это не два самых редких символа, то можно поменять их местами с этими самыми редкими, и ничего не проиграть. Значит, без ограничения общности можно искать код, в котором

два символа i и j с наименьшими частотами стоят в соседних листьях на нижнем уровне.

Вспоминая, что стоимость есть число посещений всех листьев, будем считать отдельно заходы в эти два листа (где i и j). Таких заходов будет fi + fj . А остальные заходы соответствуют ситуации, когда мы объединили символы i и j в один, который встречается fi + fj раз, и в качестве кода ему был назначен общий родитель наших листьев. Наоборот, из любого кода для сокращённого алфавита (где i и j склеены) можно сделать код для исходного алфавита, дополнив код объединённого символа нулём и единицей (для i и j).

Отсюда следует, что годится такой (в каком-то смысле жадный) алгоритм: ищем два символа с наименьшими частотами (на рисунке f1 и f2), соединяем их в один и сводим задачу к меньшей того же типа.

Другими словами, мы выбрасываем f1 и f2 из списка частот, добавляем (f1 + f2) и заготавливаем развилку для нижнего уровня. Получается такой ал-

горитм, использующий очередь с приоритетами (с. 110). Он требует времени O(n log n), если применять двоичную кучу (раздел 4.5.2).

процедура Huffman(f )

{Вход: массив частот f [1‌n].}

{Выход: дерево кодирования с n листьями.}

для k от n + 1 до 2n 1: {нужно n 1 внутренних вершин} i DeleteMin(H)

j DeleteMin(H)

создать вершину с номером k и детьми i, j

f [k] f [i] + f [j]

Insert(H, k) с ключом f [k]

Посмотрите теперь на наш игрушечный пример: задаёт ли дерево рис. 5.10 оптимальный код или бывает ещё лучше?

5.3. Формулы Хорна

Мечты об искусственном интеллекте наводят на мысль, что полезно обучить компьютер обращению с логическими формулами. В этом разделе мы рассмотрим формулы из ограниченного класса, называемые формулами Хорна (Horn formulas).

Формулы строятся из булевых переменных (Boolean variable), которые могут принимать значения true (истина) или false (ложь). Переменные соответствуют каким-то утверждениям, типа «убийство произошло на кухне», «дворецкий невиновен» или «полковник спал в 8 вечера».

В формулы будут входить переменные и их отрицания; и те, и другие называют литералами (literal). Отрицание ¯x («не x») переменной x считается истинным, когда переменная x ложна. Формулы Хорна представляют собой конъюнкцию утверждений двух видов (о значениях переменных):

1. Импликации, левая часть которых –– это конъюнкция (логическое И) произвольного количества переменных, а правая часть –– одна переменная.

Энтропия

В трёх городах стоит по метеостанции, которая регистрирует дождь, снег или ясную погоду; вот данные по доле таких дней (из общего числа, скажем, в 200 дней):

DRAFTбитов на одно измерение. Эту величину называют энтропией Шеннона распределения p1, ‌, pn.

Где погода «разнообразнее»? Можно уточнить этот вопрос так: где метеостанции потребуется больше битов, если сжимать информацию о погоде в этом городе оптимальным беспрефиксным кодом? Информация о погоде в городе –– это слово длины 200 в четырёхбуквенном алфавите. Алгоритм Хаффмана даёт 290 битов для А, 380 битов для Б и 400 битов для В (где двухбитовый код оказывается оптимальным). В этом смысле погода

в А наиболее предсказуемая.

Говоря философски, последовательность событий тем более случайна

(непредсказуема), чем хуже она сжимается:

более сжимаемое менее случайное более предсказуемое.

Пусть есть n возможных исходов с вероятностями p1, p2, ‌, pn (в нашем примере n =4) и последовательность из m испытаний. При большом m число исходов типа i обычно близко к mpi ; предположим для простоты, что равенство точное, а также что все pi являются степенями двойки (то есть имеют вид 1=2k). По индукции можно доказать (упражнение 5.19), что код

Если вероятности не равны в точности степеням двойки, то код Хаффмана требует больше битов, чем говорит формула для энтропии (но можно приблизиться к этой оценке, если использовать более сложные коды, например, кодировать блоки из нескольких букв).

Для честной монеты (1=2, 1=2) энтропия равна 12 log2 2 + 12 log2 2 = 1, и тривиальное кодирование исходов нулём и единицей оптимально. Для

несимметричной монеты (3=4, 1=4) энтропия будет меньше: 3 log2 4 +

1 4 3

+ 4 log2 4 = 0,81. Код Хаффмана для двух исходов ничего не экономит, но

более сложные коды (скажем, применяемые в стандартных программах сжатия файлов) позволяют приблизиться к этой оценке.

См. также упражнения 5.18 и 5.19.

Они выражают утверждения вида «если все условия слева выполнены, то должно быть верно и условие справа». Например, формула вида

(z ^ w) ) u

может означать «если полковник спал в 8 вечера и убийство произошло в 8 вечера, то полковник невиновен». Вырожденный (но допустимый) вариант импликации –– импликация с пустой левой частью «) x», означающая просто, что x верно: «убийство точно произошло на кухне».

2. Полностью отрицательные дизъюнкты, состоящие из дизъюнкций (ло- DRAFTгическое ИЛИ) произвольного количества отрицаний, как в случае

(u¯ ¯v ¯y)

(«все не могут быть невиновными»).

Мы хотим определить по заданной формуле Хорна (то есть набору ограничений этих двух типов), существует ли непротиворечивое объяснение –– набор значений true/false переменных, который удовлетворяет всем ограничениям. Это также называется выполняющим набором значений (satisfying assignment).

Два вида ограничений «тянут» значения переменных в противоположные стороны: импликации требуют присвоить некоторым переменным true, а отрицательные дизъюнкты говорят, что им нужно присвоить false. Наш алгоритм будет таким: мы начинаем с присвоения значения false всем переменным. Затем мы присваиваем некоторым из них true, но очень неохотно (только если какая-то импликация нас к этому вынуждает). Когда все требования такого рода выполнены, мы переходим к отрицательным дизъюнктам и проверяем, что они все выполнены. Наш алгоритм получается не столько жадным, сколько недоверчивым: он полагает какую-то переменную истинной, лишь если его к этому вынудили.

{Вход: формула Хорна.} {Выход: выполняющий набор, если есть.}

присвоить значение false всем переменным

пока есть не выполненная импликация:

{слева все переменные истинны, а справа переменная ложна} присвоить переменной в правой части значение true

если все полностью отрицательные дизъюнкты выполнены: вернуть набор значений

иначе:

вернуть «формула не выполнима»

Например, пусть формула имеет вид

(w ^ y ^ z) ) x, (x ^ z) ) w, x ) y, ) x, (x ^ y) ) w, (¯w¯ ¯x ¯y), (¯z).

Мы начинаем со всех значений false и далее видим, что x должно быть true в силу импликации «) x». Потом мы замечаем, что y также должно быть true, так как x ) y, и так далее.

Почему этот алгоритм корректен? Если он возвращает набор значений, то все условия выполнены по построению. Так что надо лишь убедиться в том, что если алгоритм не находит выполняющего набора, то его действительно не существует. Это так, потому что благодаря недоверчивости алгоритма сохраняется следующий инвариант:

если для некоторого множества переменных установлено true, то они должны иметь значение true в любом выполняющем наборе значений.

DRAFTУдобно изобразить деревни вершинами графа, а рёбрами соединить те из них, между которыми расстояние не больше 30 км. Для каждой вершины x рассмотрим множество Sx из самой этой вершины и всех её соседей (деревень на расстоянии не больше 30 км). Вопрос в том, сколько множеств Sx нужно выбрать, чтобы покрыть все деревни.

Таким образом, если значения переменных после выхода из цикла не удовлетворяют какой-то отрицательной дизъюнкции, то выполняющего набора значений вообще не существует.

Формулы Хорна лежат в основе языка логического программирования Пролог; интерпретаторы Пролога работают на основе нашего жадного алгоритма. Кстати, этот алгоритм можно реализовать со временем, линейно за-

висящим от длины формулы. Ясно ли вам, как именно (упражнение 5.33)?

5.4. Покрытие множествами

Есть 11 деревень (рис. 5.11) с какими-то расстояниями между ними; в некоторых из них надо открыть (ну, или не закрыть при «оптимизации») школы; требуется, чтобы для каждой деревни была школа на расстоянии не больше 30 км. Какое минимальное число школ нужно?

Рис. 5.11. (a) Одиннадцать деревень. (b) Пары деревень, находящиеся на расстоянии не более 30 километров.

Таким образом, мы свели дело к общей задаче о покрытии множествами:

Вход: множество B и его подмножества S1, ‌, Sm B.

Выход: несколько множеств Si , которые вместе покрывают всё B. Стоимость: количество выбранных множеств.

Очевидное жадное решение:

пока все элементы B не покрыты:

взять множество Si с максимальным числом непокрытых элементов

Алгоритм понятный, хотя не оптимальный: в нашем примере он поместит школу в a (наибольшее число соседей). Останутся непокрытыми деревни c, j и f , и никакие две их них нельзя покрыть сразу, так что всего получается четыре. Однако существует решение только с тремя школами в b, e и i!

К счастью, этот алгоритм всегда даёт решение, не очень далёкое от оптимального:

Утверждение. Предположим, что B содержит n элементов и оптимальное покрытие состоит из k множеств. Тогда наш жадный алгоритм использует не более k ln n множеств.

В самом деле, обозначим через nt число элементов, которые не покрыты после t шагов нашего алгоритма (так что n0 = n). Оставшиеся элементы покрыты k оптимальными множествами. Значит, должно найтись множество, покрывающее хотя бы nt =k из оставшихся элементов. Следовательно,

nt+1 ¶ nt nkt = nt 1 1k ,

что при последовательном применении даёт nt ¶ n0(1 1=k)t . Знатоки математического анализа помнят неравенство

1 x ¶ e x для всех x,

в котором равенство достигается лишь при x = 0 (а не-знатоки могут поверить в него, глядя на картинку).

при t = k ln n число nt строго меньше ne = 1, а это означает, что больше никакие элементы покрывать не нужно.

Таким образом, показатель неэффективности (ошибка приближения) нашего алгоритма, то есть отношение стоимости найденного решения к оптимальному, не может превышать ln n. Это реальная ситуация: существуют входы, на которых отношение очень близко к ln n (упражнение 5.34).

Если этот простой алгоритм плох, нельзя ли найти лучший алгоритм (пусть более сложный, но с меньшей ошибкой)? На первый взгляд ничего невероятного в этом нет, но оказывается, что в некоторых предположениях из теории сложности (которые обычно принимают на веру –– это станет понятнее, когда мы дойдём до главы 8) можно доказать, что полиномиального алгоритма с меньшей ошибкой приближения не существует.

Упражнения

(a) Какова стоимость минимального покрывающего дерева?

(b) Сколько различных минимальных покрывающих деревьев у этого графа?

(c) Примените алгоритм Крускала. В каком порядке добавляются рёбра? Для каждого ребра укажите разрез, обосновывающий его добавление.

5.2. Пусть нам нужно найти минимальное покрывающее дерево для следующего графа.

(a) Примените алгоритм Прима к данному графу. Когда можно выбрать несколько вершин, используйте первую по алфавиту (в частности, запустите

(d)Если самое лёгкое ребро G уникально, то оно входит в любое минимальное покрывающее дерево.

(e)Если ребро e является частью некоторого минимального покрывающего дерева графа G, тогда оно является самым лёгким ребром, пересекающим некоторый разрез.

(f)Если в G есть цикл с уникальным самым лёгким ребром e, то e входит

влюбое MST.

(g)Дерево кратчайших путей, которое выдаёт алгоритм Дейкстры, является минимальным покрывающим деревом.

(h)Кратчайший путь между двумя вершинами является частью некоторого минимального покрывающего дерева.

(i)Алгоритм Прима корректен даже при наличии в графе рёбер отрицательного веса.

(j)Для r > 0 определим r-путь как путь, все рёбра которого имеют вес меньше r. Если в G есть r-путь из s в t, то любое минимальное покрывающее дерево графа G должно содержать r-путь из s в t.

5.10.Пусть T –– минимальное покрывающее дерево графа G, а H –– связный подграф G. Покажите, что T \ H является частью некоторого минимального покрывающего дерева графа H.

5.11.Проследите работу рассмотренной нами реализации системы непересекающихся множеств, начиная с f1g, ‌, f8g, для операций Union(1, 2),

Union(3, 4), Union(5, 6), Union(7, 8), Union(1, 4), Union(6, 7), Union(4, 5),

Find(1). Используйте сжатие путей. При объединении множеств с равными рангами представителей подвешивайте вершину с меньшим номером к вершине с большим´ номером.

5.12.Пусть в реализации системы непересекающихся множеств используется эвристика объединения по рангу, но не используется эвристика сжатия путей. Приведите последовательность из m операций Union и Find над множеством из n элементов, которая потребует времени (m log n).

5.13.Рассмотрим строку над алфавитом из четырёх символов A, C, G, T с частотами 31%, 20%, 9% и 40% соответственно. Каким будет код Хаффмана для этой строки?

5.14.Пусть частоты вхождения символов a, b, c, d, e в строку равны 1=2, 1=4, 1=8, 1=16, 1=16 соответственно.

(a)Каким будет код Хаффмана?

(b)Если использовать данный код для сжатия строки длины 1 000 000 с указанными выше частотами вхождения пяти символов, какова будет длина закодированной строки (в битах)?

5.15.Может ли код Хаффмана для трёхбуквенного алфавита оказаться таким (для каких-то частот):

(a)f0, 10, 11g;DRAFT