125 Кібербезпека / 4 Курс / 4.2_Управління інформаційною безпекою / Лiтература / V_P_Babak_A_A_Kliuchnykov-Teoreticheskye_osnovy_zashchity_informat

ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ЗАЩИТЫ ИНФОРМАЦИИ

Устанавливаются начальные значения вспомогательных сменных F 0, G 1. Принимается от ис-

510

Глава 7. Кодирование информации

но раньше, девяти разрядов достаточно для того, чтобы последовательность восстановить однозначно, т.е. ближайшая возможная точка, которая отвечает

другой последовательности сообщений, отдалена от F на расстояние не ме-

нее чем 1/29 .

Рис. 7.15. Графическая интерпретация арифметического кодирования

Некоторые аспекты практической реализации арифметического коди-

рования.Как вытекает из описания арифметического кодирования, в случае его практической реализации для кодирования последовательностей большой длины n возникают такие проблемы: арифметическое кодирование нуждается в большой (в границе бесконечной) точности вычислений, которая приводит к недопустимо высокой сложности реализации; для формирования кодового слова формально необходима вся последовательность сообщений, которая приводит к недопустимо большой задержке кодирования, которая равняется длине кодированной последовательности сообщений.

511

ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ЗАЩИТЫ ИНФОРМАЦИИ

512

Глава 7. Кодирование информации

Возвратимся к вопросу о вычислительной сложности. Сущность проблемы заключается в том, что все вычисления, как в кодере, так и в декодере выполняются с переменными, разрядность которых равняется длине закодированной последовательности сообщений.

Рассмотрим подробнее работу кодера арифметического кода при кодировании последовательности из предыдущего примера. Обратимся к табл. 7.5. Видим, что после 3-го шага кодирования значение F уже не станет меньше 0,5 и больше 0,75 независимо от того, какими будут следующие сообщения источника. Отсюда вытекает, что первые два символа числа F уже не изменятся и могут быть переданы по каналу. После этого можно выполнить нормирование F 2(F 0,5), G 2G и продолжить кодирование.

Точно такое же нормирование выполняет и декодер. Тем самым разрядность сменных сократится без потери в точности вычислений. Нетрудно сформулировать общее правило выполнения такого рода нормирования. Трудности возникают в том случае, когда двоичное представление F содержит серию единиц после нуля (число F близкое к 0,5, но меньше, чем 0,5), т.е. F 0,01111... . Неопределенность устраняется одним из двух способов. Или

появится нулевой разряд F 0,01111...10... , или состоится перенесение в одном из младших разрядов F 0,10000...0... . Если состояние неопреде-

513

ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ЗАЩИТЫ ИНФОРМАЦИИ

ленности будет длиться долго, то разрядности ячеек, используемых для хранения F и G, может оказаться недостаточно.

Выход из положения заключается в том, что кодер, соприкоснувшись с такой ситуацией, изменяет форму хранения числа F. Количество разрядов уменьшается за счет того, что в памяти сохраняется не сама серия единиц, а ее длина. В момент появления нуля на выход выдается последовательность вида 0111...1. Если же неопределенность завершилась перенесением, то на выход поступает 1000...0.

Аналогичные приемы применяются при реализации декодера. Кроме того, важно, что для вынесения решений относительно переданных символов не

нужна вся последовательность F , решения о сообщении можно выдать получателю, проанализировав часть кодовой последовательности. На примере 7.9 можно отследить, какой будет задержка принятия решений для каждого из пяти сообщений. Результаты вычисления приведены в табл. 7.7.

Таблица 7.7

Выяснилось, что в этом случае первый символ можно выдать получателю после получения из канала двух двоичных символов. По первым пяти символам можно вычислить три первых сообщения, а для однозначного восстановления всех пяти сообщений достаточно 8 бит. Последний 9-й бит в этом случае оказался неиспользованным.

Коды с памятью. По обыкновению рассматривают два типа кодов с памятью: блочные коды и блочные коды с конечной памятью.

Блочный код - это код, который разделяет вектор данных на блоки заданной длины и каждый указанный блок последовательно заменяет кодовым словом из префиксного множества двоичных слов. Образованную последовательность кодовых слов объединяют в результирующую двоичную строку на выходе кодера.

О блочном коде говорят, что он представляет собой блочный код k-го порядка, если все блоки имеют длину, равную k.

Пример 7.9. Сожмем вектор данных X (0,1, 1,0,1,0,0, 1,1,1,1, 0,0,1, 0,1), воспользовавшись блочным кодом 2-го порядка. Сначала разобьем

514

Глава 7. Кодирование информации

вектор X на блоки длиной 2:01, 10, 10, 01, 11, 10, 01, 01. Будем рассматривать эти блоки как элементы нового «гипералфавита» {01, 10, 10}. Чтобы

определить, какой код назначить этому или другому символу этого нового алфавита, определим вектор частот появлений элементов дополнительного алфавита в последовательности блоков. Получим вектор частот (4, 3, 1), т.е.

блок 01, что случается чаще всего - четыре раза, следующий за частотой появления блок 10 - он случается трижды, и блок 11, что случается наиболее реже - лишь один раз.

Оптимальный вектор Крафта для вектора частот (4, 3, 1) - это вектор (1, 2, 2). Таким образом, кодер для оптимального блочного кода 2- го порядка относительно заданного вектора данных X определяется табл. 7.8.

Заменяя каждый блок присвоенным ему кодовым словом из таблицы кодера, получаем последовательность кодовых слов: 0, 10, 10, 0, 11, 10, 0, 0.

Объединяя эти кодовые слова вместе, имеем исходную последовательность кодера:

B(X ) (0, 1, 0, 1, 0, 0, 1, 1, 1, 0, 0, 0).

Можно проверить, что энтропия H (X ) начального вектора X равна 0,9887 бит/букву, а степень сжатия, который получаем в результате использования блочного кода R(X ) 12/16 0,75 бит на выборку данных вышел

меньшим нижней границы энтропии.

Полученный результат, казалось бы, противоречит теореме Шеннона, которая утверждает, что невозможно достичь средней длины кода меньше, чем энтропия источника (см. гл. 5). Тем не менее, на самом деле такого разногласия нет. Если рассмотреть вектор данных X , то можно заметить закономерность: за символом 0 чаще всего идет 1, т.е. условная вероятность P(1/0) существенным образом большая, чем просто P(0). Итак, энтропию

этого источника нужно вычислять как энтропию сложного сообщения, а она, как известно, всегда меньшая, чем для источника простых сообщений.

Код с конечной памятью - это такой код, который при кодировании вектора данных (X1, X2 ,..., Xn ) использует кодовую книгу (словарь), кото-

рый состоит из нескольких разных кодов без памяти. Каждая выборка данных кодируется таким кодом без памяти из кодовой книги, который определяется значением некоторого количества предыдущих выборок данных.

515

ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ЗАЩИТЫ ИНФОРМАЦИИ

Кодер с памятью - это такой кодер, который при кодировании текущего символа учитывает значение предыдущего символа.

Таким образом, кодовое слово для текущего символа A будет разным в комбинациях RA, DA ³ CA (другими словами, код имеет память в один сим-

лось бы 33 бит.

Метод Зива - Лемпела. Практически все словарные методы кодирования принадлежат к алгоритмам, предложенным в работе двух израильских ученых Абрама Лемпела и Якоба Зива, опубликованной в 1977 г.

Суть указанных алгоритмов заключается в том, что фразы в тексте, который сжимается, заменяют показателем в том месте, где они в этом тексте уже раньше появлялись.

Эту семью алгоритмов называют методом Зива - Лемпела и обозначают как LZ-сжатие. Этот метод быстро приспосабливается к структуре текста и дает возможность кодировать короткие функциональные слова, поскольку они очень часто в нем появляются. Новые слова и фразы могут также формироваться из частей слова, которые раньше случались.

Декодирование сжатого текста осуществляется непосредственно - происходит простая замена показателя готовой фразой со словаря, на которую тот указывает. На практике LZ-метод дает результативное сжатие, его важным свойством является быстрая работа декодера. (Когда мы говорим о тексте, то допускаем, что кодированию подвергается некоторый вектор данных с конечным дискретным алфавитом, причем это не обязательно текст в буквальном понимании этого слова.)

Большинство словарных методов кодирования названо в честь авторов идеи метода Зива и Лемпела, и часто считают, что все методы используют

516

Глава 7. Кодирование информации

один и тот же самый алгоритм кодирования. На самом деле разные представители этой семьи алгоритмов отличаются в деталях работы.

Словарные методы кодирования можно разбить на две группы.

1. Методы первой группы - находя в кодированной последовательности цепочки символов, которые раньше уже встречались, вместо того, чтобы повторять эти цепочки, заменяют их показателями на предыдущие повторения.

Словарь в этой группе алгоритмов в неявном виде содержится в обрабатываемых данных, а сохраняются лишь показатели на цепочки символов, которые повторяются.

Все методы этой группы базируются на алгоритме, разработанным Лемпелем и Зивом, который получил название LZ77. Наиболее совершенным представителем этой группы, которая воплощает в себе все соответствующие научные достижения, есть алгоритм, опубликованный в 1982 г. Сторером и Шиманским и известный как LZSS.

Процедуру такого кодирования иллюстрирует рис. 7.16.

Рис. 7.16. Процедура кодирования соответственно алгоритмам первой группы

2. Методы второй группы - в дополнение к начальному словарю источника создают словарь фраз, которые являются повторными комбинациями символов начального словаря, которые встречаются во входных данных.

При этом размер словаря источника возрастает и для его кодирования понадобится большее количество бит, но значительную часть этого словаря будут представлять уже не отдельные буквы, а целые слова. Когда кодер обнаруживает фразу, которая раньше уже встречалась, он заменяет ее индексом словаря, который содержит эту фразу. При этом длина кода индекса выходит намного меньшей чем длина кода фразы.

517

ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ЗАЩИТЫ ИНФОРМАЦИИ

Все методы этой группы базируются на алгоритме, разработанным и опубликованным Лемпелем и Зивом в 1978 г., - LZ78. Наиболее совершенным на данный момент представителем этой группы словарных методов есть алгоритм LZW, разработанный 1984 года Тери Велчем.

Идею алгоритмов этой группы делает наглядным рис. 7.17.

000

110

Рис. 7.17. Процедура кодирования соответственно алгоритмам второй группы

Принцип работы алгоритмов второй группы объяснить намного проще, чем принцип алгоритмов первой группы, поэтому начнем рассмотрение принципа действия LZ-кодеров из алгоритма LZW.

Процесс сжатия приобретает довольно простой вид. Последовательно прочитываем символы входного потока (строка) и проверяем, есть ли в уже созданной таблице такая строка. Если строка есть, то считываем следующий символ, а если такой строки нет, ставим в исходный поток код для предыдущего найденного ряда, заносим его в таблицу и начинаем поиск снова.

LZW-декодер, обрабатывая входной поток закодированных данных, возобновляет из него начальные данные. Равно как и алгоритм сжатия, декодер прибавляет красные строки к словарю каждый раз, когда находит во входном потоке новый код. Все, что ему остается сделать, - это превратить входной код в исходную строку символов и отдать его на выход кодера.

Преимуществом этого способа сжатия есть то, что весь словарь новых символов передается декодеру собственно без передачи. В конце процесса декодирования декодер имеет такой же словарь новых символов, какой в

518

Глава 7. Кодирование информации

процессе кодирования был накоплен кодером, при этом его создание было частью процесса декодирования.

519