Энтропийное кодирование сообщений

ns 1 0,5 6 0,125 3 4 0,0625 2 5 0,03125 0,5 0,75 0,75 0,3125 2,3125 .

С учѐтом полученного значения ns и полученного числа бит кода в каждом

слове (таблица 2) оценим также величину дисперсии для второго варианта кодирования.

2 0,03125 (5 2,3125)2 1.9148.

По величинам среднего числа бит на сообщение и дисперсии второй вариант кодирования, как и ожидалось, имеет преимущество перед первым.

Используют также для сравнения параметр эффективности кода, который определяется отношением энтропии H данного, например, реального источника сообщений, при фиксированном их числе, к среднему числу бит на одно

Если относительные частоты сообщений неизвестны, то на передающей и приѐмной сторонах они могут параллельно определяться и уточняться путѐм, например, установленной процедуры контроля текущих изменений характеристик передаваемых сообщений и адаптивной перестройки структуры дерева кодирования. При этом процедура упорядочивания сообщений в порядке убывания их вероятностей и соответствующая перестройка структуры дерева реализуется соответственно в текущем режиме, по ходу уточнения относительных частот алфавита сообщений. Структура дерева изменяется слева направо и при необходимости и по уровням, т.е. снизу вверх. Изменения параллельно реализуют и на приѐмной и на передающей стороне.

2 .3. Избыточность кодирования по Хаффману

Недостатком кодирования Хаффмана считается избыточность кодирования, которая обусловлена использованием целого числа бит в каждом из выбранных для сообщений слов кода. Однако возможность использования целого числа бит на символ при кодировании по Хаффману не даѐт избыточности только в случае,

является целым числом. В противном случае степень сжатия существенно падает, как было показано в предшествующем разделе, из-за неэффективного

Соответственно при посимвольном кодировании получим величину 1 бит/ сообщение, так как дробное количество бит/ сообщение в данном случае не используется. Таким образом, при кодировании по Хаффмана обычно не удаѐтся реализовать полное устранение избыточности.

В связи с этим продолжается активный поиск более эффективных методов статистического кодирования для различного типа сообщений. Важно в данном случае не только увеличить степень подавления избыточности, но и минимизировать объѐм необходимых для выполнения кодирования вычислений. Одним из предложенных вариантов кодирования, обеспечивающим более жесткое устранении избыточности, является арифметическое кодирование.

3. Арифметическое кодирование

3.1.Особенности арифметического кодирования

Особенностью арифметического кодирования со сжатием объѐма передаваемых бит, отражающих заданною последовательность исходных сообщений, является относительно жѐсткое сопряжение процедуры кодирования с вероятностями появления сообщений конкретного алфавита. Для данного варианта характерно присвоение кода не отдельным символам, отражающим появление сообщений в источнике, а их, ансамблю (файлу), имеющему определѐнное, например, число (объѐм) сообщений.

Арифметическое кодирование может выполняться в два этапа. На первом этапе (проходе файла) оценивают относительные частоты сообщений в передаваемом файле, а на втором осуществляют собственно кодирование. Если же относительные частоты для данного файла известны, то арифметическое кодирование осуществляют с их использованием. При кодировании поступающие символы многократно отражаются, согласно всей совокупности относительных частот данного алфавита сообщений, в виде модифицируемого (приходом каждого символа, которому соответствует определѐнная относительная частота) числа в интервалы позиционировании, идентифицирующие порядок их появления.

Исходный интервал (позиционирования всей совокупности относительных частот данного алфавита сообщений) 0,1 до начала кодирования имеет

границы gn0 =0 и gv0 =1(нижнюю и верхнюю).

3.2. Реализация арифметического кодирования на передающей стороне

Первоначально этот интервал делится на локальные интервалы, отражающие “ вес ” относительной частоты каждого из сообщений алфавита. В упорядоченной таблице 3 показаны число, частоты, относительные частоты (вероятности) символов сообщений алфавита и выбранное распределение границ интервалов их локализации.

12

Будем считать, что кодируемым ансамблем сообщений является

последовательность s1s1s1s2 s3 s1s4 s1s1s2 .

Первый (j=1) такт процесса кодирования определяется появлением первого ( i=1) сообщения si = s1 , которое фиксирует значения верхней и нижней границ

интервала, которые на первом этапе кодирования указанного символа

число C, оставаясь в пределах этого интервала, изменяется. Распределим в пределах данного интервала граничные значения сообщений в соответствии с

сообщения в алфавите, m- индекс модификации ), модифицированное в

модификацию распределения границ интервала локализации кодирующего

=0,216. Можно заметить, что модифицированные нижняя и верхняя границы позиционирования кодирующего числа для каждого следующего такта кодирования (с учѐтом таблицы 3)определяются по формулам:

13

Соответственно с приходом четвѐртого сообщения s2 получаем, согласно данным

предшествующего этапа и таблицы 3, следующую версию параметров интервала, в котором позиционировано число, кодирующее предшествующую последовательность сообщений.

С приходом седьмого сообщения s4 :

С приходом восьмого сообщения s1 :

С приходом девятого сообщения s1 :

С приходом десятого сообщения s2 :

Декодирование реализуется в обратном ( кодированию) порядке. На приѐмной стороне при этом является известной содержание таблицы 3, отражающей число, частоты и относительные частоты (вероятности) появления символов

14

(сообщений) алфавита. Кодирующее число соответствует интервалу от 0 до 1. При этом часть полученного числа -«0»- не включают в передаваемую цифру.

определяется использованием в обозначении числа индексом k, а декодирование

g10mv ) передают на приѐмную сторону. Определим в качестве передаваемого числа 83345, т.е. Ck10 = Cd1 =0,83345.

3.3. Декодирование на приѐмной стороне

На приемной стороне декодирование осуществляют в обратном порядке, начиная с первой (после запятой ) составляющей полученной цифры Ck10 =0,83345. Значение этой составляющей 0,8.. Это сразу позволяет в

соответствии с интервалами, отведѐнном сообщениям в таблице 3, идентифицировать по этой цифре появление на первом этапе декодирования сообщения s1 . Далее в декодере осуществляют вычитание из кодирующего

числа нижнего значения интервала позиционирования сообщения s1 (в

что второе сообщение попадает в интервал позиционирования сообщения s1 . Следуют заметить, что интервал позиционирования при идентификации

сообщения как s1 .

15

сообщения как s2 .

3.4. Оценка эффективности арифметического кодирования

Оценим эффективность сжатия. С этой целью найдѐм совместную вероятность кодированной последовательности сообщений s1s1s1s2 s3 s1s4 s1s1s2 .

Видеале, соответственно полученному значению вероятности, на сообщение

ввиде данной последовательности следует выделить кодовое слово

(соответствующее десятичное число 0,8334503173828125).Таким образом, кодирующий рассмотренную последовательность код может иметь вид 1101010101011101 и имеет протяжѐнность 16 бит.

Это достаточно неплохое приближение к полученному идеализированному значению l1 4 log2 p1 4 log2 0,0000186624 15,709506 бит.

Основным недостатком арифметического кодирования является значительный объѐм вычислений, обусловленный необходимостью использования при кодировании и

декодировании операций умножения ( деления). С другой стороны в данном случае обычно имеет место более эффективное, по отношению к варианту кодирования по Хаффману, кодирование сообщений, вероятность появления которых pi 0, 5 .

При выполнении адаптивного арифметического кодирования реализуют, с учѐтом изменений показаний счѐтчиков, осуществляющих текущую оценку относительных частот каждого из сообщений, параллельную (жѐстко согласованную) коррекцию на приѐмной и передающей сторонах интервалов локализации сообщений в соответствующих массивах данных. С поступлением и накоплением сообщений могут, например, иметь место такие изменения

16

относительных частот сообщений, представленных в массиве (упрощѐнный его вариант показан в таблице 3), которые нарушают его упорядоченность. Соответственно на последующих этапах кодирования целесообразно (согласованно при кодировании и декодировании) переходить к другому варианту интервалов локализации относительных частот сообщений в массиве. Процедура коррекции массива данных существенно упрощается при использовании специальной структуры в виде двоичного дерева кодирования, в узлах которого приведены, в том числе, и данные показаний счѐтчиков сообщений.

4. Кодирование текстовых сообщений

4.1. Особенности кодирования текстовых сообщений

Основным преимуществом словарных методов кодирования текстовых сообщений со сжатием соответствующего объѐма передаваемых бит является отсутствие вычислений, так как в данном случае используются операции: декомпозиции последовательности сообщений исходного файла на независимые (законченного вида) сообщения (сочетания букв, слова, словосочетания, фразы… ), сравнительного анализа разделѐнных сообщений и содержания существующего (созданного) архива (словаря), присвоение содержащимся в словаре сообщениям заданных символов и прямое (по буквам) кодирование,

например, кодом ASCII ( American Standard Code for Information Interchange ).

При этом используется семь бит (семь разрядов) на одинарное (однозначно независимое) сообщение (пробел, буквы алфавита, знаки препинания и др. ), восьмой бит используется для расширения числа одинарных сообщений (тех сообщений, которые не содержатся в словаре). Входное сообщение в ходе кодирования ищется в словаре. Если оно найдено, то передаѐтся соответствующее кодовое слово, или соответствующие кодовые слова, определяющие на приѐмной стороне его позицию в словаре. В начале кодового слова заданная двоичная цифра «0» (или «1») обычно идентифицирует начало передачи такого кодового слова, число бит в котором задаѐтся выбранным объѐмом словаря. Если объѐм словаря содержит V позиций, то необходимое число бит в кодовом слове определяется величиной l log2 V . При V=1000000,

например, получаем l= 20 бит, что задаѐт полную ( с учѐтом бита, фиксирующего начало передачи сообщения, которое содержится в словаре ) протяжѐнность соответствующего кодового слова L l 1= 21бит.

Когда необходимых сочетаний букв, частей слов, целых слов, словосочетаний, частей фраз и т. д. не содержится в словаре, то передаются коды последовательно следующих букв, пробелов и знаков препинания. При этом в начале такой последовательности, например, восьмибитовых кодовых слов передается двоичная цифра f («1» или «0»), идентифицирующая начало передачи кодовой последовательности сообщения, которое не было, в ходе кодирования, обнаружено в словаре. После этого может передаваться информация, отражающая протяжѐнность (число букв) последующего сообщения, и затем

17

последовательность восьмибитовых символов, определяющих конкретные буквы (пробелы, знаки препинания) самого сообщения.

Созданные словари должны содержать употребляемые, с наибольшей вероятностью для данного типа текстов, слова и словосочетания. Однако, завышенный объѐм словаря может и снижать достижимую степень сжатия.

Существуют различные разновидности реализации процедуры кодирования ( сжатия без информационных потерь ) текстовых сообщений. Достаточно эффективные варианты сжатия текстовых сообщений первоначально были разработаны в 70-х годах ( методы LZ77 и LZ78, авторы A. Lampel, J. Ziv).

4.2. Вариант кодирования LZ77

В варианте кодирования LZ77 используется корреляция текущего (кодируемого в данный момент) фрагмента текста c его предшествующим (уже закодированным к данному моменту) фрагментом.

Кодирование основано на сравнительной оценке последовательностей сообщений в кодируемом и закодированном фрагментах, общий объѐм которых чаще всего является фиксированным и ограниченным. При этом последовательность сообщений в кодируемом фрагменте является продолжением последовательности сообщений закодированного фрагмента, а объѐм сообщений, содержащихся в последнем из них, значительно превышает объѐм сообщений, содержащихся в кодируемом фрагменте текста. Кодируемое в данный период сообщение примыкает к сообщению, закодированному в предшествующий период, и переводится после выполнения кодирования из буфера текущего фрагмента в буфер предшествующего фрагмента. Весь объем текста в уже закодированном фрагменте по сути дела является непрерывной последовательностью букв, пробелов, знаков препинания, начало которой примыкает к началу кодируемого фрагмента, а конец определяется объѐмом соответствующего буфера. Это позволяет определить положение любой буквы в этом фрагменте или их сочетаний по отношению к его началу. Процесс сравнительной оценки сообщений в указанных фрагментах фактически определяется (в процессе кодирования) порядком следования букв текста в кодируемом фрагменте.

Первоначально находят в объѐме уже закодированного фрагмента совокупность позиций первой конкретной буквы (символа) кодируемого фрагмента. Затем последовательно определяют в этой совокупности лишь позиции двух его первых букв, трѐх и т. д. букв (пробелов, знаков препинания). Данный процесс сравнительной оценки завершают на последнем этапе, когда выборка из непрерывной последовательности (“цепочка”) кодируемых в данный период букв (пробелов, знаков препинания) уже не имеет аналога в пределах текста , содержащегося на этот период кодирования в уже закодированном фрагменте. Если в уже закодированном фрагменте указанная “цепочка” кодируемых в данный период букв (пробелов, знаков препинания) обнаружена на последнем этапе кодирования в нескольких местах, то обычно передаѐтся координата l наиболее дальней (от начала уже закодированного фрагмента) из них. Кроме этого в качестве информационных данных на данном этапе

18

кодирования передаются на приѐмную сторону число (n), содержащихся в обнаруженной “цепочка” букв, и следующая буква (пробел, знак препинания) кодируемой последовательности. В случае, когда уже закодированный фрагмент не содержит буквы, с которой, собственно, и начинается данный этап кодирования, то передают значение координаты «0» (l=0), в качестве же числа n букв (символов) в закодированной “цепочке” передаѐтся также значение «0» (n=0) и, наконец, в качестве следующей буквы передаѐтся сама первая буква. Если в кодируемой “цепочке” имеет место повторение одной и той же буквы, то передают в начале «0», которым фиксируется появление частного случая, затем передают «1», фиксирующую наличие повторений одной и той же буквы, и символ самой буквы. После этого передают число повторений и символ следующей буквы. Граница между уже закодированным и кодируемым фрагментом может смещаться при кодировании в сторону кодируемого фрагмента. При этом возможно увеличение числа букв в обнаруженной “цепочке” за счѐт еѐ продолжения в сторону кодируемого фрагмента. Соответственно максимально-возможная величина числа букв в обнаруженной “цепочке” определяется числом независимых сообщений, содержащихся в кодируемом фрагменте, за исключением последнего из таких сообщений. Количество сообщений K0 , содержащихся в непрерывной последовательности

кодируемого фрагмента, определяет при этом необходимое для передачи числа n количество ( 1) ) бит.

Количество сообщений L 0 , содержащихся в непрерывной

последовательности закодированного фрагмента, определяет при этом необходимое для передачи координаты (l) число ( r log2 L0 ) бит . При этом на

r g f 16+6+8+1 =31 бит, где f идентифицирует начало передачи сообщения, содержащегося в закодированном фрагменте. Такое же слово кодом ASCII может передаваться уже числом 5 8 1 40 41 бит.

После завершения каждого этапа кодирования из буфера закодированного фрагмента выводят n+1 закодированных на данном этапе букв, а в конец буфера

отношению к кодируемому тексту( или наоборот текста по отношению к фиксированному положению стробирующего «окна», определяющего размеры указанных фрагментов) связано часто используемое название данного метода- «скользящее окно».

Эффективность кодирования с использованием метода LZ77 зависит от объѐма закодированного, кодируемого фрагментов и кодируемого текста в целом. С возрастанием и оптимизацией величин указанных объѐмов эффективность кодирования возрастает, и среднее число бит на сообщение приближается к энтропии кодируемого текста. Достижимая степень в лучшем случае достигает здесь величины 50%.

19

Недостатки метода LZ77 обусловлены спецификой его функционирования:

1.Данный метод рассчитан на использование корреляции в смежных фрагментах текста и эффективность его применения зависит от наличия соответствующей взаимозависимости в структуре текста.

2.Кодирование одиночных сообщений (случай, когда закодированный фрагмент не содержит буквы, с которой начинается данный этап кодирования) реализуется относительно большим числом бит.

3.Имеет место падение эффективности сжатия часто повторяющихся сочетаний (“цепочек”) сообщений из–за биений интервалов между ними и общей протяженностью стробирующего «окна».

4.Уменьшение эффективности сжатия имеет место при сокращении размеров кодируемого и закодированного фрагментов, а увеличение размеров существенно замедляет процесс сравнительной оценки

указанных фрагментов.

Декодер на приѐмной стороне, с использованием переданной информации, синтезирует в тексте необходимую для его содержания последовательность букв.

4.3. Вариант кодирования LZ78

Развитием кодирования LZ77 является вариант LZ78, который обладает преимуществами по отношению к рассмотренному варианту LZ77 сжатия текстовых сообщений.

В таком случае используют определѐнного объѐма словарь уже встретившихся на предшествующих этапах кодирования выборок (“цепочек” различного объѐма) из непрерывной последовательности кодируемых в данный период букв. Словарь может создаваться и пополнятся (и на приѐмной и на передающей сторонах) в процессе кодирования данного текста. Если первая буква цепочки не обнаружена в словаре, то передаѐтся нулевая позиция словаря и данная буква текста. По результатам кодирования передаѐтся позиция текущего сообщения в словаре и следующая буква текста ( код символа). Первоначально определяется и фиксируется буква, являющаяся началом кодируемой выборки (“цепочки) из последовательности сообщений, затем осуществляется сравнение данного сообщения со словарѐм. В случае, когда данная буква содержится в словаре, определяется, фиксируется и ищется в словаре уже последовательность двух букв. Если такая двухзвенная цепочка букв (символов) обнаружена , то определяется, фиксируется и ищется в словаре уже последовательность трѐх букв и т. д. Когда фиксированная таким образом n-звенная “цепочка” на последнем этапе кодирования не обнаружена в словаре, осуществляют еѐ кодирование для передачи на приѐмную сторону. Передают позицию (координаты) в словаре обнаруженной в словаре части “цепочки”, содержащей n-1 букв, и передают n-ю букву, присоединения которой к предшествующему варианту кодируемой цепочки обусловило еѐ отсутствие в созданном словаре. При этом словарь расширяется за счѐт включения в него закодированного и переданного на последнем этапе варианта n-звенной цепочки сообщений (букв).

Закодируем на основе LZ78 следующую последовательность:

20