Раздел 2. Сжатие информации.

3. Кодирование информации. Количество информации. Сжатие информации.

Большая часть раздела посвящена понятию количества информации (энтропии) и теореме Шеннона. Но вначале приведем несколько известных способов преобразования информации с целью обеспечения ее дешифруемости и сжатия, не использующих понятия энтропия.

1. Сериальное кодирование

Здесь А = (0,1) и B = (0,1,…,9,*). Символ * играет роль разделителя.

В данном примере битовые последовательности кодируются натуральными числами. Как это следует из свойств данного кодирование, оно дает эффект сжатия, когда битовые последовательности представляют собой чередование сравнительно больших блоков нулей и единиц.

Алгоритм кодирования. Пусть дана битовая последовательность α и а (0,1) ее первый символ. Блоком назовем часть последовательности, состоящую из одинаковых символов. Тогда любую битовую последовательность можно представить как чередование блоков из нулей и единиц. Пусть в последовательности α всего S блоков, длина первого x₁, длина второго - x₂,…, длина S –го - x_S. Тогда кодом α будет слово β=φ(α)=а* x₁* x₂*…* x_S .

Алгоритм декодирования очевиден.

Определение. Длиной сериального кода назовем число где [log x]*=1 при x=1 и [log x] при x>1.

Определение. Средней длиной кода для n-последовательностей назовем число

,

Где сумма берется по всем двоичным последовательностям длины n.

Свойства такого кодирования иллюстрируются следующими двумя утверждениями.

Утверждение. Если все x_i=1, то l(α)=|α|.

Утверждение. Если все x_i>1, то .

Доказательство.

.

Из этих утверждений следует.

Таким образом, сериальное кодирование при малых количествах серий и большой длине серий приводит к тому, что при таком кодировании возникает эффект сжатия.

Если серии короткие и их много, например: и , то эффекта сжатия не возникает.

Для полноты картины приведем два утверждения, доказанные в [7].

Утв. Средняя длина слова с S сериями в сериальном кодировании .

Утв. Справедлива асимптотическая оценка

2. Алфавитное кодирование.

Если пренебречь разделителями, то в качестве двух алфавитов возьмем алфавиты

А = (а₁, … , а_n) и B = (b₁, … , b_q).

Алгоритм кодирования. Каждой букве a_i алфавита A ставится в соответствие B_i= φ(a_i) – слово в алфавите B длины l_i.

Алфавитное кодирование будет дешифруемым, если отображение таково, что для .

Заметим, что в приведенном определении термин дешифруемость используется в другом смысле, нежели выше при описании основных свойств кодирования (дешифруемость – неизбыточность - разумность). Поэтому в других учебниках по теории информации используются иные термины, например, разделимость.

Обратим внимание на следующий важнейший факт, который, по сути дела, и оправдывает интерес к такому виду кодирования. Очевидно, что ограничение на вид отображения φ сразу влечет дешифруемость однобуквенных (в алфавите А) слов. Но из дешифруемости однобуквенных слов сразу следует дешифруемость слов (в алфавите A) любой длины.

Заметим также, что в случае дешифруемого кодирования все слова B_i= φ(a_i) обязательно различны.

Оказывается, что дешифруемость накладывает ограничение на набор длин кодовых слов. Об этом говорит утверждение, известное как неравенство Крафта.