2. Код Левенштейна

В коде Элайеса мы сэкономили по сравнению с тривиальным кодом за счет уменьшения префикса. В коде Левенштейна эта идея доведена до определенного истощения: от двоичной записи числа мы сначала переходим к двоичной записи длины BIN(n) (это было и в коде Элайеса), но затем мы переходим к длине длины, длине длины длины и т.д.

Введем для удобства формальной записи этой идеи некоторые обозначения. Пусть λ₀(n) = [log n]. А далее по аналогии до λ^k₀(n) = λ₀ (λ^k-1₀(n)) = [log…[log n]].

Для любого n существует S такое, что: λ^S₀(n) = 0, λ^S-1₀(n) = 1.

Положим Lev(0)=0, Lev(1) =10. Пусть n > 1. Тогда для такого сила вышеупомянутый параметр S>1. Если в префиксе кода мы ставим S подряд идущих единиц, а затем ноль (чтобы показать, где эта цепочка единиц заканчивается), то это не может быть ни кодом 0, ни кодом 1. А так как λ^S₀(n) = 0, λ^S-1₀(n) = 1, то эти соотношения никакой информации для кодирования не содержа, и в код надо включать информацию о длинах, начиная с B(λ^S-2₀(n). Отсюда и следует формула для кода Левенштейна.

Lev(n) = 11…10 B(λ^S-2₀(n))…B(λ₀(n))B(n),

где 11…10 – слово из S единиц и одного нуля.

Утверждение. Длина кода Левенштейна задается соотношением

|Lev(n)| = log n + log log n + o(log log n).

Утверждение. Код Левенштейна префиксный.

Пример (пробелы только для иллюстрации):

Lev(75) = 11110 0 11 001011

S = 4

Lev(5)=1110 0 01. Lev(62)=11110 0 01 11110.

4. Количество информации. Энтропия.

Известно несколько подходов к определению количества информации. Мы рассмотрим только самые простейшие и известные.

1. Энтропия по Хартли.

Определение. Энтропия по Хартли множества , есть число .

Если мы хотим закодировать элементы множества битовыми последовательностями, то энтропия по Хартли определяет максимальную длину последовательности, необходимой для такого кодирования.

Понятие «информационного бита» связано с энтропией по Хартли. «Информационный бит» - это количество информации, необходимое для различения двух элементов. И энтропия по Хартли M(2)=1.

Энтропия по Хартли применяется тогда, когда все элементы множества одинаково часто используются, имеют одинаковую «информативность» для пользователя. В более сложном случае используется следующий подход.

2. Энтропия по Шеннону.

Этот теоретический предел возможного сжатия и определяется количеством информации в том слове (множестве слов) с помощью которых информация представлена.

1. Математическая модель: алфавитное кодирование случайного источника.

Рассмотрим следующую модель. Имеется источник, который поочередно генерирует буквы алфавита A=(a₁…a_n) с вероятностями p₁…p_n. То есть имеет место следующая ситуация.

Каждая буква a_i генерируется с некоторой вероятностью p_i. Эта вероятность p_i не зависит от того, что выдал источник ранее и что он будет выдавать потом. Она также не зависит от очередности выдачи букв источником и от того, какой по счету от начала выдачи выдана данная буква. Такой источник называется источником Бернулли, что является частным случаем стационарного источника. На практике встречаются и другие источники. Для них приведенный ниже результаты неверны, но могут быть получены их аналоги.