8.5Код Элайеса

Код Элайеса неотрицательного целого числа n обозначим через El (n). Положим El (0) = 10, El (1) = 11.

Пусть n > 1. Тогда El (n)= 00…0 BIN([log n]+1) B(n), где 00…0 – маркер, необходимый для того, чтобы знать, сколько последующих за 0 символов может задавать длину записи числа. Поэтому в данном коде количество нулей перед BIN([log n]+1) равно [log (BIN([log n]+1)].

Примеры:

El(5) = 0 10101

E l(75) = 00 110001011

log n

log (log n)+1

log (log n)

Утверждение. Длина |El(n)| не превосходит log n + 2 log (log n) + 3.

Утверждение. Код Элайеса – префиксный.

Доказательство: Рассмотрим El (n) и El (m). Если хотя бы одно из этих слов начинается с 1, то это либо 0, либо 1. Утверждение доказано. Пусть n, m больше 1, вспомним теорему о дешифруемости кода: El(n) = α₁…α_k, El(m) = β₁…β_S (для определенности k ≥ s). Пусть количество 0, с которых начинается α, совпадает с количеством 0, с которых начинается β. (В противном случае сразу следует свойство префиксности кода.) Далее рассмотрим вторые подслова слов El (n) и El (m). Если они не совпадают, то префиксность кода доказана. Если совпадают, то переходим к окончаниям слов. Если они совпадают, то m=n. В противном случае n не равно m. Таким образом, при m≠n выполняется соотношение B(n) ≠B(m).

Утверждение доказано.

Примеры:

El(5) = 0 10101

E l(75) = 00 110001011

log n

log (log n)+1

log (log n)

Длина |El(n)| = [log n] + [log [log n]] + 1 + [log [log n]] = log n + 2 log (log n) + k

Утверждение: Код Элайеса – префиксный.

Доказательство: Рассмотрим El (n) и El (m). Если хотя бы одно из этих слов начинается с 1, то это либо 0, либо 1, утверждение доказано. Пусть n, m больше 1, вспомним теорему о дешифруемости кода: El(n) = α₁…α_k, El(m) = β₁…β_S (для определенности k ≥ s). Пусть количество 0, с которых начинается α, совпадает с количеством 0, с которых начинается β. Тогда рассмотрим второе подслово: если не совпадают, то префиксов не будет, если совпадают, то смотрим на конец, а там: n не равно m, а значит B(n) не равно B(m).

8.6Код Левенштейна

Пусть λ₀(n) = [log n]. λ^k₀(n) = λ₀ (λ^k-1₀(n)) = [log…[log n]].

Для любого n существует S такое, что: λ^S₀(n) = 0, λ^S-1₀(n) = 1.

Положим Lev(0)=0, Lev(1) =10. Пусть n > 1. Тогда

Lev(n) = 11…10 B(λ^S-2₀(n))…B(λ₀(n))B(n), где 11…10 – слово из S единиц и одного нуля.

Утверждение: Длина кода Левенштейна задается соотношением

|Lev(n)| = log n + log log n + o(log log n).

Утверждение: Код Левенштейна префиксный

Пример:

Lev(75) = 11110 0 10 001011

маркер B( λ₀ (λ₀(n)) B(λ₀(n)) B(n)

S = 4

9Блочное кодирование и теорема Шеннона.

Используя свойства энтропии можно в каком-то смысле уточнить теорему Шеннона. Пусть мы будем кодировать не буквы алфавита A, а блоки из k букв алфавита A. Вероятность каждого блока – это произведение вероятностей входящих в него букв. Тогда блок может быть представлен как произведение независимых событий. Энтропию такого блока H(AA…A) обозначим H^k(A). Минимальную стоимость кодирования для блока обозначим через C^k(A). Очевидно, что минимальная стоимость кодирования C(A) для одной буквы блока удовлетворяет соотношению C(A) ≤ C^k(A)/k.

Из свойства энтропии (5) следует, что H(A)= H^k(A)/k. Из этих соотношений и теоремы Шеннона для блоков

C^k(A) – 1 ≤ H^k(A)/logq ≤C^k(A) следует

C^k(A)/k – 1/k ≤ H(A)/logq ≤C^k(A)/k.

Отсюда при k →∞ получаем, что H(A)/logq → C^k(A).

За такую точность приходится платить трудоемкостью алгоритмов кодирования (декодирования).

Таким образом, была доказана теорема.

Теорема. Для любого ε > 0 существует N_ε такое, что при блочном кодировании с числом блоков N > N_ε справедливо неравенство |C_ε(A) – H(A)| < ε.

Здесь C_ε(A) - среднее число символов на одну букву в данном алгоритме кодирования. (Например, блочный алгоритм Хаффмена.)

Данное утверждение известно как теорема Шеннона для канала без шума. Приведем это утверждение в более привычной формулировке.

Пусть скорость источника А - V_c букв в секунду.

Тогда можно считать, что на одну букву приходится H(А) битов. Тогда битовая скорость источника v_c = V_c H(X).

Представим, что битовый поток поступает в канал (без искажений).

Канал

Получатель

Бинарный

поток

Бинарный

поток

Проблема: синхронизация скорости источника и пропускной способности канала.

Очевидно, что если по каналу можно передавать информацию со скоростью v_k < V_c log n, то могут произойти потери информации, так как max H(А) = log n. Если же технические возможности канала таковы, что он обеспечивает скорость v_k ≥ V_c log n, то информация может быть передана без потерь.

Теорема. (Торема Шеннона для канала без шума). Для источника A с энтропией H(A) скорость v передачи по каналу без шума удовлетворяет условиям:

1. v > Vc H(X).

2. Существует такая кодировка букв источника битовыми словами, что для любого ε > 0 v< Vc H(X) + ε.