5.4. Оптимальное (эффективное) статистическое кодирование [3 и др.].

При передаче знаки сообщений источника преобразуются в последовательность двоичных сигналов. Учитывая статистические свойства источника сообщений, можно минимизировать среднее число символов, требующихся для выражения одного знака сообщения, что при отсутствии шума позволяет уменьшить время передачи или объем запоминающего устройства.

Одной из характеристик сообщений является избыточность. Коэффициент избыточности определяется как

(5.4)

где H(x) – энтропия, которую имеет сообщение источника; H_max(x) – максимальная энтропия.

Под избыточным понимают такие сообщения, для представления которых используются больше символов, чем это минимально необходимо. Решение задачи устранения избыточности сообщений выполняется с помощью эффективного кодирования.

Статистическое (оптимальное) кодирование сообщений для передачи их по дискретному каналу без помех базируется на теореме К. Шеннона, которую можно сформулировать так [3]: «Если производительность источника , где ε – сколь угодно малая величина, то всегда существует способ кодирования, позволяющий передавать по каналу все сообщения источника». Передачу всех сообщений при осуществить невозможно.

Смысл теоремы сводится к тому, что как бы ни была велика избыточность источника, все его сообщения могут быть переданы по каналу, если . Здесь С – пропускная способность. По определению пропускная способность

(5.5)

где R_max – максимальная скорость передачи информации.

Кодирование по методу Шеннона-Фано-Хаффмена называется оптимальным, так как при этом повышается производительность дискретного источника

(5.6)

где - средняя длительность сообщения и наилучшим образом используется пропускная способность канала без помех.

Структура оптимального кода зависит от статистических характеристик источника, так и от особенности канала. Оптимальное кодирование называют статистическим потому, что для реализации кодирования необходимо учитывать вероятности появления на выходе источника каждого элемента сообщения (учитывать статистику сообщений).

Рассмотрим основные принципы оптимального (эффективного) кодирования на примере источника независимых сообщений X={x₁, x₂, …, x_r}. Под элементами множества X можно понимать, например, буквы алфавита естественного языка, пары, тройки и вообще любые блоки символов какого-либо алфавита, слова, предложения – словом, любые знаки.

Источник независимых сообщений необходимо согласовать с двоичным каналом без помех. При этих условиях процесс кодирования заключается в преобразовании сообщений источника в двоичные кодовые комбинации. Поскольку имеет место однозначное соответствие между сообщениями источника и комбинациями кода, то энтропия кодовых комбинаций: H(u), где u-выходной алфавит, равна энтропии источника

(5.7)

а скорость передачи информации в канале

(5.8)

здесь - средняя длительность кодовой комбинации, которая в общем случае неравномерного кода определяется выражением

(5.9)

где - длительность одного элемента кода и - число элементов в комбинации, присеваемой сообщению .

Подстановка в формулу (5.8) выражений энтропии H(x) [] и (5.9) приводит к соотношению

(5.10)

в котором числитель определяется исключительно статистическими свойствами источника, а величина τ₀ – характеристика канала. При этом возникает вопрос, можно ли так закодировать сообщения, чтобы скорость передачи R достигала своего максимального значения, равного пропускной способности двоичного канала

(5.11)

Легко заметить, что это условие выполняется, если

(5.12)

где J(x_i) – количество информации в x_i сообщении.

Из (5.12) следует, что количество символов в кодовом слове соответствует минимальному и максимальному R. Очевидно, выбор n_i<J(x_i) не имеет смысла, так как в этом случае R>C, что противоречит выше доказанному утверждению теоремы Шеннона.