2.2. Избыточность кодов.

Понятие избыточности означает, что фактическая энтропия кода или сообщения (Н) меньше, чем максимально возможная энтропия (H_max), т. е. число символов в сообщении или элементов в символе кода больше, чем это требовалось бы при полном их использовании.

Понятие избыточности легко пояснить следующим примером.

Выделение полезного сигнала на уровне помех — одна из основных проблем передачи информации. Одним из путей повышения надёжности передачи сообщений может быть передача дополнительных символов, т.е. повышение избыточности сообщений.

Действительно, по теореме Котельникова (§ 1.7), непрерывное сообщение (сигнал) можно передать последовательностью мгновенных отсчетов его значений с промежутками между ними :

где f_max – верхняя граничная частота в спектре сигнала.

При наличии помех промежутки между отсчетами (Δt_n) необходимо уменьшать, т.е.

В этом случае мы увеличиваем число отсчетов и, следовательно, увеличиваем избыточность сообщения и тем самым повышаем его помехозащищенность.

Пусть сообщение из n символов содержит количество информации I. Если сообщение обладает избыточностью, то его (при отсутствии шума) можно передать меньшим числом символов n₀ (n₀ < n). При этом, количества информации (I₁ и I_1max), приходящиеся на один символ сообщения, будут связаны соотношением:

I₁ = I/n < I_1max = I/n₀

и, следовательно,

n ∙ I₁ = n₀ ∙ I_1max.

За меру избыточности принимается величина R:

(2.3)

Таким образом, избыточность — это свойство, характеризующее возможность представления тех же сообщений в более экономной форме.

При кодировании избыточных сообщений возникает определенная исходная избыточность кодов. Наличие исходной избыточности уменьшает пропускную способность каналов и увеличивает формат сообщений. Вместе с тем в процессе передачи информации избыточность сообщений и кодов является средством, полезным для борьбы с внешними возмущающими воздействиями и помехами.

По наличию избыточности коды также делятся на избыточные и неизбыточные. Для неизбыточных кодов характерно то, что они позволяют просто определить различные символы сообщения. Переход от неизбыточного кода к избыточному осуществляется путем добавления позиций в кодовых симво­лах, которые можно получить либо путем различных логических операций, выполняемых над основными информационными позициями, либо путем ис­пользования алгоритмов, связывающих неизбыточный и избыточный коды. Например, если есть символы сообщения А₁; А₂; А₃; А₄, то их можно закодировать в двоичном неизбыточном коде:

А₁ = 00; А₂ = 01; А₃ = 10; А₄ = 11.

Для получения избыточного кода можно ввести еще одну позицию, значение которой будет определяться как сумма значений предшествующих символов по модулю два:

А₁ = 000; А₂ = 011; А₃ = 101; А₄ = 110.

Особенностью такого кода является то, что он позволяет обнаружить любую единичную ошибку (ошибку в одной из позиций кода), выявившуюся в процессе передачи кода.

2.3. Эффективное кодирование равновероятных символов сообщений.

Эффективное кодирование используется в каналах без шума, т.е. в таких каналах, где помехи отсутствуют, либо ими можно пренебречь. Основной задачей кодирования в таком канале является обеспечение максимальной скорости передачи информации, близкой к пропускной способности канала передачи (§3.4).

В случае, если все символы алфавита кодируемого сообщения независимы и их появление равновероятно, построение оптимального эффективного кода не представляет трудностей. Действительно, пусть Н(х) — энтропия исходного сообщения. Будем считать, что символы сообщения (х_i) равновероятны и объем алфавита исходного источника сообщений равен m. Следовательно, вероятность появления любого i-го символа данного сообщения (P(х_i)) будет одинакова, т.е.

, i=1,.., m ,

а энтропия сообщения равна (Н(х)):

,

Если для кодирования используется числовой код по основанию k (объем алфавита элементов кодовых символов равен k), то энтропия элементов кодовых символов (Н₁), при условии, что элементы символов кода появляются равновероятно и взаимнонезависимо, определится из соотношения:

H₁ = log₂ k .

Тогда длина эффективного равномерного кода, т.е. число элементов в кодовом символе (l_эфф.), может быть найдена из соотношения:

, (2.4)

где m = k ⁿ.