Радиотехнические системы передачи информации

101

быточности, называется кодированием источника. Раньше тот же процесс называли кодированием в дискретном канале без помех.

Например, при двоичном кодировании алфавита, содержащего s = 5 букв, кодовая таблица может иметь следующий вид (табл. 4.1). Для каждой буквы xj в таблице указана вероятность ее появления p(xj) и соответствующая кодовая комбинация, а также длина lj этой комбинации (в общем случае комбинации могут содержать разное количество символов).

Обычно кодовая таблица используется многократно (для передачи многобуквенного текста), и наиболее объективным показателем экономичности кода является средняя длина кодовой комбинации

При этом избыточность сигнала на выходе кодера можно определить по формуле (4.13), полагая, что Lmin есть минимально возможное среднее количество m-ичных символов, приходящихся на одну букву текста.

Попытаемся найти ответы на два вопроса:

1)каково численное значение теоретического предела Lmin?

2)как нужно кодировать, чтобы достигнуть этого предела или хотя бы

кнему приблизиться?

Кстати, очевидно, что для алфавита табл. 4.1 существуют лучшие коды, нежели код, указанный в примере.

Таблица 4.1. Пример кодовой таблицы

Проведем простые, хотя и не очень строгие, рассуждения, позволяющие ответить на первый вопрос.

Собственная информация буквы xj равна I(xj)=–logp(xj). Столько же информации должно содержать j-e кодовое слово.

С другой стороны, максимальное среднее количество информации, которое может перенести один m-ичный символ на выходе кодера, в соответствии с (4.7) равно Hmax=logm. Тогда количество таких символов, требуемое для размещения имеющейся информации, должно удовлетворять очевидному неравенству

102

Неравенство справедливо и для математических ожиданий обеих частей

Таким образом, ответ на первый вопрос получен.

Выясним, при каких условиях неравенство (4.17) может обратиться в равенство, т.е. когда существует безызбыточный код. Для этого необходимо, чтобы каждое слагаемое в (4.16) обратилось в равенство, т.е. обратились в равенства все s выражений (4.15). Левая часть lj – это количество символов в j-й комбинации, т.е. положительное целое число. Поэтому равенство в (4.15) возможно лишь в том случае, когда и правая часть – положительное целое число. В итоге равенство в (4.17) возможно лишь в случае, когда распределение вероятностей букв таково, что каждая из вероятностей может быть представлена в виде отрицательной целочисленной степени основания кода m

Приведенные соотношения отображают содержание доказанной строго

теоремы Шеннона о кодировании в дискретном канале без помех.

При кодировании алфавита Х с энтропией H(X) средняя длина кодовой комбинации не может быть меньше H(X)/logm. Если вероятности букв не являются отрицательными целочисленными степенями числа m, то точное достижение указанной нижней грани невозможно, но при кодировании достаточно длинными блоками к ней можно сколь угодно приблизиться.

Последнее утверждение теоремы, о кодировании блоками, будет проиллюстрировано позже.

Формула (4.15) дает лишь весьма общее указание о способе кодирования: более вероятным буквам должны соответствовать более короткие кодо-

вые комбинации. Это – принцип статистического кодирования.

Предложено несколько способов кодирования с малой избыточностью. Наилучший из них – код Хафмана. Величина L, получаемая при кодировании этим кодом, не больше, чем при кодировании любым другим кодом.

Процедура кодирования двоичным (m = 2) кодом Хафмана предусматривает (s – 1)-кратное повторение одной и той же операции, включающей следующие действия:

1)буквы алфавита, полученного на предыдущем шаге, располагаются в порядке убывания их вероятностей;

2)проводится сокращение алфавита на одну единицу, т.е. две наименее вероятные буквы объединяются и заменяются одной новой буквой, для кото-

104

составляет R = 1 – 2,423/2,45 = 0,011.

Итак, алфавит источника удалось закодировать с малой избыточностью, даже меньшей, чем избыточность входного сигнала.

Следует отметить, что использование кода Хафмана позволяет получить сигнал с минимально возможной избыточностью, но из этого не следует, что избыточность сигнала на выходе кодера всегда будет меньше, чем избыточность исходного алфавита. Возможна такая, на первый взгляд парадоксальная ситуация, когда все s букв алфавита равновероятны и, следовательно, входной сигнал не содержит избыточности, но выходной сигнал избыточен. Поэтому еще раз подчеркнем, что кодирование с нулевой избыточностью возможно лишь для распределений вероятностей специального вида, а именно, когда вероятности всех букв могут быть представлены в форме (4.18).

Другой весьма хороший код – это код Шеннона-Фано. Здесь также буквы алфавита предварительно располагаются в порядке убывания вероятностей. Кодирование двоичным кодом проводится в несколько этапов:

1)весь алфавит делится на две группы (верхнюю и нижнюю) так, чтобы суммарные вероятности в каждой из групп были по возможности равны друг другу (к сожалению, если вероятности всех букв не могут быть представлены в виде (4.18), при выполнении этой операции возможен субъективный подход); затем для каждой буквы записывается первый символ кодового слова: 1– для букв, попавших в верхнюю группу, и 0 – для букв из нижней группы;

2)каждая группа делится, в свою очередь, на две равновероятные подгруппы, и в каждом кодовом слове записывается второй символ по тому же принципу.

Такое деление и дописывание символов проводится до тех пор, пока в каждой подгруппе не останется по одной букве.

Если m > 2, на каждом шаге проводится деление группы букв на m равновероятных подгрупп и для их нумерации используются символы 0,1,...,(m–

1).

Обратите внимание, что при кодировании и кодом Хафмана, и кодом Шеннона-Фано в самой структуре кодовой таблицы уже заложена возможность разделения при приеме последовательно передаваемых кодовых комбинаций. Например, при кодировании кодом рис. 4.2 принятая двоичная последовательность 0011000100111однозначно декодируется как последова-

тельность букв x2x4x5x2x6 . Это обусловлено тем, что в кодовой таблице никакая комбинация не является началом другой, более длинной комбинации.

При использовании обоих кодов любая, даже одиночная ошибка в принятой последовательности лишает приемник возможности правильно декодировать ее оставшуюся часть, но эту проблему обсуждать не будем, поскольку, напомним, эти коды предназначены исключительно для кодирования при отсутствии помех (реально, в ситуации, когда возможность появле-

107

взаимной информации между xj и yk.

2) В канале без помех возможны лишь пары xj, yj, поэтому для остальных пар находить взаимную информацию просто нет смысла. Для таких пар имеем

т.к. в таком канале всегда p(xj/yj)= p(yj/xj)=1. В канале без помех, как уже отмечалось, вся информация, создаваемая источником, достигает получателя.

3) Взаимная информация есть разность двух собственных информа-

но, I(xj/yj)<I(xj), тогда I(xj;yj)>0. Но иногда все-таки случается k ≠ j, и в этой ситуации вполне возможно, что I(xj/yk)>I(xj) и, следовательно, количество получаемой информации отрицательно I(xj;yk)<0.

4) Если X и Y независимы (помеха полностью подавляет полезный сигнал), всегда I(xj;yk)=0, т.к. P(xj/yk)=P(xj).

Математическое ожидание случайной величины “взаимная информация” равно

I(xj;yk) можно подставить любое из трех соотношений (4.20).

Средняя взаимная информация также обладает свойствами: симметрии

Напомним, что Н(Х) ≥ 0 и Н(Х/Y) ≥ 0.

Воспользовавшись неравенством Иенсена для логарифмической функции при Z>0

Отсюда, кстати, следует, что всегда H(X/Y)≤H(X).

В свете сказанного величины, входящие в формулу (4.24), приобретают вполне определенный смысл. Информация H(X), созданная источником, делится на две части:

I(X;Y) – то, что доходит до получателя;

H(X/Y) – то, что потеряно в канале из-за воздействия помех на сигнал. Соотношение между этими двумя частями в первую очередь зависит от

отношения сигнал/помеха.

108

Приведенные выше соотношения, конечно, по своей сути справедливы и в более общем случае, когда переданное сообщение X=X[1],…, X[n] и принятый сигнал Y=Y[1],…, Y[n] – это последовательности длины n, состоящие из m- ичных символов.

Взаимная информация между конкретными реализациями этих последовательностей равна

и в дополнение к перечисленным выше свойствам обладает еще и свойством аддитивности (способ формального выражения этого свойства зависит от того, какой из многочисленных вариантов формулы умножения вероятностей мы изберем для представления числителя и знаменателя в выражении (4.27)).

Средняя взаимная информация между последовательностями X и Y

является основной характеристикой, используемой для описания возможностей цифровых информационных систем.

Для нее также справедливо соотношение (4.24)

где Hn H (X [1] ,..., X [n] ) ,

Hn усл H ( X [1] ,..., X [n] / Y [1] ,...,Y [n] ) – энтропия и условная энтропия передаваемого сообщения X соответственно. Поскольку все члены в (4.29) возрастают при увеличении длины последовательностей n, удобнее провести нормировку и представить это соотношение в виде

где H=Hn/n – скорость создания информации;

I=In/n – скорость передачи информации (логичнее было бы назвать эту величину скоростью приема информации, но первый термин уже прочно вошел в употребление);

Hусл=Hn усл/n – скорость потерь информации.

Все три величины измеряются в битах на символ. Поделив эти величины на длительность сигнала, соответствующего одному символу, будем измерять их в битах в секунду.

4.4 Пропускная способность канала и теоремы о кодировании в цифровом канале с помехами

110

также не зависит от вероятностных характеристик переданного сигнала X и является энтропией случайного вектора ошибок E. Следовательно, чтобы максимизировать величину (4.33), нужно формировать передаваемый сигнал

X таким образом, чтобы H(Y)=H(Y)max=nlogm=n при m=2. Это возможно лишь в том случае, когда все символы в последовательности Y независимы, а

каждый символ с одинаковой вероятностью принимает значение 0 или 1 (сигнал Y не содержит избыточности). Это, в свою очередь, при р ≠ 0,5 возможно лишь тогда, когда передаваемый сигнал Х также не содержит избыточности. В итоге получим формулу для пропускной способности

Эта зависимость представлена на рис. 4.5 (анализируя график, учтите, что при р=1 после инвертирования выходного сигнала мы фактически полу-

чаем канал без ошибок).

Как было показано в разделе 3.1, сигнал, не обладающий избыточностью, не предоставляет возможностей обнаруживать и исправлять ошибки.

Таким образом, применение корректирующего кода и передача информации с максимально возможной скоростью I=C – понятия несовместимые. Выяс-

ним, возможно ли это при I<C.

“Удлиним” канал, т.е. включим в его состав кодер и декодер, и обозначим А и В – цифровые сигналы на его входе и выходе соответственно. Напомним, что способ кодирования определен, если из общего количества N возможных последовательностей X выбраны NA<N последовательностей, признанных в качестве разрешенных к передаче (включенных в кодовую таблицу), при этом каждому из NA возможных сообщений a соответствует своя последовательность x=f(a). В свою очередь, функция b=g(y) определяет способ декодирования. Тогда имеем