книги из ГПНТБ / Бездудный, В. Г. Техника безопасности в шахтном строительстве

+ 3 ■0,011 log3 0,011 + 0,001 log2 0,001) = 0,3555 + 3 • 0,9065 +

+ 3 • 0,0716 + 0,0100 = 1,4998 бит/символ.

Таблица IS

Построение оптимального кода при блочном кодировании

Сравнивая полученные данные, убеждаемся, что с укрупнением кодируемых блоков разница значений L и Н быстро уменьшается, а полученный код приближает­ ся к оптимальному. Сравним эффективность ОНК в первом и третьем случаях. Для

этого определим:

TJ

80

"71 i ■

С увеличением числа символов в блоке эффективность кодирования

текстовых сообщений как при посимвольном, так и при поблочном кодировании. Для передачи М-буквенного текста требуется затратить элементарных символов, составленных из букв вторичного алфавита, не меньше чем

где N — число букв первичного алфавита; т — число букв вторичного алфавита.

81

Для передачи М-буквенного текста в двоичном коде (число букв вторичного алфавита т = 2) с равновероятным распределением букв русского алфавита (число букв первичного алфавита N = 32) надо затратить Л4Л0 = M log2 32 = М • 5 бит.

Оптимальным в этом случае будет равномерный код. Примером такого кода является телеграфный код Бодо, в котором каждая буква состоит из пяти двоичных символов (см. табл. 4).

Однако в действительности вероятности появления букв в русских текстах не одинаковы. Согласно табл. 3, вероятности появления от­ дельных букв значительно отличаются друг от друга. Чаще всего в русских текстах, как и в текстах на любом языке мира, встречается пробел между словами: вероятность его равна 0,175 (в английском языке 0,2); реже всего — буквы Э и Ф.

Естественно, что при неравновероятном распределении символов первичного алфавита равномерные коды не могут быть оптимальными. Эффективными в этом случае являются неравномерные коды, в кото­ рых наиболее часто встречающимся символам первичного алфавита соответствуют наиболее короткие комбинации символов вторичного алфавита. По такому принципу построен современный телеграфный код Морзе, хотя он и отличается от оптимального кода для троичного алфа­ вита (точка, тире и пауза), представленного в третьей колонке табл. 14.

Для определения значения п при передаче русских текстов с учетом вероятности распределения символов в выражении (55) зна­ чения Н следует находить по формуле

Н = — ^ P il o g p i . i

Так как для т = 21og2m = 1, то п = МП = М (—0,175 log3 0,175 —

— 0,09log2 0,09 — ... —0,02log2 0,02) » 4,36М.

Как видим, по сравнению с кодом Бодо достигнуто сокращение 0,64 бит на кодовое слово. Такого значения средней длины кодового слова для русского алфавита можно добиться при помощи оптималь­ ного кода, построенного методом Шеннона — Фано и представленного в табл. 15. Средняя длина кодового слова для кода табл. 15

L = ^ I (ОР( = 0,175 • 3 + 0,090 • 3 + 0,072 • 4 + • • • +

+ 0,002 - 9 « 4 ,4 .

Значение L отличается от значения Н, потому что вероятности рас­ пределения символов первичного алфавита (в данном случае — алфа­ вита русских букв) не являются целочисленными степенями двойки. Однако с ростом М среднее число знаков вторичного алфавита на кодовое слово будет сколь угодно приближаться к значению Я, что было проиллюстрировано примером 6. 4

При поблочном кодировании данный код будет еще ближе к опти­ мальному, так как в нем устранится избыточность, вызванная взаимо­ зависимостью между соседними буквами.

82

К недостаткам кодирования большими блоками следует отнести то, что расшифровка сообщения не может быть осуществлена, пока в дешифраторе не накопится весь блок. А это фактически равно отстава­ нию принятого сообщения относительно источника на время накопле­ ния блока в дешифраторе.

С точки зрения помехоустойчивости ОНК ничуть не хуже других кодов, так как к ним могут быть применены те же методы, что и к обыкновенным кодам. При этом сначала устраняют статистическую из­ быточность и строят ОНК, затем вводят дополнительные символы для обнаружения и коррекции ошибок. Особенно удачное сочетание пред­ ставляет использование ОНК в системах с решающей обратной связью.

83

В таких системах при обнаружении искажения кодовой комбинации посылается сигнал на передающее устройство, и искаженная комбина­ ция повторяется.

Построение ОНК по методу Шеннона — Фано справедливо как для построения вторичных алфавитов с числом качественных призна­

суммарными вероятностями). Но данная методика обладает некоторой неоднозначностью для случаев, когда код невозможно разбить на

г=1

для II варианта

Lcpll = 1,62 -f 0,36 -f 0,3 + 2 • 0,27 = 2,82.

Как видим, несмотря на то, что коды получились разные, средняя длина кодо­ вых слов для обоих вариантов одинаковая.

Пример 7 иллюстрирует тот факт, что при построении оптимальных кодов буквы кодируемого алфавита не всегда удается однозначно разбить на части с равной суммарной вероятностью. Однако если построение оптимального кода ведется правильно, то средняя длина кодового слова при любых вариантах разбиения будет оставаться одинаковой. Кроме того, из приведенного примера видно, что для од­ ного и того же алфавита по одной и той же методике полечены два, хотя и равноценных, но все же различных кода. Этой неоднозначности при построении оптимального неравномерного кода можно избежать, если использовать методику, предложенную Хаффменом [40].

Хаффмен показал, что для получения минимально возможной длины кода основания т с числом взаимонезависимых букв первичного алфавита N

84

3) любая возможная последовательность lN — 1 кодовых сло должна либо сама быть кодовой комбинацией, либо иметь своим пре­ фиксом разрешенную комбинациюх.1

1 Доказательства необходимости и достаточности этих условий приведены в работе [40].

85

Исходя из данных условий, Хаффмен предложил следующий метод построения ОН К. Символы первичного алфавита выписывают в поряд­ ке убывания вероятностей. Последние п0 символов, где 2 < п , < т и N — п0/ш — 1 — целое число, объединяют в некоторый новый сим­ вол с вероятностью, равной сумме вероятностей объединяемых сим­ волов. Последние символы с учетом образованного символа вновь объединяют и получают новый, вспомогательный, символ. Опять выпи­ сывают символы в порядке убывания вероятностей с учетом вспомога­ тельного символа' и т. д. до тех пор, пока вероятности т оставшихся сим­ волов после N — n j m — 1-го выписывания не дадут в сумме 1. На прак­ тике обычно не производят многократного выписывания вероятностей символов, а обходятся элементарными геометрическими построениями, которые будут рассмотрены ниже.

Рассмотрим пример применения метода Хаффмена для кодирова­ ния текстового сообщения, приведенный в работе Пирса [25]. В этом примерена сравнительно коротком тексте показаны корректирующие способности, заложенные в коде, обладающем свойством префикса.

Пример 8. Построим ОНК для передачи сообщения, составленного из следую­ щих слов

Во второй колонке этой таб­ лицы представлены вероятности появления каждого слова, неза­ висимо от появления другого слова.

Слова-блоки можно рас­ сматривать как некоторые сим­ волы, тогда энтропия на каждое слово-блок

Н = — (р1 logaPj + PglogjPa-f-

+ ‘ • + Ps l°g2 Рв) =

= —(0,5 log3 0,5+0,15 log2 0,15-f-

-f- • • • -f- 0,02 log2 0,02).

Рис. 21. К построению оптималь­ ного кода по методике Хаффмена.

Построение оптимального кода по методике Хаффмена представлено на рис. 21. Сначала находят слова с наименьшими вероятностями: sells (0,02) и horse (0,03). Затем проводят от них линию к точке, в которой вероятность появления либо слова

86

sells, либо слова horse равна 0,05. Далее, берут два слова с вероятностями 0,04 (likes) и 0,04 (house) и получают новую точку с . вероятностью 0,08. Теперь наименьшими вероятностями обладают точки, соответствующие вспомогательным символам с ве­ роятностями 0,05 и 0,08. Соединяем их линиями с новой точкой, соответствующей вспомогательному символу с вероятностью появления 0,13. Продолжают так до тех пор, пока линии от основных и вспомогательных символов не сольются в точке, даю­ щей суммарную вероятность, равную 1.

Обозначив каждую верхнюю линию рис. 21 цифрой 1, а нижнюю — цифрой O', получим ОНК, который для каждого слова представляет собой последовательность нулей и единиц, встречающихся по пути к данному слову от конечной точки (1,00).

;= 1

Нетрудно убедиться в том, что, кодируя по методу Шеннона — Фано, мы на­ шли бы ту же среднюю длину кодового слова. При этом, найденные коды имели бы вид: 0; 100; 101; 110; 11100; 11101; 11110; Ill'll.

Полученные коды (табл. 17) могут быть однозначно декодированы на приемном конце благодаря тому, что ни один из них не является началом другого, т. е. эти коды обладают свойством префикса. Более того, такой код может автоматически восста­ новить-правильное содержание даже в том случае, когда декодирование началось не сначала сообщения или код был принят с ошибкой. Например, прием сообщения the man sells the house to the man the horse runs to the man начался после первой вер­ тикальной линии1

Как видим, сообщение восстановилось уже после третьего слова.

1 Процесс декодирования начинается с того, что находится кратчайшая после­ довательность цифр, которая в этом коде обозначает слово. Так, в нашем примере после первой пунктирной линии кратчайшая последовательность нулей и единиц соответствует слову likes, затем слову man и т. д.

87

Несмотря на то, что среднее количество знаков на каждое кодовое слово не­ сколько больше значения энтропии на блок (2,26 > 2,21), никаким другим методом кодирования невозможно получить Lcp < 2,26.

При кодировании последовательностей символов с различными вероятностями появления метод Хаффмена позволяет получать коды, в которых требуемое количество двоичных знаков (на символ или на блок) никогда не превысит величины Н больше, чем на 1.

Выводы: 1. Если символы кодируемого алфавита встречаются в сообщениях с равной вероятностью, то их следует кодировать кодами равной длительности.

2. Если вероятности появления в сообщении символов кодируемого алфавита можно расположить так, что. вероятность появления каж­ дого последующего символа будет в два раза меньше вероятности пре­ дыдущего, то число элементарных знаков кода на кодируемый символ должно возрастать, как натуральный ряд чисел (1, 2, 3,..., N).

3. Если символы эргодического 1 источника сообщений закодированы наиболее эффективным образом, то среднее количество двоичных знаков на букву сообщения будет близко к энтропии источника сообщений.

4. Если символы первичного алфавита равновероятны или их ве­ роятности являются целочисленными отрицательными степенями двойки, причем сумма вероятностей отдельных символов равна единице, то средняя длина кодового слова будет точно равна энтропии источника сообщений.

5.Если кодировать сообщения крупными блоками, то взаимозави­ симость между отдельными символами уменьшается по мере укрупне­ ния блока.

6.При поблочном кодировании для вычисления энтропии на блок

что значение энтропий всегда будет несколько больше действительного за счет пренебрежения оставшейся взаимозависимостью между сим­ волами.

Задачи к теме 9

1.Чему равна длина кодовых комбинаций сообщений, составленных из 16 рав­ новероятных двоичных символов? Из 32? Из 28?

2.Напишите первые три кодовые комбинации для передачи сообщений, состав­ ленных из первичного алфавита, содержащего 64 равновероятных символа.

3.Сколько символов вторичного алфавита содержит максимально длинная комбинация кода, первичный алфавит которой содержит восемь символов, вероятнос-

вероятности появления отдельных символов предполагаются неизменными (не путать с равновероятными!).

88

4. Построить оптимальный неравномерный код (ОНК) для передачи сообще­ ний , составленных из алфавита со следующим распределением вероятностей появле­ ния букв: Ki — 0,49; К2 — 0,14; /Сз — 0,14; Kt — 0,07; К ъ — 0,07; Ке — 0,04;

К-, — 0,02; Kg — 0,02; К9 — 0,01. Определить коэффициенты статистического сжатия

фективность при посимвольном кодировании, при кодировании по два символа, при кодировании по три символа. Вычислить соответствующие коэффициенты статисти­ ческого сжатия и относительной эффективности.

7.Закодировать методом Хаффмена блоки со следующими вероятностями появ­ ления в тексте: запятая — 0,37; товарищ — 0,13; свою — 0,125; в — 0,11; и — 0,08; труд — 0,06; бой — 0,05; отчизна — 0,05; хранить — 0,023; беззаветно — 0,002.

Построить во вторичном алфавите сообщение: товарищ, товарищ, в труде и в бою>

храни беззаветно отчизну свою.

8.Используя таблицу вероятностей появления букв в украинских текстах

(см. табл. 1), построить оптимальный код (кодирование побуквенное) для передачи.! текстовых сообщений на украинском языке.

Любая система передачи информации характеризуется такими пока­ зателями, как помехоустойчивость, эффективность и надежность..

Помехоустойчивостью называется способность системы осуществ­ лять прием информации в условиях наличия помех в линии связи.

и случайные, внутренние и внешние. Промышленные помехи возникают при работе двигателей станков, лифтов и кранов, сварочных аппаратов,, рентгеновских установок. К промышленным относятся также помехи, создаваемые городским электротранспортом. Атмосферные помехи — м о л н и и , пыльные и снежные бури, северное сияние, иней на антенне и даже солнечное излучение (в УКВ диапазоне).

Если помеха регулярная, то нетрудно найти ей противодействие. Например, фон можно устранить компенсацией, помеху от соседней радиостанции — применив соответствующий фильтр и т. д. Общими методами борьбы с регулярными помехами являются: методы накопле­ ния сигналов, построение кодов с обнаружением и исправлением,, ошибок, превышение уровня сигнала над уровнем шумов и т. д.

Если помеха случайная, то бороться с ней труднее. Случайные; помехи подразделяются на аддитивные и мультипликативные.

89