2.Равномерные и неравномерные коды

1.2.1. Кодирование сообщений

Процесс передачи информации заключается в том, что сооб­щения преобразуются в сигналы и по системе связи передаются получателю. Получатель, зная закон соответствия между сообще­ниями и сигналами, может извлечь содержащуюся в сообщении ин­формацию. Для верного декодирования каждому сигналу должно соответствовать одно определенное сообщение.

Простые код» делят на равномерные и неравномерные.

Равномерными называются такие коды, в которых все кодовые комбинации имеет одинаковую длину, т.е. имеют одинаковое чис­ло единичных элементов.

Неравномерными называют такие коды, кодовые комбинации которых могут отличаться одна от другой числом единичных эле­ментов.

Оценка простых кодов производится по скорости передачи, помехоустойчивости и сложности технической реализации.

1.2.2. Равномерные простые коды

Как следует из определения, простые равномерные коды сос­тоят из комбинаций одинаковой длины.

Пусть имеется некоторое сообщение, состоящее из М эле­ментов, представляющее собой некоторую последовательность m(m<<M)   знаков (например, книга имеет M =100000 элемен­тов, представляющая собой некоторую последовательность из 32 букв, 10 цифр и 11 знаков препинания, т.е. из m = 53 знаков). Как известно, это сообщение несет некоторое количество инфор­мации I, равное:

I=log2N

где N - число возможных вариантов последовательностей из M элементов.

Поскольку последовательность из M элементов составлена знаками, каждый из которых ( xi) появляется в последо­вательности с различными вероятностями рi , то, используя формулу Стерлинга, можно показать, что количество информации в этой последовательности будет:

На один элемент сообщения будет приходиться в среднем количество информации:

Если каждый знак сообщения кодируется n -элементной кодовой комбинацией, состояний из двоичных символов, то каждый из них будет содержать Нэ количества информации

Очевидно, что код следует считать наилучшим с точки зрения скорости передачи тогда, когда Нэ будет максимально возможным.

Из теории информации известно, что один двоичный элемент может содержать максимальное количество информации равное 1-му биту, т.е. всегда Нэ <= I.

Следовательно, величина

может служить мерой, информационной недогрузки каждого двоич­ного элемента.

Если число знаков, из которых состоит сообщение, m=2n и все знаки равновероятны pi=1/m , то величина R = 0 Действительно.

Таким образом, максимальная скорость передачи равномерно­го простого кода будет тогда  и только тогда, когда выполняются условия 

где n - целое число.

Кроме того, за счет простых способов определения на при­емной стороне начала и конца каждой кодовой комбинации, что является необходимым условием однозначного декодирования, по­мехоустойчивость равномерных кодов достаточно высокая. Важным фактором является также то, что простые равномерные коды лег­ко преобразуются в корректирующие коды для повышения достовер­ности информации. Все это привело к тому, что равномерные ко­ды получили широкое применение на практике.

Увеличение алфавита может быть достигнуто за счет того, что кодируются не только отдельные буквы (цифры), а и целые слова и даже отдельные фразы. Естественно - это вызывает не­обходимость увеличения числа регистров при использовании того же 5-элементного равномерного кода.