9.2 Кодирование дискретных сообщений

Рассматривая источники дискретных сообщений, следует определить каким-то образом обозначить эти дискретные сообщения. Чаще всего для этого мы применяем присвоение некоторых чисел тому или иному сообщению. Данный процесс принято называть кодированием.

Кодирование – это отображение элементов одного множества элементами другого.

При этом правила такого отображения должны быть известны и для обратного преобразования.

Различают следующие виды кодирования: примитивное, эффективное (статистическое) и корректирующее (помехоустойчивое).

Примитивное кодирование (его еще называют первичным кодированием) связано с представлением сообщений в виде чисел в той или иной системе счисления. В современных цифровых СПИ часто применяют представление чисел в двоичной системе счисления. В рекуррентной форме:

(51)

где - представляемое число, - основание системы счисления, - разрядный коэффициент, изменяющийся от 0 до . Величина является номером разряда, - число целых разрядов, m - число дробных разрядов.

В десятичной системе счисления, когда данная формула может быть записана следующим образом:

(52)

где .

В двоичной системе счисления, когда , формула примет вид:

(53)

где .

При компьютерной обработке информации очень часто применяют восьмеричную и шестнадцатеричную системы счисления. Эти системы применяют в отдельных случаях, например, для обозначения адресов, расположения данных в памяти компьютера.

При этом для восьмеричной и шестнадцатеричной систем мы будем иметь следующие формулы, позволяющее представить сообщение в восьмеричной или шестнадцатеричной форме:

(54)

где .

(55)

где 0, 1, 2, 3…, 9, A, B, C, D, E, F.

В 16-ричной системе помимо известных цифр нам приходится использовать ещё 6 букв латинского алфавита, а именно A, B, C, D, E, F.

Пример:

Двоичное число

В десятичной форме это же число равно .

В восьмеричной - и

в шестнадцатеричной - .

Попробуйте ещё раз выполнить аналогичные примеры с какими-то другими числами для лучшей практики.

9.3 Эффективное первичное кодирование

Одно из важнейших приложение теории информации - это поиск потенциально достижимых границ по эффективному кодированию сообщений.

Пусть – ансамбль сообщений, наблюдаемый на выходе источника ДС.

Требуется подобрать такой эффективный код, который максимально устраняет избыточность ДС или приводит к минимально возможному объему цифрового представления ДС по сравнению с примитивным кодированием (максимальному сжатию данных).

Теоретической основой эффективного кодирования является первая теорема Шеннона (основная теорема кодирования для канала без шума), согласно которой при любой статистике источника ДС существует код по основанию , позволяющий при отсутствии ограничений на задержку получить среднее число кодовых символов на элемент сообщения, сколь угодно близкое к минимально возможному значению

(56)

или иначе, каким бы ни был источник ДС с энтропией , всегда существует такой способ кодирования сообщений, для которого выполняется условие: , где - сколь угодно малая величина, взятая "для перестраховки", поскольку имеем дело со случайными последовательностями.

Известен ряд методов первичного кодирования, при которых среднее количество символов, затрачиваемых на одно сообщение, стремится к энтропии источника. Один из таких методов - это метод укрупнения алфавита. Рассмотрим его на частном примере, из которого будут ясны все возможные обобщения.