2.2.Общие принципы и основная теорема кодирования дискретных источников сообщений

Имеется источник без памяти вида

X=. (2.4)

Под кодированием сообщений источника Х будем понимать представление каждого сообщения источника Х в виде кодовой последовательности (вектора) y_jY так, чтобы между i-м сообщением источника Х и j кодовой последовательностьюсуществовало строго однозначное соответствие [2]. При этом длина этой кодовой последовательности будет n_i, причем мощность источникаYравнаM<N.

Возможно кодирование двух типов:

1)равномерное кодирование n_i=n=const;

2)неравномерное кодирование n_i=var.

Рассмотрим эти типы кодирования.

Пусть имеется источник вида

.

Здесь M=2 – объем (мощность) кодового множества (двоичный код).

Определим эти типы кодирования следующими условиями:

1. n=ближайшее целое снизу, для которого выполняется неравенство

;

2. 

Реализация процессов кодирования сведена в табл. 2.1.

Таблица 2.1Кодирование источника

xi	P(xi)	I(xi)	y(1)	y(2)
x1 x2 x3 x4 x5 x6 x7 x8	1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16	2 2 3 3 4 4 4 4	000 001 010 011 100 101 110 111	00 01 100 101 1100 1101 1110 1111

Средняя длина кодового слова для каждого типа кодирования равна:

1. ;

2. 

При кодировании источников сообщений существуют верхняя и нижняя границы эффективности кодирования сообщений дискретного источника, которые могут быть определены в виде следующей теоремы.

Теорема (о средней длине кодового слова)

При заданном ансамбле статистически независимых дискретных сообщений источника X, обладающего мощностью N и энтропией H(X), можно так закодировать его сообщения с помощью множества кодовых символов источникаY, мощностью M < N, что среднеeколичество кодовых символов, приходящихся на одно сообщение источника X, будет удовлетворять неравенствам:

. (2.5)

Доказательство.

Для доказательства используем то обстоятельство, что при кодировании источников сообщений должны отсутствовать потери информации, т.е. должно выполняться равенство

, (2.6)

где y_kiэлементарный кодовый символ (разряд),

число кодовых символов k^-йкодовой последовательности.

Согласно (2.6) собственное количество информации должно равняться сумме количеств информации выходных символов.

Величина энтропии, приходящейся на каждый i^-йкодовый символбудет достигать максимума log M в том случае, когда символы статистически независимы и имеют равномерное распределение.

При этом в силу положительной правой части (2.6) можно найти такое ближайшее целое сверху n_k, для которого

,

откуда следует

.

Преобразуем полученное выражение относительно n_kк виду

.

Усредняя все части неравенства по множеству X, получим

,

что соответствует начальной формулировке теоремы.

Определим избыточность кода (способа кодирования) в виде

С учетом уравнения информационного баланса (2.6) имеет место равенство

H(X)= H(Y),

откуда информационная избыточность кода определяется в виде

(2.7)

Чем меньше или чем больше энтропия кодового символа, тем ниже избыточность кодового представления источника, а это достигается лишь в том случае, если распределение вероятности кодовых символовy_kiблизко к равномерному.

Рассмотрим избыточность кодов в ранее приведенном примере.

Избыточность источника

.

Для равномерного кодирования

.

Для неравномерного кодирования

.