1.6 Первая теорема к. Шеннона о кодировании

Это первая из трёх теорем Шеннона, на которых зиждется статистическая теория связи. Она мобилизует на решения упомянутой выше проблемы – проблемы согласования параметров кодов со свойствами источников информации. Речь идёт о статистических свойствах источников и статистических свойствах кодов, тех свойств, которые, в конце концов, как мы только что показали, в концентрированной форме выражаются (предстают в математических моделях) в соответствующими значениями параметра W (далее индекс k нам уже не нужен, ибо мы будем говорить преимущественно о кодах). В связи с этим, кодирование, о котором говорится в этой теореме, часто называют статистическим кодированием.

Выше мы с Вами отмечали, что одна из первых процедур актуализации информации – кодирование источника, процедура выбора первичного алфавита источника сообщений и обозначения его символами состояний источника. Часто на практике она совмещена с процедурой статистического кодирования.

Это совмещение происходит потому, что простое однозначное обозначение каждого естественного состояния источника информации соответствующим символом первичного алфавита источника сообщений приводит к абсолютной идентичности статистических свойств обоих этих ансамблей. Сообщения, составленные таким «лобовым» («ломовым») способом обладали бы избыточностью в той мере, в какой источнику присуща память.

Цель статистического кодирования – такое согласование статистических параметров кода со статистическими характеристиками источника, при котором сообщения о повелении источника не будут иметь избыточности.

Одним из показателей такого согласования, которое говорит, что при этом всё, что «генерирует» источник, в том же темпе попадает в сообщение, является равенство W_S = W_кода. В связи с этим такое кодирование ещё называют оптимальным кодированием.

1. Формулировка и доказательство

Теорема Шеннона о статистическом кодировании имеет много вариантов формулировок. Мы рассмотрим её в относительно простом и наглядном варианте, который сводится к следующему.

Если имеется дискретный источник с энтропией H_S , то обязательно найдётся код, при использовании которого возможно пополнение сообщений информацией со скоростью, сколь угодно мало отличающейся от H_S .

В символической форме это выглядит короче:

всегда найдётся код, обеспечивающий

С_кода = Log W_кода = H_S - ε,

где ε - сколь угодно малая величина.

Строгое доказательство этой теоремы громоздко и опирается на математические понятия и процедуры, к которым мы сейчас не готовы. Поэтому ограничимся общими, в достаточной мере убедительными рассуждениями на эту тему. При этом будем считать, что речь идёт о стационарном дискретном эргодическом источнике информации с памятью, энтропия которого заведомо меньше меры Хартли (H  H_S ).

Это значит, что для описания поведения такого источника сообщения в среднем должны содержать H_S бит информации на каждое состояние из репертуара источника.

1. Наличие источника информации с энтропией H_S означает, что любое записанное в естественном (или эквивалентном ему первичном алфавите источника сообщений с объёмом алфавита N) коде сообщение о его поведении, состоящее из n символов будет содержать ровно I = nH_S битов информации. В составе этих n символов известная их доля n₁ окажется лишней из-за избыточности такого сообщения.

Итак, можно записать I = (m₁+n₁)H_S,

где m₁ – достаточное количество символов гипотетического первичного алфавита без избыточности.

2. Если любую пару соседних состояний источника при кодировании источника обозначить символом нового (расширенного, с объёмом N²) алфавита, то в сообщении окажется не n, а n₂ = n/2 новых символов. При этом мы снова будем иметь I = nH_S , ибо новый символ стал вдвое (2H_S ) информативней и теперь I = [n/2]n2H_S = nH_S . При этом доля n₂ избыточных символов в составе сообщения уменьшиться. Здесь можно записать

I = (m₂+n₂)H_S , где m₂ – достаточное количество символов нового гипотетического вторичного алфавита без избыточности.

3. Если в процессе кодирования источника любую тройку пару соседних его состояний обозначить символом нового (расширенного – с объёмом N³) алфавита, то в сообщении окажется не n, а n₂ = n/3 новых символов. При этом мы снова будем иметь

I = nH_S , ибо такой новый символ теперь втрое (3H_S) информативней первичного. Но снова I = [n/3]n3H_S = = nH_S . При этом доля n₃ избыточных символов в составе сообщения снова уменьшиться. Здесь можно записать I = (m₃+n₃)H_S, где m₃ – достаточное количество символов ещё более нового гипотетического вторичного алфавита без избыточности.

4. По мере увеличения количества p соседних состояний кодируемого источника в отображающем эту цепочку состояний слове-символе расширенного алфавита доля n_р избыточных символов в составе сообщения неуклонно уменьшается и при некотором q  p может оказаться меньше сколь угодно малой наперёд заданной величины . Действительно, здесь можно записать

I = (m_р+n_р)H_S, где m_р – достаточное количество символов последнего гипотетического вторичного алфавита без избыточности, которое из–за малости n_р

5. Предположим, наконец, что сообщение состоит из r слов-символов ещё более расширенного алфавита. Каждое из этих слов имеет длину q символов первичного алфавита и отображает (обозначает) q  p состояний репертуара нашего источника информации (r = n/q). При этом доля n_q избыточных символов в составе сообщения окажется _q. Присвоим всем разным словам-символам (которые теперь выглядят символами последнего из цепочки представленных выше расширенных алфавитов c объёмом N_q= N^q) условные порядковые номера этих слов-символов в рамках этого расширенного алфавита.

На этом первая из процедур оптимального кодирования считается законченной. У нас есть новый алфавит, каждый из символов которого имеет свой номер. И этот алфавит почти не имеет избыточности.

Далее.

6. Записываем условные номера символов сформированного выше кода в двоичной системе исчисления, иначе говоря, в двоичном коде. После этого мы имеем N^q штук совершенно разных «слов-символов», каждое из которых состоит из одного и того же количества l_q= log₂[N^q]) бинарных символов (нулей и единиц) и будет обозначать в сообщении с одну из возможных цепочек (комбинацию) из q состояний источника информации. Такое новое слово-номер будем называть кодовым словом (или кодовой последовательностью), а полный их «комплект» (N^q штук) – новым равномерным бинарным кодом («равномерным» потому, что все его кодовые последовательности имеют одинаковую длину l_q , количеством бинарных символов).

7. Если далее каждое из r слов-символов (r = n/q) рассматриваемого нами длинного сообщения заменить соответствующим словом-номером, (то есть бинарными кодовыми словами охарактеризованного выше нового кода), то сообщение в целом окажется составленным из огромного количества k (k = rl_q) нулей и единиц. При этом оно будет выглядеть сообщением, которое записано бинарным кодом.

8. В связи с тем, что на этапе расширения алфавита мы избавились от избыточности в сообщении, то избыточности нет и при такой его записи. Следовательно, каждый символ составленного только из нулей и единиц сообщения будет максимально заполнен «новой» информацией. Поскольку речь идёт о бинарных символах, то каждый из них несёт ровно один бит информации.

9. Итак, доля n_q избыточных символов в составе сообщения будет меньше _q, а каждый из k образующих его символов будет иметь информативность в один бит. Тогда сообщение в целом будет содержать I= l_qхk битов информации. Следовательно,

k = n H_{S .}

В этом уравнении одно и то же количество информации («I») записано то (правая часть уравнения I = n H_S через информативность символов первичного кода, которая равна энтропии H_S ), то через информативность символов нового (хорошего бинарного) кода, которая равна 1 бит (левая часть уравнения I = k). Поделив обе части уравнения на n, получаем:

k/n = H_S

Величина k/n не что иное, как количество символов нашего последнего (бинарного) кода, которое приходится на один символ первичного алфавита (а точнее на каждое состояние кодируемого источника информации). Обозначим l₁= k/n. Обозначив далее достаточно малую величину (_q/n) H_S , которая всё же несколько уменьшает скорость пополнения сообщения информацией, символом ε, мы получаем возможность переписать полученное выше соотношение в такой форме:

l₁ = H_S - ε.

Поскольку l₁ это среднее количество символов хорошего (у нас 1_q ) бинарного кода, каждый из которых несёт 1 бит информации, то это (то есть l₁ = H_S - ε.) и есть среднее количество информации, которое «прирастает» в сообщении при вписывании в него набора из l_q нулей и единиц для обозначения каждого очередного состояния из репертуара источника. Это означает, что, пользуясь равномерными кодами, состоящими из записанных в двоичной системе исчисления условных номеров «слов-символов» расширенного алфавита, мы сможем формировать сообщение со скоростью, которая практически не отличается от энтропии источника информации. Эта же мысль может быть выражена математически. Предполагая, что реальный источники информации «функционирует» в темпе: «одно состояние в единицу времени», можем записать, что его информационная производительность равна

С_S = logW_S = H_{S .}.

С другой стороны пропускная способность полученного в результате описанных выше процедур кода

С_к = logW_к= l₁ = H_S - ε_q .

Этот код состоит из максимально (1 бит) «наполненных» информацией бинарных символов (0 и1) и позволяет «отводить» от её источника информацию со скоростью, сколь угодно мало отличающейся от его (источника) энтропии. А это означает, такой код – оптимальный код , а согласование статистических параметров первичного кода источника сообщений (W_к) со статистическими характеристиками источника информации (W_S) возможно. Действительно: logW_к  logW_S

Таким образом мы нашли равномерный оптимальный бинарный код для произвольного стационарного эргодического дискретного источника информации. Возможность чего и требовалось показать.

Таковы логические аргументы доказательства первой теоремы Шеннона о кодировании источника – теоремы о существовании оптимальных кодов, которые обеспечивают согласование статистических параметров кода со статистическими характеристиками источников информации. Эти аргументы, как Вы убедились, опираются на следствия известной теоремы Бернулли (закон больших чисел) который позволил записать использованной выше уравнение:

k = n H_S

К.Шеннон не указал в своём доказательстве никаких путей и способов составления кодов. Он только строго доказал их существование, чем дал толчок развитию новой отрасли знаний науки о кодах, шифрах и кодировании. Сейчас это не просто часть науки о связи, а большая и важная её часть. Кое-какие сведения о ней известны Вам из других курсов. И здесь мы не станем ограничиваться только что изложенными теоретическими соображениями.