4.2. Избыточность информации

Предположим, что необходимо передать сообщение с помощью наименьшего числа символов. Очевидно, что это возможно, если на каждый символ приходится максимальное количество информации, т.е. нужен источник сообщений, вырабатывающий символы, равномерно распределенные и статистически независимые. Назовем такой источник оптимальным, а его энтропию обозначим H_о. Реальные источники передают сообщения, состоящие из не равновероятных и статистически связанных символов. Поэтому энтропия реальных сообщений H_р оказывается меньше энтропии оптимальных сообщений H_о, а число символов для передачи одинакового количества информации – больше:

Таким образом, часть символов n_р  n_о являются избыточными. Мера избыточности реальных сообщений по сравнению с оптимальными обозначается D (называется избыточность) и вычисляется по формуле

.

Отметим, что наличие избыточности нельзя рассматривать как признак несовершенства источника сообщений. Избыточность способствует повышению помехоустойчивости сообщений и точности их приема. Например, высокая избыточность естественных языков обеспечивает надежное общение между людьми.

4.3. Пропускная способность канала связи

Введение понятий энтропии, количества информации, скорости выдачи информации источником, избыточности позволяют характеризовать свойства систем передачи информации (при этом будем понимать в качестве систем передачи информации также системы ее обработки и хранения). Однако для их сравнения такого описания недостаточно, так как может интересовать не только передача определенного количества информации, но так же передача его в возможно более короткий срок; не только хранение определенного количества информации, но так же хранение его с помощью минимальной по объему аппаратуры и т.п.

Пусть количество информации, которое передается по каналу связи за время Т равно I_T = H_T(X) – H_T(X/Y). Здесь под X понимается вход (сообщение на входе), а под Y – выход канала связи (сообщение на выходе). Если передача сообщения длится Т единиц времени, то скорость передачи информации составит

.

Это количество информации, приходящееся в среднем на одно сообщение за единицу времени. Если в единицу времени передается n сообщений, то скорость передачи будет составлять R = n[H(X) – H(X/Y)].

Пропускная способность канала связи есть максимально достижимая для него скорость передачи информации (или максимальное количество информации, передаваемое за единицу времени):

C = max R = n[H(X) – H(X/Y)]_max = n(I_YX )_max (4.3)

Для упрощения записи далее вместо I_YX будем писать I(X, Y).

Пропускная способность является важнейшей характеристикой каналов связи, которая определяет, возможна ли передача без задержек по каналу связи. Соответствующее условие формулируется в первой теореме Шеннона о кодировании (для каналов без помех).

Теорема 4.1. Первая теорема Шеннона. Путсь имеется источник информации X с энтропией Н(X) и канал связи с пропускной способностью C. Если C ≥ H(X), то всегда можно закодировать достаточно длинное сообщение таким образом, что оно будет передано без задержек. Если же C < H(X), то передача сообщений без задержек невозможна.

Выше был рассмотрен канал связи без учета помех – идеальная модель. В отличие от нее в реальных каналах всегда присутствуют помехи. Однако, если их уровень настолько мал, что вероятность искажения практически равна нулю, можно условно считать, что все сигналы передаются неискаженными. В этом случае все сказанное ранее остается справедливым. В противном случае необходимо использовать другие, более точные, модели.

Например, рассмотрим бинарный канал связи, пропускную способность которого нужно определить. В таком канале возможна передача только двух символов (двоичных сигналов). При этом с вероятностью p каждый из двоичных сигналов может перейти в противоположный сигнал (рис. 4.2). Такой канал связи называется симметричным бинарным каналом с помехами.