2.5. Информационные характеристики источника и канала.
Возвратимся к ситуации рассмотрения
двух ансамблей сообщений
и
,
которые для наглядности ассоциировались
с входными сообщениями и выходными
наблюдениями канала соответственно.
Пусть
– средняя длительность передачи одного
сообщения
,
тогда величина
,
характеризующая среднее количество информации, выдаваемое источником в единицу времени, называется производительностью источника. В том случае, когда в качестве выходных сообщений источника выступают последовательности из m элементарных сообщений, то производительность источника определяется как
.
Рассматривая источник сообщений, было
установлено, что средняя неопределенность
появления сообщения, а значит, и среднее
количество, переносимое им информации,
определяется энтропией источника
.
Своего максимального значения, равного
,
данная характеристика достигает тогда,
когда все элементарные сообщения
независимы и равновероятны. Соответственно
количество информации, доставляемое
сообщениями (или символами) указанных
источников будет различно. Пусть, как
и прежде, сообщение представляет собой
блок из m символов,
тогда содержащееся в нем количество
информации будет
.
Если же ориентироваться на ансамбль с
максимальной энтропией, то для переноса
такого же количества информации было
бы затрачено меньшее количество символов
,
где
называется избыточностью источника.
Она характеризует допустимую степень
сжатия сообщений при использовании
источника с максимальной энтропией.
Обратимся теперь к каналу связи, на
вход которого поступает последовательность
символов
,
где
– входной алфавит, а
– множество всех возможных входных
последовательностей
.
Пусть на выходе канала наблюдается
некоторая последовательность
,
а
–
множество всех выходных последовательностей
.
Пусть заданы переходные вероятности
для всех
и
.
Тогда согласно (2.14), средняя взаимная
информация между входным и выходным
ансамблями запишется в виде
,
где
.
Назовем средней взаимной информацией между входом и выходом канала, приходящейся на один символ, величину
. (2.30)
Тогда величина
,
характеризующая среднее количество
информации, передаваемое в единицу
времени, называется скоростью передачи
информации. А максимальное количество
переданной в единицу времени информации,
взятое по всем возможным значениям длин
m и распределениям
,
входных последовательностей
, (2.31)
называется пропускной способностью канала.
В обсуждаемых далее теоремах кодирования для канала данная характеристика играет ключевую роль. Если скорость передачи не превышает этой величины, то, как утверждается прямыми теоремами кодирования, в принципе возможна работа со сколь угодно малой вероятностью ошибки. Смысл обратных теорем состоит в том, что при скоростях, больших пропускной способности, достижение высокой достоверности принципиально невозможно.