Вторая теорема Шеннона

П

X

Y

Y

K

усть имеется источник информации X и приёмник Y, связанные каналом связи K.

Известна производительность источника информации H(X), т.е среднее количество двоичных единиц информации, поступающее от источника в единицу времени. Численно - это значение средней энтропии сообщения, производимого источником в единицу времени.

Пусть, кроме того, известна пропускная способность канала С, т.е. максимальное количество информации (например, 0 или 1), которое способен передать канал в ту же единицу времени.

Возникает вопрос: какова должна быть пропускная способность канала, чтобы он «справлялся» со своей задачей, т.е. чтобы информация от источника X к приёмнику Y поступала без задержки?

1-я теорема Шеннона

Если пропускная способность канала связи С больше энтропии источника информации в единицу времени С > Н (X), то всегда можно закодировать достаточно длинное сообщение, чтобы оно передавалось каналом связи без задержки.

Если же напротив, С < Н (X), то передача информации без задержки невозможна.