12.5. Пропускная способность дискретного канала передачи данных без помех
Три главных вопроса:
1.
Пропускная способность
двоичная
единица в секунду
2.
Кодирование так, чтобы
;
Первая теорема Шеннона дает ответ на этот вопрос.
Пусть источник сообщений имеет энтропию H (двоичная единица / буква).
Канал обладает пропускной способностью C (двоичная единица в секунду).
C/H – средняя скорость передачи, с большей скоростью передавать нельзя.
Резюме. Можно закодировать сообщение на выходе источника таким образом, чтобы передавать буквы по каналу со средней скоростью (C/H)- ( – бесконечно малая величина) букв в секунду. Передавать со скоростью большей C/H невозможно! Передача C/H букв в секунду возможна лишь при наилучшем, оптимальном кодировании.
3. Как осуществить процедуру кодирования.
Первая теорема Шеннона устанавливает лишь, что оптимальное кодирование существует, но не указывает как его получить!
О кодировании см. лекцию 10.