8.2. Согласование источника с каналом по объемам алфавитов. Теоремы кодирования шеннона и потенциальные возможности системы передачи информации

Под потенциальными возможностями систем передачи информации будем понимать возможности, определяемые теоремами кодирования, сформулированными Клодом Шенноном.

8.2.1.Теорема Шеннона для дискретного канала связи без помех

Из определения пропускной способности следует, что ставить знак равенства между пропускной способностью и скоростью передачи информации нельзя. Ответ на вопрос, в какой мере скорость передачи информации может быть приближена к пропускной способности канала, дают теоремы Шеннона. Для дискретного канала без помех ее формулировка сводится к следующему.

Если поток информации, вырабатываемый источником, достаточно близок к пропускной способности канала, то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений, вырабатываемых источником, причем, скорость передачи информации будет весьма близка к пропускной способности канала.

Это утверждение имеет следующую форму математической записи:

(8.1)

где - скорость передачи информации;– пропускная способность канала; - сколь угодно (бесконечно) малая величина.

Обратное утверждение теоремы заключается в том, что невозможно обеспечить длительную передачу всех сообщений, если поток информации, вырабатываемый источником, без помех в канале связи превышает пропускную способность канала.

. (8.2)

Таким образом, теорема Шеннона утверждает, что при выполнении условия скорость передачи информации может быть в принципе сколь угодно приближена к пропускной способности канала. Это может быть обеспечено соответствующим кодированием сигналов.

8.2.2. Теорема Шеннона для дискретного канала связи с помехами

Для дискретного канала с помехами Шенноном доказана следующая теорема.

Если поток информации, вырабатываемой источником, достаточно близок к пропускной способности канала, то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений, вырабатываемых источником, а вероятность ошибочного опознания любого переданного сообщения будет сколько угодно малой.

Математически близость потока информации источника и пропускной способности канала записывается в виде равенства:

(8.3)

где - скорость передачи информации;С – пропускная способность канала;  - сколь угодно (бесконечно) малая величина. То, что вероятность ошибочного опознания будет сколь угодно малой записывается следующим образом:

(8.4)

где - вероятность ошибочного опознания переданного сообщения, – сколь угодно малая величина.

Обратное утверждение теоремы состоит в том, что если поток информации источника превышает пропускную способность канала, то не существует способа кодирования, обеспечивающего передачу любого сообщения с малой вероятностью ошибки.

Эта теорема определяет соотношение между скоростью создания сообщений источником, пропускной способностью канала при наличии помех и достоверностью опознания сообщения на приеме.

Теорема Шеннона не указывает практических путей нахождения оптимального кода, чтобы приблизить скорость передачи информации к пропускной способности канала. Установлено лишь, что для приближения скорости передачи к предельной величине общим методом для каналов с помехами и без помех является кодирование длинных сообщений.

Вместе с тем, значение этих теорем трудно переоценить. До К. Шеннона считалось, что в канале с заданными помехами обеспечить сколь угодно малую вероятность ошибки можно только при стремлении скорости передачи к нулю. Теоремы показывают, что путем выбора соответствующего способа кодирования можно обеспечить сколь угодно малую вероятность ошибки при конечной скорости передачи информации.