2.4. Пропускная способность канала с помехами.

Канал передачи, в котором возможны искажения, называется каналом с помехами. В частном случае ошибки возникают в процессе самого кодирования, и тогда кодирующее устройство может рассматриваться как канал с помехами.

Наличие помех приводит к потере информации. Чтобы в условиях наличия помех получить на приемнике требуемый объем информации, необходимо принимать специальные меры. Одной из таких мер является введение «избыточности» в передаваемые сообщения; при этом источник информации выдает заведомо больше символов, чем это было бы нужно при отсутствии помех. Одна из форм введения избыточности – простое повторение сообщения. Таким приемом пользуются, например, при плохой слышимости по телефону, повторяя каждое сообщение дважды. Другой общеизвестный способ повышения надежности передачи состоит в передаче слова «по буквам» – когда вместо каждой буквы передается хорошо знакомое слово, начинающееся с этой буквы.

С помощью методов теории информации можно для каждого уровня помех найти нужную степень избыточности источника информации. Те же методы помогают разрабатывать специальные помехоустойчивые коды. Для решения этих задач необходимо уметь учитывать потерю информации в канале, связанную с наличием помех.

Наличие помех приводит к потере информации. Чтобы в условиях наличия помех получить на приемнике требуемый объем информации, необходимо принимать специальные меры. Одной из таких мер является введение «избыточности» в передаваемые сообщения; при этом источник информации выдает заведомо больше символов, чем это было бы нужно при отсутствии помех. Одна из форм введения избыточности – простое повторение сообщения. Таким приемом пользуются, например, при плохой слышимости по телефону, повторяя каждое сообщение дважды. Другой общеизвестный способ повышения надежности передачи состоит в передаче слова «по буквам» – когда вместо каждой буквы передается хорошо знакомое слово (имя), начинающееся с этой буквы.

Стоит отметить, что все живые языки естественно обладают некоторой избыточностью. Эта избыточность часто помогает восстановить правильный текст «по смыслу» сообщения. Вот почему встречающиеся вообще нередко искажения отдельных букв телеграмм довольно редко приводят к действительной потере информации: обычно удается исправить искаженное слово, пользуясь одними только свойствами языка. Этого не было бы при отсутствии избыточности.

Расчеты, проведенные на материале наиболее распространенных европейских языков, показывают, что их избыточность достигает 50 % и более (т.е., грубо говоря, 50 % передаваемых символов являются лишними и могли бы не передаваться, если бы не опасность (искажений)).

Однако для безошибочной передачи сведений естественная избыточность языка может оказаться как чрезмерной, так и недостаточной: все зависит от того, как велика опасность искажений («уровень помех») в канале связи.

С помощью методов теории информации можно для каждого уровня помех найти нужную степень избыточности источника информации. Те же методы помогают разрабатывать специальные помехоустойчивые коды (в частности, «самокорректирующиеся» коды). Для решения этих задач необходимо уметь учитывать потерю информации в канале, связанную с наличием помех

Задание: Выяснить, достаточна ли пропускная способность каналов для передачи информации, поставляемой источником, если имеются источник информации с энтропией в единицу времени Ĥ(X) =110 (двоичных единиц) и два канала связи, каждый из них может передавать в единицу времени 73 двоичных знаков (0 или 1). Каждый двоичный знак заменяется противоположным с вероятностью µ=0,12.

Определяем потерю информации на один символ:

η (µ) = 0, 3671;

η (1-µ) = 0, 1623;

η (µ) + η (1-µ) = 0, 3671 + 0, 1623 = 0, 5294 двоичных единиц. На один символ теряется информация 0,5294 двоичных единиц в единицу времени.

Максимальное количество информации, передаваемое по одному каналу в единицу времени:

C = 73 (1-0,5294) = 34,35 двоичных единиц.

Максимальное количество информации, которое может быть передано по двум каналам в единицу времени:

Cmax. = 34,35*2 = 68,7 двоичных единиц.

С<(Х), т.к. 68,7<110, следовательно, передача информации без задержки невозможна

Вывод: двоичных единиц недостаточно для обеспечения передачи информации от источника.