3.1. Передача информации. Пропускная способность канала связи

1) Процесс передачи информации состоит в следующем.

Преобразованный сигнал поступает на линию связи, которая и осуществляет его передачу приемнику. Количество информации, содержащееся в отдельном сигнале, имеющем вероятность , составляет бит и может быть сколь угодно велико. Однако в среднем в достаточно длинном сообщении один двоичный сигнала переносит не более одного бита информации. Не рассматривая детально проблем передачи сигналов отметим, что не все они несут полезную информацию, отдельные из них могут искажаться и т.д. Все это приводит к тому, что любая конкретно взятая линия связи имеет определенную строго ограниченную конкретными условиями и физической природой линии пропускную способность, под которой понимается наибольшая скорость передачи информации, то есть количество информации, которую каждый канал может передать в единицу времени.

Пусть сообщение предается с помощью русского или какого-либо иного алфавита. Энтропия одной буквы (символа) сообщения⁵⁸ равна (бит/символ). Каждая буква передается с помощью элементарных сигналов, каждый из которых может принять значений. Тогда скорость передачи по линии связи равна:

(букв/ед.времени)

(3.98)

- количество предаваемых элементарных сигналов.

При отсутствии помех пропускная способность линии связи определяется:

(3.99)

Максимальное число сигналов , которое можно передать по данной линии связи равно:

(3.100)

- минимальный промежуток времени, разделяющий два следующих один за другим сигнала, при котором еще можно различить их. В более широком смысле мы можем говорить о различимости состояний системы.

2) При наличии помех эта скорость существенно снижается. Рассмотрим вопрос детальнее.

Для любого канала связи ненулевая апостериорная неопределенность, то есть величина энтропии после получения сообщения в теории передачи информации определятся наличием шума, вообще говоря, любой природы. Но при дальнейшем изложении наибольший интерес представляет шум физического, а не механического происхождения (то есть тепловой и квантовый шум). Вследствие этого, для получения термодинамических характеристик можно ограничиться только тепловым шумом.

Если распределение вероятностей амплитуд реализации шума в последовательных точках гауссово, то шум называется гауссовым. Если к тому же мощность шума распределена равномерно в полосе пропускания канала, то такой шум называется белым.

Для белого гауссова шума Шеннон вывел формулу максимальной пропускной способности при условии, что средняя мощность сигнала (пересчитанная ко входу приемника) ограничена величиной :

(3.101)

Шеннон показал, что указанная формула дает предельное значение пропускной способности, которое может быть достигнуто путем случайного кодирования - такого, чтобы сигнал при заданной мощности имел статистическую структуру белого гауссова шума.

В общем случае величина пропускной способности канала равна:

, где

(3.102)