Из рисунка видно, что пропускная способность не может увеличиваться безгранично. Она всегда стремится к постоянному значению.

Для увеличения пропускной способности нет смысла расширять полосу пропускания до бесконечности, ее целесообразно увеличивать до значения

Следовательно, для передачи 1 бита информации необходима энергия сигнала не менее примерно 0.693N0.

Теоремы кодирования Шеннона для канала связи с помехами

Пропускная способность характеризует потенциальные свойства передачи информации. Более конкретно эти возможности раскрываются в фундаментальных теориях Шеннона:

1. Теория кодирования для каналов с помехами, применительно к дискретному источнику:

если производительность источника сообщений H'(A) меньше пропускной способности C' дискретного канала связи с помехами, то есть H'(A) < C', то при любом δ > 0 существует метод кодирования (декодирования), при котором сообщения передаются получателю с вероятностью ошибки, меньшей δ (где δ – сколь угодно малая величина). Если же H'(A) > C', то таких методов кодирования не существует.

Отметим, что под кодированием здесь понимается преобразование сообщения в сигнал, а под декодированием обратное преобразование сигнала в сообщение.

Из данной теоремы следует, что пропускная способность определяется предельным значением безошибочной скорости передачи информации в условиях помех. Однако теорема не учитывает конкретные методы построения кодирующих и декодирующих устройств. Тем не менее, теорема чрезвычайно важна, так как она в корне поменяла существовавшее до этого мнение о возможностях техники передачи информации. Раньше считали, что для безошибочной передачи информации нужно обязательно замедлить скорость ее передачи. Таким образом, например, можно повысить вероятность передачи информации в канале связи без памяти, если применить метод накопления. Этот метод является простейшим методом кодирования, состоящим в том, что от источника символы «0» и «1» передаются по каналу связи с вероятностью

ошибок P < 0.5 с помощью двух кодовых комбинаций, включающих в себя n нулей и n единиц:

На приемной стороне регистрация производится по большинству одноименных посылок кодовых комбинаций. Ошибка будет возникать при условии, что неверно принятыми окажутся n/2 или более символов. В случае удлинения комбинации n → ∞ можно обеспечить сколь угодно малую вероятность ошибок, при этом скорость υ = 1/n будет иметь бесконечно малое значение.

Из теоремы Шеннона следует, что существуют коды, которые, в отличие от метода повторения, могут обеспечить передачу информации при конечной скорости, то есть без замедления.

При доказательстве Шеннон получил формулу для средней вероятности ошибочного декодирования:

Данное соотношение показывает, что с увеличением T вероятность ошибки уменьшается и в пределе стремится к нулю.

По условию данной теоремы разность C' - H'(A) > 0, следовательно, вероятность cвязи тем выше, чем длиннее кодовая комбинация. Но при этом растет и время на передачу каждого сообщения из-за роста задержек, вызванных их обработкой. Поскольку задержки времени не всегда желательны, то в этих случаях достоверность связи можно повысить посредством менее полного использования пропускной способности.

2. Теорема кодирования при передаче дискретных сообщений по непрерывному каналу связи с помехами.

В этом случае под кодированием понимают выбор некоторого числа реализаций сигнала S(t) в интервале T и сопоставление каждой из них с символами последовательности сообщений, выдаваемыми источником за то же время T.

Если сообщение от источника дискретного сигнала с производительностью H'(A) закодировать непрерывными сигналами S(t), то их можно передавать по непрерывному каналу связи с пропускной способностью C' при вероятности ошибки меньше сколь угодно малого положительного числа лишь при выполнении условия C' > H'(A). В противном случае, если C' < H'(A) это невозможно.

В этом случае вероятность ошибочного декодирования сигнала с длительностью T можно оценить с помощью этого же соотношения. Отметим, что в отличие от непрерывного канала связи, операции кодирования и декодирования в дискретных каналах связи выполняются в два этапа: сначала