4. Количество и скорость передачи информации по дискретному каналу с шумами

На рис. 3.3 представлена структура системы связи.

Рис. 3.3. Структура системы связи

Генератор выдает последовательность символов ,. Кодирующие устройство выдает последовательность символов,, причемможет не равняться(). В процессе передачи по каналам связи вследствие воздействия помех сигналможет быть искажен и получатель сообщения получит последовательность,, вследствие чего возможна ситуация когдаи.

Операция преобразования ви обратно имеет однозначный характер, но в случае сильных помех, повосстановитьбудет невозможно. При этомне означает, что получатель сообщения получает больше информации, объем полезной информации не изменился.

Будем считать что, если символ принят правильно, то переданному символу соответствует принятый символ. Введем вероятность, соответствующую случаю, если при передаче по каналу связи символабыл принят символ.

Для идеального канала связи

Для канала с шумами

.

Рассматривая принятое сообщение как источник без памяти, который передавал, можно оценить объем информации, потерянной при передаче как

.

Если рассмотреть все возможные значения , то получим

, (2.23)

при этом зависит вероятностных характеристик источника, так и от канала связи. В статистической радиотехникерассматривают как ненадежность канала связи.при отсутствии в канале связи помех.

Согласно ранее полученным (2.13)

.

Под переданной по каналу связи с шумами информацией понимается

Из выражения (2.23) видно, что ,то есть ненадежность канала, зависит как от выходной последовательности источника, так и от входной последовательности приемника.В связи с этим можно записать

.

5. Теорема оптимального кодирования

Для определения предельных характеристик дискретных каналов связи К.Шенноном была введена величина, названная пропускной способностью канала связи

. (2.24)

.

При полностью независимых входе и выходе канала связи (канал связи полностью забит помехами) . Максимальное значение, получается, если в канале связи нет помехи.

Например, в случае двоичного дискретного канала связи (), при заданной вероятности ошибки в канале, пропускная способность будет равна

.

График нормированной пропускной способности канала связи представлен на рис. 2.4.

Рис. 3.4. График зависимости нормированной пропускной способности двоичного дискретного канала связи от вероятности ошибки в канале связи

Из рис. 2.4. видно, что пропускная способность канала связи максимальная в случае, если ошибок в канале связи нет , или в случае если, то есть каждый передаваемый символ меняется на противоположное значение (фактически канал связи работает в качестве инвертора). Если– вероятность приема символа не зависит от того какой символ передает источник сообщения и в этом случае пропускная способность канала связи.

Суть теорема оптимального кодирования состоит в следующем:

Если для дискретного канала связи

. (2.24)

то существует способ оптимального кодирования, при котором ненадежность канала связи .

Если , то такого способа кодирования не существует.

Теорема оптимального кодирования говорит о возможности построения оптимального кодирования, но не указывает способа построения подобного кода.

При доказательстве теоремы оптимального кодирования [] используется принцип случайного кодирования длинными блоками. Однако такой способ практически не реализуем на практике, так как для его реализации требуется экспоненциальный рост количества элементов кодера и декодера в зависимости от используемой длины блока. Экспоненциальный характер, в свою очередь, требует увеличения количества памяти и времени на вычисления.

На практике применяются способы кодирования и декодирования, при которых количество элементов растет линейно в зависимости от длины кода.