Вопрос 24 Теорема Шеннона для канала без шума и ее практическое значение.

Идеальный канал без памяти (канал без шума) - дискретный канал, вероятность возникновения ошибки у которого близка к 0. Пропускная способность такого канала C=V_k*logN. При наличии идеального канала стоит задача согласование дискретного источника с дискретным каналом без шума: о возможности передачи по нему без потерь от произвольного дискретного источника, характеризующегося некоторой производительностью H’(U) со скоростью, равной пропускной способности канала.

Для того, чтобы скорость передачи информации в канале была равна его пропускной способности, на вход канала должен действовать дискретный источник с определенными статическими свойствами, максимизирующие величину i(Z,Z*). Функция кодера, осуществляющего согласование в статическом смысле сообщения источника со входного канала, является полным устранением избыточности сообщения. Кодер осуществляет кодирование сообщения, т.е. каждому дискретному сообщению по определенным правилам ставит в соответствие последовательность символов из алфавита объемом N. Возможность построения кодера, полностью устраняющего избыточность произвольного источника сообщений, и определяет возможность решения поставленной задачи безошибочной передачи информации со скоростью, равной пропускной способности канала. При полном ее решении оказывается справедливым равенство: , откуда имеем , где H(U) - энтропия источника передаваемых сообщений, V_k и V_c - средние количества символов соответственно сообщения и кода передаваемых в единицу времени. η - среднее количество символов кода приходящиеся на одно сообщение. Степень приближения к точному выполнению равенств зависит от степени уменьшения избыточности источника сообщений.

Кодирование позволяющее устранять избыточность источников сообщений называется эффективным. Предельные возможности такого кодирования раскрывается в теореме Шеннона для канала без шума, которая является одним из основных положений теории передачи информации.

Т: Пусть источник сообщений имеет производительность H’(U) = V_c H(U), а канал имеет пропускную способность C =V_klog M. Тогда можно закодировать сообщения на выходе источника таким образом, чтобы получить среднее число кодовых символов приходящихся на элемент сообщения η = V_k / V_c = (H(U) / log M) + ε, где ε - сколь угодно мало (прямая теорема).

Получить меньшее значение η невозможно (обратная теорема).

Вопрос 25. Теорема Шеннона для канала с шумом и ее практическое значение.

Р ассмотрим задачу согласования дискретного источника с дискретным каналом с шумом, когда в процессе передачи сигнал искажается шумом. Наличие в канале шума приводит к тому, что по сигналу Z* нельзя однозначно определить сигнал Z. Этот эффект характеризуется наличием потерь ин­формации или ненадежностью канала H(Z/Z*)>0

Производительность ансамбля сигналов Z на входе канала должна быть выше производительности источника сообщений U, и, следовательно, Z , кроме информации об U, должен содержать дополнительную собственную информацию.

При этом если бы удалось ввести дополнительную информацию таким образом, чтобы при прохождении сигнала Z по каналу с шумом вследствие ненадежности канала терялась бы именно она, а не полезная информация о сообщении U, то оказалось бы возможным обеспечить безошибочную передачу сообщений U по каналу с шумом с конечной скоростью H’(U) <C. Таким образом, задачей кодера в данной ситуации является согласование источника с каналом, заключается во внесении в сообщение источника избыточности, обладающей описанной выше свойством.

Теорема Шеннона для канала шумом: если производительность источника сообщений H(U) меньше пропускной способности канала С т.е. H(U) < C, то существует такая система кодирования которая обеспечивает возможность передачи сообщений источника со сколь угодно малой вероятностью ошибки (прямая теорема) Если H’(U)<C, то можно закодировать сообщение таким образом, что ненадежность в единицу времени будет меньше, чем H’(U) – C+ ε, то H’(U / U*) <H’(U)–C+ ε. (Обратная теорема) Не существует способа кодирования обеспечивающего ненадежность в единицу времени меньшую, чем H’(U)-C.

В такой формулировке эта теорема была дана самим Шенноном. В литературе часто вторая часть прямой теоремы и обратная теорема объединяются в виде обратной теоремы сформулированной так: если H’(U)>C, то такого способа кодирования не существует.