7.1. Производительность источника дискретных сообщений. Скорость передачи информации

Обычно источники передают сообщения, с некоторой скоростью, затрачивая в среднем время Т на передачу одного сообщения. Производительность источника H^’(U) назовем суммарную энтропию сообщений переданных за единицу времени

H^’(U)=(1/T)*H(U) (7.1)

Производительность измеряется в битах на секунду. Если сообщение может быть представлено в виде последовательности элементарных дискретных сообщений u_k источника с энтропией H(U) следующих со скоростью V_c=1/T элементов в секунду, то H^’(U)=V_c*H(U) (7.2). Аналогичным образом, обозначая H^’(u/z)=(1/T)*H(u/z) и I^’(u,z)=(1/T)*I(u,z) получим соответственные равенства для условных энтропии и количества информации, рассчитанных на одно сообщение a в единицу времени. Величина I^’(u,z) называется скоростью передачи информации от U к Z или наоборот. Если, например U ансамбль сигналов на входе дискретного канала, а Z ансамбль сигналов на его выходе то скорость передачи информации по каналу I^’(u,z)= H^’(U)- H^’(u/z)= H^’(Z)- H^’(z/u) (7.3).

Здесь H'(U) производительность источника передаваемого сигнала U, а H^’(Z) "производительность" канала, т.е. полная собственная информация в принятом сигнале за единицу времени. Величина H^’(u/z) представляет собой потерю информации или ненадежность канала в единицу времени, а H^’(z/u) скорость создания ложной, посторонней информации в канале не имеющей отношение к U и обусловленная присутствующими в канале помехами. По определению Шеннона ненадежность канала является энтропией входа, когда выход известен, т.е. ее можно считать мерой средней неопределенности принятого сигнала.

7.2. Пропускная способность дискретного канала

В любой системе связи по каналу передается информация, скорость ее передачи определяется выражением (7.3) как видно из него это скорость зависит от свойств самого канала, но и от подаваемого на его вход сигнала, и поэтому не может характеризовать канал как средство передачи информации. Попытаемся найти объективную характеристику способности канала передавать информацию. Рассмотрим дискретный канал, через который в единицу времени передается V_k символов источника с объемом алфавита M. При передаче каждого символа в среднем по каналу проходит количество информации I^’(u,z)= H^’(U)- H^’(u/z)= H^’(Z)- H^’(z/u) (7.4)

где U и Z ансамбли сообщений на входе и выходе канала. Из четырех фигурирующих здесь энтропий лишь H(U) - собственная информация источника передаваемых символов, определяется источником входного сигнала и не зависит от свойств канала. Остальные три энтропии в общем случае зависят как от свойств источника, так и от канала. Представим себе, что на вход канала можно подавать символы от различных источников характеризуемых различными распределениями вероятностей P(U) при одних и тех же значениях V_k и M. Для каждого такого источника количество информации переданной по каналу принимает свое значение. Очевидно, существует какой-то источник входного сигнала с некоторым распределением P(U) для которого величина I(U,Z) максимальна. Максимальное количество переданной информации, взятое по всевозможным источникам входного сигнала, характеризует сам канал, и называется пропускной способностью канала в расчете на один символ.

C_символ=max I(u,z) бит/символ (7.5)

где максимизация производится по всем возможным многомерным (т.е. учитывающим и статистическую взаимозависимость последовательно выдаваемых элементарных сообщений) распределением вероятностей P(U)). Обычно определяют пропускную способность в расчете на единицу времени.

C=max I^’(u,z) бит/символ (7.6)

которую и называют просто пропускной способностью канала. Пропускная способность канала удовлетворяет системе неравенств 0<C<V_k*log M, причем С=0 при независимых входе и выходе канала, т.е. H(U/Z)=H(U) (обрыв канала или сильные помехи). Ограниченное значение

C=V_k*log M (7.7)

наблюдается в том случае, когда помех в канале нет H(U/Z)=H(Z/U)=0 при этом H(U)=H(Z)=I(U,Z) если учесть что при заданном M H_max(U)=log M. Таким образом, пропускная способность дискретного канала без шума определяется равенством (7.7) при наличии шума C<V_k*log M.