Прикладная теория информации Учебное пособие

Для последовательности сообщений длительностью Т, содержащей m сигналов источника, имеем

где H(Z) – энтропия выходного сигнала или энтропия выхода канала, рассматриваемого как эргодический источник.

Аналогично для условной энтропии выхода канала запишем

действием помех.

Из соотношений (1.9) и (1.10) пропускная способность канала может

В качестве примера рассмотрим двоичный канал связи без памяти. Каналами без памяти называются такие каналы, у которых на каждый передаваемый сигнал (символ) шум действует независимо от того, какие символы передавались ранее. Длительность передаваемых символов

двоичного кода у0 и у1 («0» и «1») примем одинаковыми и равными τ и,

следовательно, τс = τ.

На выходе канала используется решающее устройство (РУ), с помощью которого принимаемые сигналы разделяются на две области z0 и z1

так, что если сигнал попадает в область z0, то считается (принимается решение), что был передан сигнал y0, а если в z1, то – у1.

Решающее устройство допускает принятие и ошибочных решений. Например, сигнал у1 может быть искажен помехой так, что он оказывается в области z0, в результате чего РУ принимает ошибочное решение, вероятность которого обозначим P(z0 y1) = PI. Аналогичное ошибочное решение может быть принято и для сигнала у0. Вероятность этого решения составит

P(z1 y0) = PII.

Очевидно, что при данных обозначениях вероятности правильного решения будут P(z0 y0) = 1 – PII и P(z1 y1) = 1 - PI. Для краткости записи обозначим априорные вероятности передачи сигналов P(y0) = P0 и P(y1) = P1 = 1 - P0 . Для рассматриваемого двоичного канала введенные обозначения схематично показаны на рис. 2 в виде следующей модели.

1-PI

Рис. 2. Модель двоичного канала

Используя правила теории вероятностей, можно найти значения априорных вероятностей различных решений, принимаемых на выходе канала:

Для вычисления пропускной способности рассматриваемого канала находим

H (Z ) = Hτ(Z ) =

такое формирование символов кода, при котором Р0 = Р0опт. Значение Р0опт

Р0опт(1 – Рош) + (1 – Р0опт)Рош – (1 – Р0опт)(1 – Рош) – Р0оптРош = 0.

Далее можем получить 1–2Р0опт =2Рош(1–2Р0опт), откуда Р0опт=

0,5.

Таким образом, условие обеспечения максимальной скорости передачи информации в симметричном канале с шумами такое же, как и в канале без шумов. Однако наличие шумов, приводящих к ошибкам, снижает пропускную способность каналов.

На рис. 3 приведен график зависимости Ссτ от Рош, полученный из формулы (1.15).

Pош

Рис. 3. График зависимости Ссτ от Рош

Как видно из этого графика, при Рош = 0,5 пропускная способность канала Сс = 0. Этот результат станет очевидным, если учесть, что для значения Рош = 0,5 при передаче каждого из символов на выходе канала с

равной вероятностью может быть принято решение z0 и z1. Эти решения могут иметь такую же ценность, как если бы передача сигналов прекратилась и на выходе канала принималось бы решение по результатам бросания

монеты (цифра или герб). Интересно также отметить, что если Рош > 0,5, то

с увеличением Рош пропускная способность канала возрастает. Этот, на первый взгляд, парадоксальный вывод становится очевидным, если принять во внимание, что мы всегда можем изменить правило распознавания символов на обратное, т.е. считать, что решение z1 соответствует передаче

символов у0, а решение z0 – передаче символа у1. Тогда вероятность принятия ошибочного решения станет равной 1 – Рош.

2. Пропускная способность непрерывных (аналоговых) каналов

Независимо от характера преобразований сигналов, происходящих в конкретном непрерывном канале связи, можно рассматривать этот канал как некоторый преобразователь (рис. 4), устанавливающий соответствие между

сигналами на выходе z(t) и на входе y(t). В результате воздействия помех (шумов) соотношение между z(t) и y(t) носит вероятностный характер.

Рис. 4. Структура непрерывного канала

Количество информации, содержащейся в случайном сигнале ZT, о случайном сигнале YT находится как

Рассмотрим случай, когда входной y(t) и выходной z(t) сигналы являются стационарными, эргодическими и стационарно связанными функциями времени. Выберем отрезки этих функций на временном интервале Т, полагая, что вне этого интервала y(t) и z(t) невелики, так что

функции yT(t) и с допустимой погрешностью определяются m отсчетами сигналов, взятыми в соответствии с теоремой Котельникова. В этом случае

в которых H(Z) – энтропия одного отсчета сигнала zT(t), а Н(Z Y) – условная энтропия отсчета.

Из выражений (2.1) – (2.3) получаем

где индексы опущены, т.к. они отсутствуют в правой части равенства.

Pш=σN2 (σN2 – дисперсия сигнала помехи). Заметим, что шум с нормальным законом распределения обладает максимальной энтропией и, следовательно, такой шум создает максимальное воздействие на полезный сигнал.

Определив пропускную способность канала, примем во внимание, что его полоса частот пропускания ограничена пределами от 0 до Fm, а средняя

мощность Рc полезного сигнала y(t) выражается через его дисперсию: Pc =

=σY2.

С учетом ограничения полосы частот пропускания канала спектры частот сигналов y(t), z(t) и n(t) не должны превышать частоты Fm. В этом

случае T0 = 2F1m и тогда выражение (2.5) можно представить так:

I= 2Fm [H ( Z ) − H ( Z / Y )].

Вслучае аддитивной помехи последнее выражение можно записать как

где H(N) – энтропия источника помехи в нашем случае с нормальным законом распределения, имеющим вид

Пропускную способность рассматриваемого канала можно найти с учетом (2.9) и (2.12) в виде

Поскольку Fm и σN в нашем случае заданы, то выражение, стоящее в квадратных скобках, будет наибольшим, если энтропия выходных сигналов канала H(Z) будет максимальной. Так как средние мощности полезного сигнала y(t) и шума n(t) ограничены, то их аддитивная смесь на выходе канала z(t) будет также иметь ограниченную мощность. При таком условии известно, что H(Z) будет наибольшей, если z(t) имеет нормальный закон распределения. Поскольку помеха имеет нормальный закон распределения, то и полезный сигнал y(t) должен иметь нормальный закон распределения.

Если полезный сигнал и сигнал помехи статистически независимы, то σZ2 =σY2 + σN2 и, следовательно,

Подставляя это значение H(Z) в (2.13) и учитывая обозначения σY2= Рс и σN2 = Рш, получаем

Выражение (2.14) представляет собой широко известную формулу Шеннона. Учитывая важность формулы Шеннона, проводим ее более детальное обсуждение. Из равенства (2.14) следует, что увеличить пропускную способность непрерывного канала можно или за счет

расширения его полосы частот пропускания Fm и соответствующего расширения спектра полезного сигнала, или за счет увеличения мощности полезного сигнала Рс.

Из рассмотрения формулы (2.14) следует, что одно и то же значение пропускной способности можно получить при разных комбинациях значений

полосы частот пропускания канала и отношения Рс /Рш.

Рассмотрим два канала: один с полосой частот пропускания от 0 до W0

(W0= Fм), а другой – от 0 до W > W0. При одинаковых пропускных способностях для первого канала отношение мощностей сигнал/шум

составит (Рс /Рш)0, а для второго – Рс /Рш.

С учетом выражения (2.14) и введенных обозначений для рассматриваемых каналов получим

откуда находим

Считая, что шум имеет равномерную спектральную плотность, мощность напряжения шума в полосе частот пропускания первого канала

составит Рш = S0W0, а второго – Рш = S0W. Здесь S0 характеризует мощность шума в полосе 1 Гц. Тогда выражение (2.15) можно представить в виде

отношение эффективных значений напряжений сигнала и шума:

значение h2 представляет отношение мощности сигнала к удвоенной

мощности шума в полосе частот пропускания канала W0 или требуемое отношение средней энергии сигнала, связанной с одним отсчетом непрерывного сигнала с максимальной частотой спектра W0, к спектральной плотности шума S0.

Рассмотрим случай, когда W→∞. Тогда из (2.16) получим

Из (2.18) следует, что минимально возможная требуемая мощность сигнала в идеальном канале с полосой частот пропускания W0 определится как

Для заданной конечной полосы частот пропускания непрерывного канала W минимально возможная величина hмин2 может быть определена из выражения (2.17) как

Выше отмечалось, что условие максимальной скорости передачи информации обеспечивается в случае, когда источник сообщения имеет нормальный закон распределения. Реальные источники обычно имеют ограниченный диапазон изменения непрерывной случайной величины от

-uc до +uc.. Наибольшее значение энтропии таких источников дает равномерное распределение. При одинаковой информативности эффективное

напряжение источника с равномерным распределением, равное uc 3 , должно несколько увеличиваться (не более 20% по сравнению с источником

снормальным распределением).

Вреальных каналах обычно в целях простоты рассматривается

прохождение гармонических сигналов с амплитудой uc. Эффективное напряжение гармонического (синусоидального) сигнала составляет uc 2 .

Тогда перерасчет отношения с/ш для гармонического сигнала и сигнала с равномерным распределением будет иметь вид

шумовая среднеквадратическая погрешность на выходе каналов: