Задача. Определить энтропию потерь двоичного канала связи без памяти, если при обработке информации установлено, что вероятности появления символов «0» и «1» на входе канала связи равны 0.5, а вероятности появления символов «0» и «1» на выходе канала связи при наличии этих символов на его входе равны соответственно P(0|0) = 0.6 и P(1|1) = 0.8.
Решение. Приведем модель канала связи графически в виде переходных вероятностей
Ps0 «0» |
P(0|0) |
«0» P's0 |
|
Ps1 «1» |
P(1|1) |
«1» P's1 |
|
В соответствии с формулой (20), энтропия потерь:
|
|
n |
|
|
|
|
m |
|
|
|
|
|
|
|
|
|
|
|
|
H (B | A) = − |
|
P(a ) |
|
P(b |
j |
| a )log |
m |
P(b |
j |
| a ) = |
|||||||||
|
|
|
|
|
i |
|
i |
|
|
|
|
|
i |
|
|||||
|
|
i=1 |
|
|
|
|
j=1 |
|
|
|
|
|
|
|
|
|
|
|
|
= −P |
P (0 | 0)log |
2 |
P ( |
0 | 0) + P (1| 0)log |
2 |
P (1| 0) |
− |
||||||||||||
s0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
−P |
P (0 |1)log |
2 |
P (0 |1) + P (1|1)log |
2 |
P (1|1) |
|
|||||||||||||
s1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
Ответ: H(B | A) = 0.846 бит.
Тема «Пропускная способность непрерывного канала связи»
Изучаемые вопросы:
1.Пропускная способность непрерывного канала связи.
2.Свойства взаимной информации непрерывного канала связи.
3.Формула Шеннона для пропускной способности непрерывного канала
связи.
4.Влияние полосы пропускания непрерывного канала связи на его пропускную способность.
5.Теоремы кодирования Шеннона для канала связи с помехами.
Пропускная способность непрерывного канала связи
Рассмотрим математическую модель канала связи с постоянными параметрами и аддитивным белым гауссовским шумом, сигнал на выходе которого определяется выражением:
z(t) =
S(t) +
n(t)
,
(1)
где S(t) – сигнал на выходе канала связи; n(t) – аддитивный шум, приводящий к искажениям передаваемых сигналов.
Для определения количества информации разделим (проквантуем) области определения сигналов S(t) и z(t) на небольшие отрезки S и z. Тогда распределения вероятностей этих сигналов будут равны
P(S |
) = P(S |
i |
S S |
i |
+ S ) (S |
) S |
i |
|
|
i |
|
P(z |
) = P(z |
j |
z z |
j |
+ z) (z |
) z |
j |
|
|
j |
|
Совместная вероятность появления входных Si и выходных zj:
P(Si , z j ) = P(Si S Si + S, z j z z j + z) (Si , z j ) S z
Применив предельный переход, аналогично рассмотренному между непрерывными величинами S и z:
|
|
|
|
(S |
, z |
j |
) S z |
|
|
|
|
|
(S, z) |
|
|
||||
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|||||
I (S, z) = lim M log2 |
|
|
|
|
|
|
|
= lim M log |
2 |
|
|
|
= |
||||||
S →0 |
|
|
(Si ) S (z j ) z |
|
S →0 |
|
|
|
(S ) (z) |
|
|||||||||
z→0 |
|
|
|
|
|
|
|
|
|
|
z→0 |
|
|
|
|
|
|
|
|
|
|
|
= (S |
, z |
) = (z) (S | z) |
= |
|
|
|
|
|
|
|||||||
|
|
|
|
|
i |
|
j |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(z) (S |
| z) |
|
|
|
1 |
|
|
|
1 |
|
|
|
||||
= lim M |
log2 |
(S ) (z) |
= |
M log2 |
|
− log2 |
(S |
|
= |
|
|||||||||
S →0 |
|
|
|
|
|
(S) |
|
| z) |
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
z→0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
= (S ) log2 |
|
dS |
− |
(S, z) log2 |
|
|
dSdz |
|
|
||||||||||
(S) |
|
(S |
|
|
|
|
|||||||||||||
− |
|
|
|
|
|
|
|
− − |
|
|
| z) |
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
(2)
(3)
(4)
ранее
(5)
Первое слагаемое в полученном выражении уже рассматривалось ранее и было названо дифференциальной энтропией h(S). Второе слагаемое обозначим h(S | z) – условная дифференциальная энтропия. Т. о.,
I (S, z) = h(S) − h(S | z)
Свойства взаимной информации непрерывного канала связи
(6)
Для взаимной информации в непрерывном канале связи справедливы следующие свойства:
1.I(S, z) ≥ 0, причем I(S, z) = 0 в случае обрыва канала связи, то есть когда
ω(S | z) = ω(S)ω(z).
2.I(S, z) = I(z, S), что следует из симметрии выражения для взаимной информации.
3.I(S, z) = ∞ при отсутствии помех, то есть когда z = S. Для второго свойства можно записать:
I (S, z) = h(z) − h(z | S )
(7)
Из этого следует, что при известном передаваемом сигнале S(t) неопределенность принимаемого колебания определяется только случайной помехой n(t).
Формула Шеннона для пропускной способности непрерывного канала связи
Определим теперь пропускную способность непрерывного канала связи C с полосой пропускания F. Это удобно сделать с использованием теоремы отчетов, согласно которой сигналы S(t) и z(t) на входе и выходе канала определяются своими отчетами, взятыми через интервалы Найквиста (шаг дискретизации) 1/(2F).
Пропускная способность C на один отсчет назовем максимальным количеством информации I(S, z), определяемым по всем возможным распределениям входных сигналов:
C |
отсч |
= max I (S, z) = max h(z) − h(z | S) |
|
|
( S ) |
( S ) |
|
|
|
||
(9)
Найдем пропускную способность при условии, что средняя мощность сигнала равна PC, а мощность помехи в полосе частот F равна мощности шума Pш. С учетом максимального возможного значения дифференциальной энтропии гауссовской случайной величины:
h(n) = h(z | S) = log |
|
2 e |
2 |
= |
2 |
= P |
|
= log |
|
2 eP |
|
|
|
|
|
|
|
|
|
||
|
2 |
|
|
|
|
ш |
|
2 |
ш |
|
Тогда формула (9) примет следующий вид
|
= max h(z) − h(z | S) = max h(z) − log2 |
|
|
|
Cотсч |
2 ePш |
|||
|
( S ) |
( S ) |
|
|
(10)
(11)
Поскольку сигнал и помеха это взаимно независимые случайные процессы, дисперсия суммарного колебания z(t) на выходе канала связи равна
D z = P + P |
|
C |
ш |
(12)
При заданном значении дифференциальной энтропии для помехи h(n) пропускная способность будет иметь максимум при гауссовом распределении z(t). Таким образом,
max h(z) = log |
2 |
2 e |
P + P |
|
( S ) |
|
C |
ш |
|
|
|
|
|
|
(13)
Тогда
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
C |
|
= max h(z) − log |
|
2 eP |
= log |
|
2 e P + P |
− log |
|
2 eP |
= |
||||||||||||||
|
отсч |
|
( S ) |
|
2 |
|
|
ш |
|
|
|
2 |
C ш |
|
2 |
|
|
|
ш |
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
2 e PC + Pш |
|
|
|
|
|
|
|
|
||||
|
|
|
|
b |
|
|
|
|
|
|
|
|
|
|
|
|
PC |
|
|
(14) |
|||||
|
= loga |
|
|
= loga b − loga |
c |
= log2 |
|
|
|
|
|
= log2 1 + |
|
|
= |
||||||||||
|
c |
|
|
|
|
|
|
Pш |
|||||||||||||||||
|
|
|
2 ePш |
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
= log |
|
bc = c log |
|
b |
= |
1 |
log |
1 + |
PC |
|
a |
a |
|
|
|
||||||
|
|
|
2 |
|
2 |
P |
||||
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
ш |
||
Для определения пропускной способности в расчете на единицу времени можно записать:
|
|
|
1 |
|
|
|
|
P |
|
|
|
|
|
P |
|
|
C = 2FC |
|
= 2F |
|
log |
|
|
1 + |
C |
|
= F log |
|
|
1 + |
C |
|
|
отсч |
2 |
2 |
P |
2 |
P |
|||||||||||
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
ш |
|
|
|
ш |
|||||
(15)
Влияние полосы пропускания непрерывного канала связи на его пропускную способность
Рассмотрим влияние полосы пропускания непрерывного канала связи на его пропускную способность. Для этого запишем выражение для мощности шума в виде известной зависимости мощности шума от односторонней спектральной плотности:
P |
= FN |
0 |
ш |
|
Поставим это выражение в формулу Шеннона:
(16)
|
|
|
|
P |
|
|
|
|
|
P |
|
|
C = F log |
|
|
1 + |
С |
|
= F log |
|
|
1 + |
C |
|
|
2 |
P |
2 |
FN |
|
||||||||
|
|
|
|
|
|
|
|
|
0 |
|
||
|
|
|
ш |
|
|
|
|
|||||
(17)
С ростом полосы частот F пропускная способность будет в начале возрастать, а затем ее рост замедлится по мере приближения к пределу.
C F
|
|
|
|
|
|
|
|
|
P |
|
C |
|
|
P |
|
|
|
|
C |
|
|
|
|
|
P |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
C = F log2 1 + |
C |
; |
|
= log2 |
1 + |
C |
; |
ln |
2 |
F |
|
= ln 1 + |
|
C |
; |
|
|
|||||||||||
|
FN |
F |
|
|
|
|
|
|
|
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
0 |
|
|
FN |
0 |
|
|
|
|
|
|
|
FN0 |
|
|
||||||
|
|
|
|
P |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ln |
|
1 + |
|
C |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
FN |
|
|
|
|
|
|
P |
|
|
|
|
|
|
|
|
|
|
|
P |
|
|
|||||||
|
|
|
|
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
= |
|
|
|
|
; C |
1.44F ln 1 + |
C |
; |
lim C lim 1.44F ln 1 + |
C |
|
(18) |
|||||||||||||||||
|
|
ln 2 |
|
|
|
|
FN |
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
FN0 |
F → |
|
F → |
|
|
|
|
0 |
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
ln |
(1 + ) = |
при |
|
1 ; lim C 1.44F |
|
P |
|
|
1.44 |
P |
|
|
|
|
||||||||||||
|
|
|
|
|
C |
|
|
|
C |
|
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
F → |
|
|
|
FN |
|
|
|
N |
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
0 |
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Зависимость пропускной способности C от полосы пропускания канала связи F.