•Взаимная информация входного и выходного сигнала равна:
•I(Z,X) = H(Z) – H(Z|X).
•В качестве значений энтропий H(Z) и H(Z|X) можно применять приведенные энтропии, так как величины log ΔZ у них одинаковы и при вычитании компенсируются.
•Найдем дифференциальную энтропию для гауссовского сигнала:
|
|
|
|
+∞ |
|
|
1 |
|
|
|
|
• ( )=− ∫ |
|
|
|
2 exp ¿ ¿ ¿ = |
|||||||
|
|
|
|
||||||||
|
|
|
|
− ∞ √2 |
|
||||||
|
|
|
+ ∞ |
|
|
|
1 |
|
|
|
|
• |
− ∫ |
√ |
|
|
|
2 exp ¿ ¿ ¿ |
|||||
2 |
|
|
|
|
|||||||
|
|
|
− ∞ |
|
|
||||||
• 1 |
log 2( ¿ 2 |
2 |
|
+ ∞ |
1 |
|
|||||
|
|
|
exp ¿ ¿ ¿ ¿ |
||||||||
• 2 |
) ∫ |
2 |
|||||||||
|
|
|
|
|
− ∞ |
√ 2 |
|
||||
• 1 |
|
|
|
|
|
|
|
1 |
+ ∞ |
1 |
|
|
|
2 |
|
(¿ ) |
|
∫ |
|
||||
2 |
log2(¿ 2 )+ log2 |
2 |
2 |
2 exp ¿ ¿ ¿ ¿ ¿ |
|||||||
|
|
|
|
|
|
−∞ |
√2 |
|
|||
=
=
• |
Дисперсия непрерывных величин для любых законов распределения |
|||
|
вводится следующим образом: |
|
||
|
+∞ |
|
|
|
|
2=∫ ( ) 2 |
|
|
|
|
− ∞ |
|
|
|
|
+ ∞ |
1 |
|
|
• |
Значит, выражение ∫ |
2 exp ¿ ¿ ¿ |
||
√2 |
||||
|
−∞ |
|
||
•представляет собой дисперсию нормальной случайной величины
•(z-a) и равно σz2. То есть
|
|
|
|
1 2 |
+∞ |
|
1 |
|
|
|
|
log 2( ¿ ) |
2 |
∫ |
√ |
2 |
exp ¿ ¿ ¿ ¿ |
|
|||
|
|
|
|
− ∞ |
2 |
|
|
|||
• |
Окончательно получаем: |
|
|
|
|
|||||
• |
1 |
|
2 |
1 |
1 |
|
|
2 |
|
(4.17) |
|
( )=2 log2(¿2 |
)+ 2 log2 |
=2 log2 |
(¿2 )¿¿ |
|
|||||
•
•H(Z|X) – энтропия шума, определяемая помехами δ(t). Для нее получим аналогично:
|
( )= |
1 |
|
2 |
|
• |
2 log2 |
(¿2 |
)¿ |
(4.18) |
•Таким образом, информация, передаваемая по непрерывному каналу в условиях гауссовых аддитивных помех, равна:
•I(Z,X) = H(Z) – H(Z|X) =
1 |
|
|
1 |
|
1 |
|
|
2 |
|
1 |
|
|
2 |
2 |
|
1 |
|
|
2 |
|
log2(¿2 |
2 |
2 |
log2 |
(¿ |
|
)¿¿¿ ¿ |
log2 |
(¿ |
+ |
)= |
log2 |
(¿1+ |
|
)¿¿ |
||||||
2 |
)− |
2 |
log2(¿2 )= |
2 |
2 |
2 |
2 |
|
2 |
2 |
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
•Обратим внимание, что формула (4.19) указывает количество полезной информации в расчете на один импульс (отсчет) тактового генератора канала связи. Для получения пропускной способности количество информации на один отсчет нужно умножить на частоту снятия отсчетов.
|
|
1 |
|
|
2 |
|
• |
С= = |
log2 (¿1+ |
2 )¿ |
(4.20) |
||
|
2 |
|
|
|||
•Учитывая, что мощность сигналов пропорциональна дисперсии, получим
С = |
1 |
log2 (¿ 1+ |
) ¿ |
|
2 |
|
|
•Во избежание потерь информации при дискретизации частоту снятия отсчетов надо выбирать, исходя из теоремы Котельникова: V = 2F. Отсюда
• |
С= log2(¿1+ |
|
)¿ |
(4.21) |
|
|
|
||
• |
Это формула Шеннона для непрерывного канала с аддитивными |
|||
помехами.
•Замечание. Для реального гауссовского канала с ограниченной
мощностью сигнала PX пропускная способность оказывается несколько иной, чем по формуле Шеннона. В этом случае пропускная способность канала может быть рассчитана по формуле:
С= log2(¿1+ )¿
•где α – коэффициент, учитывающий ухудшение информационных свойств применяемого класса сигналов по сравнению с идеальным гауссовским сигналом, причем 0 ≤ α ≤ 1. Как показывают расчеты, α ≈ 0.3 для экспоненциального сигнала. Для импульсных сигналов α ≈ 0.03. Для идеального гауссовского сигнала α = 1, и применяется классическая формула Шеннона.
•Пропускная способность определяется отношением мощностей сигнала и помех, а также шириной спектра полезного сигнала. Ограничение пропускной способности непрерывного канала связано с тем, что любые используемые для связи сигналы имеют конечную мощность.
•C = 0 только при PX = 0. То есть непрерывный канал обеспечивает передачу информации даже в том случае, если уровень шумов превышают уровень сигнала. Это используется для скрытой (неперехватываемой) передачи.
Приведем характеристики некоторых каналов связи .
Вид связи |
F (Гц) |
PX /Pδ |
C (бит/с) |
|
|
|
|
Телеграф |
120 |
26 |
640 |
Телефон |
3·103 |
217 |
5·104 |
Телевидение |
7·106 |
217 |
130·106 |
Компьютерная сеть |
|
|
до 109 |
Слух человека |
20·103 |
|
5·104 |
Зрение человека |
|
|
5·106 |
|
|
|
|
Из сопоставления данных видно, что пропускная способность телефонного канала связи совпадает с пропускной способностью органов слуха человека. Однако она существенно выше скорости обработки информации человеком, которая составляет не более 50 бит/с. Другими словами, человеческие каналы связи допускают значительную избыточность информации, поступающей в мозг.
•Мощность шума можно представить так: Pδ = F∙N0, где N0 – это мощность белого шума. Тогда формула Шеннона может быть переписана в следующем виде:
С= log2 (¿ 1+ |
|
)=log2 ¿¿¿ |
||
|
0 |
|
|
|
• Рассмотрим предел lim =log2 |
|
log2 ≈ 1.443 |
Х |
|
0 = |
||||
→∞ |
|
|
0 |
0 |
•Из последнего соотношения следует, что для передачи одного бита в
секунду необходимо обеспечить мощность полезного сигнала PX ≥ N0/ log2e ≈ 0.69N0.
•
Теорема Шеннона для непрерывных
каналов с помехами
• |
Производительность источника непрерывных сообщений |
|
|
пропорциональна энтропии источника |
= ( ) . |
• |
|
|
Поскольку энтропия источника непрерывных сигналов – бесконечно |
||
|
большая, то и производительность такого источника – бесконечно |
|
|
большая. На практике даже при безошибочной передаче сигнала по |
|
|
каналу связи приемник воспринимает поступивший сигнал с какой-то |
|
|
погрешностью. |
|
• |
Принятое сообщение Z(t) и переданное X(t) называются |
|
|
эквивалентными, если различие между ними несущественно в |
|
|
смысле выбранного критерия (обычно это критерий |
|
|
среднеквадратичного отклонения). Вводится понятие отклонения |
|
|
ε(t) = x(t) – z(t), задается предельная погрешность 02 . |
|
• |
Если среднее за период отклонение ¿¿2( ) |
< 02 , то реализации |
|
считаются эквивалентными. |
|
• Эпсилон-энтропией Hε(X) называется минимальное среднее
|
количество информации, содержащееся в одном отсчете сообщения |
|||
|
Z(t) относительно сообщения X(t), при котором эти сообщения еще |
|||
|
эквивалентны. |
|
|
|
• |
В соответствии с соотношением Hε(X) = min {I(X,Z) | 02 ≥ ε2} |
|
||
• |
эпсилон-энтропия определяет количество существенной |
|
||
|
информации, содержащейся в одном отсчете непрерывного |
|
||
|
сообщения. |
( ) |
|
|
• |
Производительность источника определяется как = |
. |
||
|
||||
• |
По теореме Котельникова 1 =2 , где F – полоса пропускания, значит |
|||
|
R = 2F∙Hε(X). |
|
|
|
•Теорема Шеннона для непрерывного канала с помехами (третья теорема):
•Если при заданном критерии эквивалентности сообщений производительность источника информации меньше пропускной способности канала, то есть R < C, то существует такой способ кодирования и декодирования в обобщенном смысле (т. е. преобразование сообщения в сигнал и обратно), при котором неточность воспроизведения сообщения сколь угодно близка к 20 .
•При R > C такого способа не существует.
•