•Взаимная информация входного и выходного сигнала равна:
•I(Z,X) = H(Z) – H(Z|X).
•В качестве значений энтропий H(Z) и H(Z|X) можно применять приведенные энтропии, так как величины log ΔZ у них одинаковы и при вычитании компенсируются.
•Найдем дифференциальную энтропию для гауссовского сигнала:
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
(z a) |
2 |
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
(z a) |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||
•H(Z) |
|
|
|
|
|
|
|
exp |
|
|
|
|
|
2 |
|
|
log2 |
|
|
|
|
|
|
exp |
|
|
2 |
|
|
|
dz |
= |
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
2 z |
|
|
|
|
2 z |
|
|
|
|
|
|
|
|
|
|
|
2 z |
|
|
|
|
|
2 z |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||
|
|
|
1 |
|
|
|
|
|
(z a) |
2 |
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
(z a) |
2 |
|
|
|
|
|
|
(z a) |
2 |
|
|
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
• |
|
|
2 |
|
exp |
2 |
|
|
|
|
log2 |
|
|
|
2 |
|
dz |
|
|
|
2 |
|
|
exp |
|
|
|
2 |
|
|
|
|
|
log2 exp |
2 |
|
|
|
|
dz |
||||||||||||||||||||||||||||
|
|
|
|
2 z |
|
|
2 z |
|
|
|
|
|
|
|
|
|
|
|
2 z |
|
|
|
|
|
2 z |
|
|
|
|
|
2 z |
|
|
|
|
|
|
|
|
|
2 z |
|
|
|
|
|
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||
|
1 |
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
(z a) |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
(z a) |
2 |
|
|
2 |
|
|
|
|||||||||||||||||
• |
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(z a) |
|
|
|
|
||||||||||||||||||||
|
log2 (2 Z ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
(e) |
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|||||||||||||||||||||||||||||
2 |
2 |
|
exp |
|
|
|
|
|
|
dz log2 |
|
|
|
2 exp |
|
|
|
|
|
2 |
|
dz |
||||||||||||||||||||||||||||||||||||||||||||||
• |
|
|
|
|
|
|
|
|
2 z |
|
|
|
|
|
|
|
|
|
2 z |
|
|
|
|
|
|
|
|
|
|
|
|
2 z |
|
|
|
|
|
|
|
|
2 z |
|
|
2 z |
|
|
|
|
||||||||||||||||||||
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
(z a) |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
• |
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||
|
log2 (2 Z ) log2 (e) |
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
(z |
a) |
d(z а) |
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||
2 |
|
|
|
|
|
|
2 exp |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 Z |
|
|
2 z |
|
|
|
|
|
2 z |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||
=
=
•Дисперсия непрерывных величин для любых законов распределения вводится следующим образом:
2 f (x)x2dx
• Значит, выражение |
|
1 |
|
exp |
(z a)2 |
(z a)2d(z а) |
|
|
|
|
|
||
|
2 |
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
2 z |
|
|
|
|
|
|
|
2 z |
•представляет собой дисперсию нормальной случайной величины
•(z-a) и равно σz2. То есть
|
|
|
1 |
|
1 |
|
|
|
(z a) |
2 |
|
|
2 |
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
log2 |
(e) |
2 |
|
|
|
|
2 |
|
(z |
a) |
d(z |
а) |
|
log2 |
(e) |
||||
2 |
|
exp |
|
|
2 |
||||||||||||||
• |
|
2 Z |
2 z |
|
|
|
2 z |
|
|
|
|
|
|
|
|
||||
• |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(4.17) |
H(Z) 12 log2 (2 2Z ) 12 log2 e 12 log2 (2 e 2Z )
•
• |
H(Z|X) – энтропия шума, определяемая помехами δ(t). Для нее |
||
|
получим аналогично: |
|
|
• |
H(Z | X) 1 log2 |
(2 e 2 ) |
(4.18) |
2 |
|
||
•Таким образом, информация, передаваемая по непрерывному каналу в условиях гауссовых аддитивных помех, равна:
•I(Z,X) = H(Z) – H(Z|X) =
1 log |
|
(2 e 2 ) |
1 log |
|
(2 e 2 ) 1 log |
|
( |
2 |
|
|
|
2 |
2 |
|
|
2 |
|
2 |
2 |
2 |
Z ) 1 log |
2 |
( |
X ) 1 log |
2 |
(1 |
X ) |
||||||||
2 |
Z |
2 |
|
2 |
|
2 |
2 |
|
2 |
2 |
|
2 |
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
•Обратим внимание, что формула (4.19) указывает количество полезной информации в расчете на один импульс (отсчет) тактового генератора канала связи. Для получения пропускной способности количество информации на один отсчет нужно умножить на частоту снятия отсчетов.
|
С V H |
1 |
V log2 |
(1 |
2 |
) |
|
• |
2 |
X2 |
(4.20) |
||||
|
|
|
|
|
•Учитывая, что мощность сигналов пропорциональна дисперсии, получим
С 1 V log2 |
(1 PX ) |
2 |
P |
•Во избежание потерь информации при дискретизации частоту снятия отсчетов надо выбирать, исходя из теоремы Котельникова: V = 2F. Отсюда
С F log2 |
(1 PX ) |
(4.21) |
• |
P |
•Это формула Шеннона для непрерывного канала с аддитивными помехами.
•Замечание. Для реального гауссовского канала с ограниченной
мощностью сигнала PX пропускная способность оказывается несколько иной, чем по формуле Шеннона. В этом случае пропускная способность канала может быть рассчитана по формуле:
С F log2 (1 PX )
P
•где α – коэффициент, учитывающий ухудшение информационных свойств применяемого класса сигналов по сравнению с идеальным гауссовским сигналом, причем 0 α 1. Как показывают расчеты, α ≈ 0.3 для экспоненциального сигнала. Для импульсных сигналов α ≈ 0.03. Для идеального гауссовского сигнала α = 1, и применяется классическая формула Шеннона.
•Пропускная способность определяется отношением мощностей сигнала и помех, а также шириной спектра полезного сигнала. Ограничение пропускной способности непрерывного канала связано с тем, что любые используемые для связи сигналы имеют конечную мощность.
•C = 0 только при PX = 0. То есть непрерывный канал обеспечивает передачу информации даже в том случае, если уровень шумов превышают уровень сигнала. Это используется для скрытой (неперехватываемой) передачи.
Приведем характеристики некоторых каналов связи .
Вид связи |
F (Гц) |
PX /Pδ |
C (бит/с) |
|
|
|
|
Телеграф |
120 |
26 |
640 |
Телефон |
3·103 |
217 |
5·104 |
Телевидение |
7·106 |
217 |
130·106 |
Компьютерная сеть |
|
|
до 109 |
Слух человека |
20·103 |
|
5·104 |
Зрение человека |
|
|
5·106 |
Из сопоставления данных видно, что пропускная способность телефонного канала связи совпадает с пропускной способностью органов слуха человека. Однако она существенно выше скорости обработки информации человеком, которая составляет не более 50 бит/с. Другими словами, человеческие каналы связи допускают значительную избыточность информации, поступающей в мозг.
•Мощность шума можно представить так: Pδ = F∙N0, где N0 – это мощность белого шума. Тогда формула Шеннона может быть переписана в следующем виде:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
N0 F |
|
PX |
||
|
|
PX |
|
PX |
|
|
|
|
|
|
|
|
|
PX |
|
N0 |
|
|||||
|
С F log2 (1 |
) log2 (1 |
)F |
log2 |
|
(1 |
|
) PX |
||||||||||||||
|
N0F |
N0F |
N0F |
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
PX |
|
PX |
|
|
|
e 1.443 |
PХ |
|||||||
• |
|
|
lim C log |
2 |
eN0 |
|
log |
2 |
||||||||||||||
|
|
|
|
|||||||||||||||||||
Рассмотрим предел F |
|
|
|
|
|
N0 |
|
|
|
|
|
|
N0 |
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
•Из последнего соотношения следует, что для передачи одного бита в
секунду необходимо обеспечить мощность полезного сигнала PX ≥ N0/ log2e ≈ 0.69N0.
•
Теорема Шеннона для непрерывных
каналов с помехами
• |
Производительность источника непрерывных сообщений |
|
|
пропорциональна энтропии источника |
R H(u) . |
• |
|
t |
Поскольку энтропия источника непрерывных сигналов – бесконечно |
||
|
большая, то и производительность такого источника – бесконечно |
|
|
большая. На практике даже при безошибочной передаче сигнала по |
|
|
каналу связи приемник воспринимает поступивший сигнал с какой-то |
|
|
погрешностью. |
|
• |
Принятое сообщение Z(t) и переданное X(t) называются |
|
|
эквивалентными, если различие между ними несущественно в |
|
|
смысле выбранного критерия (обычно это критерий |
|
|
среднеквадратичного отклонения). Вводится понятие отклонения |
|
|
ε(t) = x(t) – z(t), задается предельная погрешность 02 . |
|
• |
___ |
< 02 , то реализации |
Если среднее за период отклонение 2 (t) |
||
считаются эквивалентными.
•Эпсилон-энтропией Hε(X) называется минимальное среднее количество информации, содержащееся в одном отсчете сообщения Z(t) относительно сообщения X(t), при котором эти сообщения еще эквивалентны.
•В соответствии с соотношением Hε(X) = min {I(X,Z) | 02 ≥ ε2}
•эпсилон-энтропия определяет количество существенной информации, содержащейся в одном отсчете непрерывного сообщения.
•Производительность источника определяется как H (X) .R t
• По теореме Котельникова |
1 |
2F |
, где F – полоса пропускания, значит |
|
t |
||||
R = 2F∙Hε(X). |
|
|
||
|
|
|
•Теорема Шеннона для непрерывного канала с помехами (третья теорема):
•Если при заданном критерии эквивалентности сообщений производительность источника информации меньше пропускной способности канала, то есть R < C, то существует такой способ кодирования и декодирования в обобщенном смысле (т. е. преобразование сообщения в сигнал и обратно), при котором неточность воспроизведения сообщения сколь угодно близка к 02 .
•При R > C такого способа не существует.
•