Перейдем теперь к энтропии непрерывного сигнала, для мим S к 0:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
H (S) = lim |
(Si |
) S log |
2 |
(S |
) S |
= |
|
|
||||||||||||||
|
|
|
S →0 |
|
i |
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i |
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
b |
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
log |
(bc) = log |
a |
b + log |
a |
c; |
|
lim |
|
y x |
= |
|
f ( x)dx |
|
= |
|||||||||
a |
|
|
|
|
|
|
|
|
|
x →0 |
|
i |
|
i |
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
a |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
= lim |
(Si ) S log |
|
|
1 |
|
+ lim log |
|
1 |
|
(Si ) S = |
||||||||||||||
2 |
(S |
) |
2 |
S |
||||||||||||||||||||
|
S →0 |
i |
|
|
|
|
|
|
S →0 |
|
|
|
|
i |
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
||
|
= |
(S) log2 |
|
|
dS |
+ lim log2 |
|
(S)dS |
|
|
||||||||||||||
|
(S) |
S |
|
|
||||||||||||||||||||
|
|
− |
|
|
|
|
|
|
S →0 |
|
|
− |
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
чего устре-
(17)
Во втором слагаемом
(S )dS
−
=
1
, тогда можно записать формулу эн-
тропии источника непрерывных сообщений
|
|
|
1 |
|
|
1 |
H (S ) = |
(S) log |
|
dS + lim log |
|
||
2 |
(S ) |
2 |
S |
|||
− |
|
|
S →0 |
|
||
|
|
|
|
|
|
(18)
Здесь первое слагаемое является конечной величиной, которая определяется плотностью распределения ω(S). Она называется дифференциальной энтропией сигнала и обычно рассматривается как вспомогательная величина при проведении расчетов.
Второе слагаемое при S → 0 стремиться к бесконечности. Это означает, что при переходе от дискретной к непрерывной величине энтропия неограниченного возрастает, поскольку при S → 0 вероятности попадания сигнала становятся бесконечно малыми значениями. В результате неожиданность, или непредсказуемость, реализаций становится неограниченно большой.
При любой ω(ξ) всегда справедливо неравенство
|
|
|
|
1 |
|
|
|
|
|
h( ) = |
|
( ) log |
2 |
d log |
2 |
2 e 2 |
(19) |
||
|
|||||||||
|
( ) |
||||||||
|
|
|
|
|
|
||||
|
− |
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
Знак равенства имеет смысл только в том случае, когда процесс является гауссовским.
Тема «Пропускная способность дискретного канала связи»
Изучаемые вопросы:
1.Свойства условной энтропии дискретного канала связи.
2.Свойства взаимной информации дискретного канала связи.
3.Свойства пропускной способности дискретного канала связи.
4. Пропускная способность двоичного симметричного канала связи без памяти.
Свойства условной энтропии дискретного канала связи
Рассмотрим дискретный канал связи без памяти, на входе и выходе которого имеются ансамбли дискретных сообщений A и B соответственно. Задача заключается в том, чтобы определить количество информации, переданной по этому каналу связи. Иначе говоря, необходимо найти информацию, содержащуюся в принятом сообщений bj при передаче сообщения ai.
Пусть известны P(ai, bj) – совместная вероятность реализаций ai и bj, а также P(ai | bj) – условная вероятность реализации ai, если на выходе канала связи появилось сообщение bj. По теореме умножения вероятностей
P(a |
,b |
) = P (a )P(b |
j |
| a ) = P(b |
)P(a |
i |
| b |
) |
|
i |
j |
i |
i |
j |
|
j |
|
||
(1)
Введем понятие условной энтропии, которую определим как математическое ожидание, аналогичное математическому ожиданию, принятому для энтропии источника сообщений:
H ( A | B) = P(ai ,bj |
) log |
|
1 |
|
|||
2 |
P(a |
|
| b |
) |
|||
i |
j |
|
|
i |
|||
|
|
|
j |
|
|||
Свойства условной энтропии:
H(A | B) ≥ 0.
(2)
H(A | B) ≤ H(A), то есть условная энтропия меньше или равна энтропии источника на выходе канала связи. При этом равенство имеет место в том слу-
чае, если P(ai | bj) = P(ai) при всех a A и b B, то есть, когда a и b взаимно независимы. Это означает, что с получением сообщения bj никакой информа-
ции о сообщении ai не поступает, следовательно, неопределенность не уменьшается. Данная ситуация может соответствовать полной потере информации.
Учитывая свойства, условную энтропию обычно трактуют как количество информации, которое теряется из-за помех и не поступает к получателю. Полная потеря информации является крайним случаем и в реальных условиях практически не встречаются. Величину H(A | B) также называют ненадежностью (энтропия потерь).
Свойства взаимной информации дискретного канала связи
Определим количество информации I(A, B), передаваемой по каналу связи, как разность между количеством информации на входе, равным энтропии источника H(A), и количеством потерянной информации, равным
условной энтропии H(A | B). Величину I(A, B) также называют взаимной информацией и определяют выражением
|
|
|
1 |
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|||||
I ( A, B) = H ( A) − H ( A | B) = M log2 |
P(a ) |
|
− M log |
2 |
P(a |
| b |
) |
|
= |
|||
|
|
|
|
|
|
|
||||||
|
|
i |
|
|
i |
j |
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
(3) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
P(a |
| b |
) |
|
|
|
|
|
|
|
|
|
= M log2 |
|
i |
j |
|
|
|
|
|
|
|
|
|
P(a ) |
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|||
|
|
i |
|
|
|
|
|
|
|
|
||
С учетом теоремы умножения вероятностей можно записать
|
|
P(b |
)P(a |
i |
| b |
j |
) |
|
|
P(a |
,b |
) |
|
|
|
j |
|
|
|
|
|
i |
j |
|
|
||
I ( A, B) = M log |
2 |
P(bj )P(ai ) |
|
|
= M log |
2 |
P(bj )P(ai |
|
|||||
|
|
|
|
|
|
) |
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(4)
Раскрывая эту формулу, получим выражение для взаимной информации в симметричном виде:
I ( A, B) = P(ai ,bj |
) log |
2 |
P(a |
,b ) |
|
|||
|
i |
j |
|
|
||||
|
|
|
|
|
|
|
||
i |
j |
|
|
P(b |
)P(a |
) |
||
|
|
j |
|
|
i |
|
||
Свойства взаимной информации:
(5)
1.I(A, B) ≥ 0, что следует из свойств энтропии, причем I(A, B) = 0 при обрыве канала связи, то есть, когда вся информация теряется из-за помех.
2.I(A, B) ≤ H(A), причем равенство достигается при отсутствии помех, то есть H(A|B) = 0.
3. I(A, B) = I(B, A) = H(B) – H(B|A), где энтропия на выходе канала связи H(B) и условная энтропия H(B|A) определяется аналогично найденным ранее значениям энтропии. Данное свойство вытекает из симметрии выражения для взаимной информации.
4. I(A, B) ≤ H(B), что следует из предыдущего свойства, причем равенство имеет место, если H(B|A) = 0.
5. Приняв в выражении для взаимной информации A = B, получим
H(A|A) = 0, I(A|A) = H(A).
Если известно время передачи сообщения T, то по аналогии с производительностью источника, можно рассчитать скорость передачи информации по каналу связи как количество информации, переданной за единицу времени.
Скорость передачи информации по каналу связи:
I '( A, B) = |
1 |
I ( A, B) = k I ( A, B) , |
(6) |
|
T |
||||
|
|
|
где υ = 1/T – скорость передачи символов по каналу связи, то есть число символов, поступающих в канал связи в течение секунды, бит/с.
Свойства пропускной способности дискретного канала связи
Ранее было показано, что количество информации, переданной по дискретному каналу связи, зависит от двух факторов:
1.от свойств источника сообщений, или от его энтропии H(A);
2.от свойств самих каналов связи, то есть от ненадежности канала связи
(H(A|B)).
Следовательно, взаимная информация I(A, B) не может в полной мере охарактеризовать канал связи, как средство передачи сообщений, поэтому более удобной характеристикой является пропускная способность канала связи.
Пусть на вход дискретного канала связи поступают сообщения от всевозможных источников, которые описываются различными распределениями вероятностей P(A). В каждом таком случае, количество информации, передаваемое по каналу связи, будет иметь свое значение.
Пропускная способность канала связи (информативная емкость) – это максимальное количество информации, которое рассчитывается по всевозможным распределениям вероятностей на входе канала связи:
C = max I ( A, B)
P( A)
Пропускная способность рассчитывают на единицу времени [бит/с]:
(7)
C ' = k C = max I '( A, B) |
(8) |
P( A) |
|
Основные свойства пропускной способности:
1. C' ≥ 0, C' = 0 при обрыве канала связи, что следует из первого свойства количества информации.
2. C' ≤ VklogN, N – объем алфавита источника сообщений. Причем C' = VklogN при отсутствии помех в канале связи, что следует из свойств энтропии и взаимной информации.
Пропускная способность двоичного симметричного канала связи без памяти
Определим пропускную способность данного канала, который задается переходными вероятностями:
|
|
q = 1 − P, j i |
|
P(bj |
| ai |
) = |
|
|
|
P, |
j i |
Тогда пропускная способность будет равна
C = max I (B, A) = max H (B) − H (B | A)
(9)
(10)
P( A) |
P( A) |
Поскольку канал связи без помех, условная вероятность равна
|
|
1 |
|
|
|
1 |
|
|
1 |
|
|
|
|
= (1 − P) log2 |
|
|
|||
H (B | A) = M log |
2 |
P(bj |
| ai |
|
|
+ P log |
2 |
|
|
|
|
) |
|
1 − P |
|
|
P |
||
|
|
|
|
|
|
|
|
|
|
Тогда
C = max |
H (B) − (1 − P)log |
|
|
|
1 |
− P log |
|
1 |
|
|
|
|
|
|
|
|
|||
P( A) |
|
2 |
1 |
− P |
|
2 |
|
||
|
|
|
|
|
P |
||||
(11)
(12)
В этом выражении H(B) зависит от распределения вероятностей, поэтому максимум количества переданной информации будет определяться при максимальном значении этой величины. При N = 2 максимальное значение H(B) = log22 = 1 бит, реализуется при равновероятностных и взаимозависимых символах bj на выходе канала связи, что обеспечивается только при равновероятностных и взаимозависимых символах ai на входе канала связи:
P(a ) = P(a |
) = 0.5 |
|
1 |
2 |
|
Согласно формуле полной вероятности:
(13)
|
|
2 |
|
|
|
2 |
|
|
|
|
P(b |
) = |
|
P(a )P(b |
j |
| a ) = 0.5 |
P(b |
j |
| a ) = 0.5 (1 − P) + P = 0.5 |
||
j |
|
i |
i |
|
|
|
i |
|||
|
|
i=1 |
|
|
|
i=1 |
|
|
|
|
В этом случае |
|
|
|
|
|
|
|
|||
|
|
|
|
|
max H (B) |
= log |
2 |
2 = 1 |
||
|
|
|
|
|
P( B ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Тогда пропускная способность равна
C = 1 + P log |
2 |
P + (1 − P) log |
(1 − P) |
|
2 |
|
Пропускная способность в расчете на единицу времени [бит/с]:
C ' = k C = k 1 + P log2 P + (1 − P) log2 (1 − P)
(14)
(15)
(16)
(17)
Анализ полученных зависимостей показывает, что C = C' = 0, при P = 0.5 (это обрыв канала связи). Если P = 1 или P = 0 (канал связи без помех), то пропускная способность C = 1. Причем это не противоречит здравому смыслу, т.к. при P = 1 правильный прием символов достигается при их инвертировании.
В общем случае пропускная способность равна |
|
||
R = |
H (B) − H (B | A) |
, |
(18) |
|
|||
|
и |
|
|
где H(B) – энтропия на выходе канала связи; H(B|A) – энтропия потерь; τи – среднее время передачи одного символа.
Энтропия на выходе канала связи и энтропия потерь равны
H (B) =
m − P(bj ) logm j=1
P(b |
j |
|
)
,
(19)
n |
m |
|
H (B | A) = − P(ai ) P(bj | ai ) logm P(bj | ai ) , |
(20) |
|
i=1 |
j=1 |
|
где P(ai) и P(bj) – вероятности появления символов ai и bj на входе и выходе канала связи соответственно (i = 1÷n, j = 1÷m); P(bj | ai) – переходная вероятность появления символа bj на выходе канала связи при наличии символа ai на входе канала связи; n и m – соответственно, количество символов на входе и выходе канала связи.
Задача. Определите энтропию на входе двоичного канала связи без памяти, если при обработке информации установлено, что вероятности появления символов «0» и «1» на входе канала связи равны 0.5, а вероятности появления символов «0» и «1» на выходе канала связи при наличии этих символов на его входе, равны соответственно P(0|0) = 0.8 и P(1|1) = 0.9.
Решение. Приведем модель канала связи графически в виде переходных вероятностей
Ps0 «0» |
P(0|0) |
«0» P's0 |
|
Ps1 «1» |
P(1|1) |
«1» P's1 |
|
В соответствии с формулой (19) энтропия на выходе канала связи
m
H (B) = − P(bj ) logm P(bj ) = −P 's 0 log2 P 's 0 − P 's1 log2 P 's1 j=1
Вероятности P's0 и P's1 равны соответственно
P 's0 = Ps0 P(0 | 0) + Ps1P(0 |1) = 0.5(P(0 | 0) + P(0 |1))
P 's1 = Ps1P(1| 0) + Ps1P(1|1) = 0.5(P(1| 0) + P(1|1))
Таким образом получим
H (B) = −0.5(P(0 | 0) + P(0 |1))log2 0.5 P(0 | 0) + P(0 |1) −
− 0.5 P(1| 0) + P(1|1) log2 0.5 P(1| 0) + P(1|1)
Ответ: H(B) = 0.993 бит.