TEOR_inform_19-12-10_2014_01_06_12_12_03_442
.pdfобщение xi , т.е. xi - это не случайное событие в условной мере информации I ( y j / xi ) , случайность реализации xi учитывается в вероятности p(xi ) .
Если ансамбли X и Y независимы, т.е. p( y j / xi ) p( y j ) , то энтропия про-
изведения ансамблей равна сумме энтропий ансамблей X и Y |
|
H X Y H X H Y . |
(2.9) |
Пользуясь методикой, применяемой при доказательстве неравенства (2.6), можно
показать, что |
|
0 H Y / X H Y . |
(2.10) |
Если имеется множество ансамблей X1, , X n , то энтропия произведения ансамблей равна
H X1 X n H X1 H X 2 / X1 H X 3 / X 2 X1 H X n / X n 1 X1 ,
0 H X 1 X n |
n |
H X i |
(2.11) |
|
i 1 |
|
|
2.3 Энтропия непрерывного ансамбля сообщений
Выше мера информации была введена для дискретного ансамбля сообщений. Точно так же вводится мера информации на непрерывном ансамбле. Непрерывная случайная величина X описывается непрерывным множеством реализаций, принимающих значения в интервале . На этом интервале задается плот-
ность распределения вероятности w(x) . Положим, произведено квантование значений x с шагом x . Вероятность того, что случайная величина X принадлежит интервалу (x, x x], равна
|
|
|
|
|
xi x |
|
|
|
|
p(xi ) P(xi X xi x) |
xi |
|
w(x) dx |
(2.12) |
|||||
|
|
||||||||
При довольно малом значении x Вероятность p(xi ) будет равна |
|
||||||||
p(x |
) w(x* ) x , |
где x |
i |
x* |
x |
i |
x . |
(2.13) |
|
i |
i |
|
|
i |
|
|
|
||
Произведѐнное преобразование позволило перейти от непрерывного распределения к дискретному. Количество информации, содержащееся в случайной величине, принадлежащий интервалу (x, x x], равно
(xi ) log (w(xi* ) x) .
Энтропия ансамбля X после квантования согласно ( .6) равна
H X = ik 1 w(xi* ) x log (w(xi* ) x))
11
= |
|
k w(x* ) log w(x* ) x log x |
k |
w(x* ) x . |
(2.14) |
|||||
|
i 1 |
i |
|
|
i |
|
i 1 |
i |
|
|
|
|
|
|
|
|
|
|
|||
Первая сумма аналогична энтропии дискретного распределения и при x 0, |
||||||||||
она сходится к интегралу |
|
xmax w(x) log w(x) dx . |
|
|
||||||
|
|
|
|
|
|
xmin |
|
|
|
|
Вторая сумма |
log x |
|
k |
w(x |
* ) x при x 0 стремится к бесконечности. |
|||||
|
|
|
|
i 1 |
i |
|
|
|
||
|
|
|
|
|
|
|
|
|||
Поэтому на практике она имеет смысл при конечных значениях x . В этом случае при довольно малых значениях x имеем log x ik 1 w(xi* ) x log x .
В теории связи энтропия H(X ) используется как мера неопределѐнности ансамбля, элементы которой передаются по каналу связи, и вторая сумма не оказывает влияния на качество передаваемой информации, что будет показано далее.
Поэтому меру неопределѐнности (энтропию), содержащуюся в непрерывном ансамбле будем определять как [***]
|
|
h( X ) |
xmax w(x) log w(x) dx |
(2.15) |
|||
|
|
|
|
xmin |
|
|
|
и называется она дифференциальной энтропией. |
|
||||||
Энтропия произведения непрерывных ансамблей X и Y вводится как и для |
|||||||
дискретных ансамблей. |
Без доказательства запишем |
|
|||||
h( XY ) |
|
w(x, y) log(w(x, y)) dxdy |
|
||||
|
Y |
X |
|
|
|
|
|
|
w(x) log w(x) dx |
|
w(x, y) log(w( y / x)) dxdy |
|
|||
X |
|
|
|
Y |
X |
|
|
|
w( y) log w( y) dy |
|
w(x, y) log(w(x / y)) dxdy = |
|
|||
y |
|
|
|
Y |
X |
|
|
= h(X ) h(Y / X ) h(Y) h(X /Y). |
(2.16) |
||||||
2.4 Энтропия непрерывного ограниченного ансамбля
Энтропия ансамбля X после квантования была записана как
H X = ik 1 w(xi* ) x log (w(xi* ) x)) .
Устремим интервал квантования к нулю, но оставим под знаком логарифма величину интервала квантования неизменной. Это представление сохранит размерность энтропии и показывает зависимость энтропии непрерывного ансамбля сообщений от величины интервала квантования
12
H X = w(x) log (w(x) x)) dx .
X
Максимальная энтропия непрерывного ансамбля зависит от вида плотности распределения вероятности w ( x ) , области определения значений случайного сигнала и априорных сведений относительно w ( x ) .
Определим плотность распределения вероятности w ( x ) , обеспечивающий
максимум энтропии H X , при X |
(a, b) и ограничении |
b |
|
w(x) dx 1. |
(2.17) |
a |
|
Для решения задачи применим метод неопределѐнных множителей Лагранжа, и составим функционал
|
|
|
b |
|
|
|
|
|
b |
|
|
|
|
||
|
( w ( x )) |
|
|
|
|
|
|
|
|
w ( x ) dx |
|
|
|||
|
|
|
w ( x )log ( w ( x ) x )) dx |
|
|
1 . |
|||||||||
|
|
|
a |
|
|
|
|
|
a |
|
|
|
|
||
Приведѐм его к виду |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
b |
|
|
|
ln ( w ( x ) x )) |
|
|
|
|
|
||||
( w ( x )) |
w ( x ) |
|
|
|
|
w ( x ) |
dx . |
|
|
||||||
|
|
ln 2 |
|
|
|
||||||||||
|
|
a |
|
|
|
|
|
|
|
|
|
|
|
||
Определим производную |
d ( w ( x )) |
|
, которая будет равна |
|
|
|
|
||||||||
|
|
|
|
|
|
||||||||||
|
|
|
w ( x ) |
|
|
|
|
|
|
|
|
|
|
||
|
d ( w ( x )) |
b |
|
d |
|
|
ln ( w ( x ) x )) |
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
w ( x ) |
|
|
w ( x ) dx |
, |
||||||
|
dw ( x ) |
|
|
|
ln 2 |
||||||||||
|
a |
dw ( x ) |
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
и приравняем еѐ нулю Достаточным условием равенства нулю интеграла от некоторой функции будет ра-
венство нулю самой этой функции. Исходя из этого, имеем
|
ln( w( x ) x )) |
|
1 |
= 0. |
|
ln 2 |
ln 2 |
||||
|
|
|
|||
Разрешая полученное уравнение относительно w ( x ) , получим |
|||||
w( x ) |
1 |
exp ( ln 2 1) . |
(2.18) |
|
x |
||||
|
|
|
Чтобы вычислить величину , используем ограничение (2.17) и сделаем ряд преобразований
b |
|
|
|
|
|
|
x |
|
|
x |
|
|
exp( ln2 1) dx x, |
|
|
|
|
|
|
|
|||||
exp( ln2 1) |
|
, |
ln2 1 ln |
|
|
, |
||||||
|
|
|||||||||||
a |
|
|
|
|
|
|
b a |
|
b a |
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
x |
|
|
|
|
|
|
|
|
|
ln |
|
|
+1 . |
|
|
|
|
|
|
||
ln2 |
|
|
|
|
|
|
|
|||||
|
|
b a |
|
|
|
|
|
|
|
|||
13
После подстановки значения параметра в (2.18) получим |
|
|
|
|
|
|||||||||||||
w( x ) |
1 |
exp |
1 |
1 ln |
|
x |
ln 2 1 |
|
1 |
exp |
1 ln |
|
x |
|
1 |
|
||
|
|
|
|
|
|
|
|
|
||||||||||
|
x |
|
|
|
|
|
|
x |
|
|
|
|
|
|||||
|
|
ln 2 |
|
b a |
|
|
|
|
b a |
|
|
|||||||
|
1 |
|
x |
|
|
|
1 x |
|
1 |
, |
||||
|
exp ln |
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|||||||
|
x |
|
b |
a |
|
x b a |
|
b a |
|
|||||
|
w( x ) |
1 |
|
, |
a x b . |
|
|
|
||||||
|
|
|
|
|
||||||||||
|
b a |
|
|
|
||||||||||
Вывод.
Если имеется ограничение в виде нормировки плотности вероятности непрерывного ансамбля и область существования плотности вероятности ограничена постоянными a и b, то из всех возможных плотностей вероятности w ( x ) равномерный закон распределения вероятности обладает наибольшей энтропией.
Если число ограничений увеличивается , то вид плотности распределения вероятности изменится Положим, известно, что случайная величина принимает значения в интервале , , математическое ожидание равно нулю и еѐ дисперсия
ограничена величиной 2 .Далее покажем, что наибольшую энтропию даѐт нормальный закон распределения.
2.3 Количество взаимной информации
2.3.1 Дискретный канал передачи информации
Рассмотрим модель канала передачи информации
|
1, , k |
|
|
|
|
|
|
|
|
|
|
|
, , |
|
|
|
|
|
Канал передачи информации |
|
1 |
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Рис.2.2. Модель канала передачи информации |
|
|||||
i Y , i Z , |
|
|
|
|
|
||
Y y1, , y N , |
Z z1, , z N |
|
|
||||
I z j log p(z j ) [бит] - количество информации (мера неопределѐнности),
содержащаяся в элементе z j ансамбля Z .
14
I z j / yi log p(z j / yi ) [бит] - количество информации, содержащееся в элементе z j при условии, на входе канала реализуется элемент ансамбля yi . Ино-
гда еѐ называют остаточной неопределѐнностью в элементе z j при условии реали-
зации на входе канала элемента yi .
J yi , z j I z j I z j / yi log |
p(z j / yi ) |
|
|
[бит] - количество информа- |
|
|
||
|
p(z j ) |
|
ции, содержащееся в элементе z j на выходе канала связи относительно элемента
yi на входе канала. Используя безусловную и условную вероятности |
p yi и |
|||||||||||||
p yi / z j , можно получить |
|
|
|
|
|
|
|
|
||||||
J z j , yi log |
p( yi / z j ) |
|
|
|
|
|
|
|
|
|||||
|
|
- количество информации, содержащееся в эле- |
||||||||||||
p( yi |
) |
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|||
менте z j относительно элемента yi . |
|
|
|
|
|
|
|
|
||||||
Суммируя J yi , z j по всем возможным элементам yi и z j с соответствую- |
||||||||||||||
щими весами p( yi , z j ) , получим |
|
|
|
|
|
|
|
|
||||||
|
|
N |
N |
|
|
|
|
|
|
|
|
|||
J Y , Z p( yi , z j ) J yi , z j |
|
|
||||||||||||
|
|
i 1 |
j 1 |
|
|
|
|
|
|
|
|
|||
N |
N |
|
|
p( yi , z j |
) |
|
|
áèò |
|
|||||
p( yi , z j ) log |
|
(2.19) |
||||||||||||
|
|
|
|
|
|
|
|
|||||||
p( y |
|
) p(z |
|
) |
|
|||||||||
i 1 |
j 1 |
|
|
i |
j |
|
ñî î á. |
|
||||||
|
|
|
|
|
|
|
|
|
||||||
- количество взаимной информации, содержащейся в ансамбле Z относительно ансамбля Y .
(Зюко. Помехоустойчивость и эффективность систем связи. «Связь». 1972, 360
с.)
Выразим количество взаимной информации через энтропии ансамблей:
N N |
|
N N |
|
J Y , Z p( yi , z j ) log p(z j ) |
p( yi , z j ) log p(z j / yi ) |
||
|
|
|
|
i 1 j 1 |
|
i 1 j 1 |
|
|
= H Y H Y / Z . |
(2.20 а) |
|
Формулу (2.18 а) можно интерпретировать как среднее количество информации, переданное по каналу связи. Условная энтропия H Y / Z зависит от характери-
15
стик шума и интерпретируется как среднее количество информации, теряемое в канале связи из-за шума, и еѐ называют ненадѐжностью [ Р. Фано , стр 66].
Используя соотношение (2.17), можно показать
J Z,Y H Z H Z / Y . |
(2.20 б) |
Энтропия H Z - это среднее количество принятой информации, необходимое для определения принятого сигнала. Условная энтропия H Z / Y - среднее коли-
чество принятой информации, когда известны вероятностные характеристики ансамбля Y. Ввиду того, что сигнал и шум аддитивны и независимы, а характеристики
сигнала учитываются в расчетах условной энтропии H Z / Y , то H Z / Y -
среднее количество информации, необходимое для определения помехи, или энтропия помехи (шума) в канале связи. При отсутствии помех в канале связи
H Y / Z = H Z / Y =0 и
Пример 1. Положим, сигналы в канале передачи данных не искажаются, т.е.
шумы в канале отсутствуют. Условная вероятность появления символов yi |
и z j |
в |
|||||||||||
этом случае равна |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
j i, |
|
|
|
|
|
|||
|
|
|
|
|
1, |
åñëè |
|
|
|
|
|
||
p(z |
|
/ y ) |
åñëè |
j i. |
|
|
|
|
|
||||
|
|
j |
i |
0, |
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
||
Тогда условная энтропия H (Z / Y ) равна нулю и количество взаимной инфор- |
|||||||||||||
мации определяется |
энтропией |
ансамбля |
Z. |
Но ранее |
было |
показано, |
что |
||||||
J Z ,Y = J Y , Z . |
Из |
|
этого |
|
равенства |
и |
отсутствия |
шума |
следует, |
что |
|||
h(Z) h(Y), то есть количество взаимной информации на выходе канала связи относительно входа равна энтропии (неопределѐнности) ансамбля на входе канала передачи данных. И чем больше энтропия h(Y) , тем больше информации передаѐтся по каналу связи.
Пример 2. Положим, сигналы в канале передачи данных искажаются настолько, что сигналы z j на приѐмном конце канала передачи данных можно считать стати-
стически независящими от передаваемых значений yi . В этом случае условная ве-
роятность запишется как
p(z j / yi ) p(z j )
и количество взаимной информации будет равно нулю, то есть абонент не получит никакой информации, хотя он будет фиксировать принимаемые символы z j .
Из рассмотренных примеров видно, чем больше энтропия , тем больше информации может быть передано по каналу. Для дискретных источников информации, как было показано ранее, энтропия принимает наибольшее значение, если
16
элементы ансамбля равновероятны. Это положение относится как к ансамблю X, так и к ансамблям Y и Z то есть
p(xi ) 1/ N , p( y j ) 1/ K , где N и K – количество элементов ансамблей X и Y.
Для непрерывных распределений вероятностей w(x) , w(y) , имеющих конечную дисперсию, энтропия принимает максимальное значение, если значения x и y распределены по нормальному закону.
Ансамбль сообщений, энтропия которых равна максимальному значению, является оптимальным ансамблем в смысле наибольшего количества передаваемой информации [Клюев].
Для оценки того, насколько отличается энтропия ансамбля от максимального значения вводится понятие коэффициента сжатия:
H (Y ) .
Hmax (Y )
Из определения видно, что 0 1. При 1 каждое сообщение несѐт максимальную информацию. Избыточность информации, содержащаяся в ансамбле, характеризуется коэффициентом избыточности
r 1 Hmax (Y ) H (Y ) .
Hmax (Y )
Чтобы уменьшить избыточность, содержащуюся в ансамбле X источника информации, создается новый ансамбль Y символов, энтропия которой близка к максимальному значению. Затем с помощью элементов ансамбля Y составляются сообщения из ансамбля X.
2.3.2 Непрерывный канал передачи информации
Непрерывный канал передачи информации описывается одномерными и двумерными плотностями распределений вероятностей. Чтобы записать количество взаимной информации между входом и выходом канала связи, используем дискретное представление информации, а затем прейдем к непрерывным величинам.
Совместная вероятность появления символа y*i на входе канала и символа z*i
на выходе канала равна
p yi*, z*j = w( yi*, z*j ) y z ,
где |
y* |
и |
z* |
-значения |
y |
и z, удовлетворяющие условиям y y* y |
y , |
|||||||
|
|
i |
|
|
j |
|
|
|
|
|
i |
i |
i |
|
z |
|
z* |
z |
|
z , |
y |
и |
z |
|
- границы i-го и j-го интервалов квантования соответст- |
||||
|
j |
j |
|
j |
|
|
i |
|
|
j |
|
|
|
|
венно для y и z
17
Вероятность появления символа z * |
на выходе канала при условии, что на вход |
||||||||||||||||||||||||||||
|
|
|
|
|
|
j |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
подан символ yi , равна |
|
p y*, z* |
|
w y* , z* |
y z |
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
p z*j / yi* = |
|
|
|
|
|
|
|
|
|
||||||||||||||||||
|
|
i |
|
|
|
j |
= |
|
|
i |
j |
|
|
|
|
|
|
. |
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
p y* |
|
|
w y* |
y |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
i |
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Количество информации, содержащееся в символе z j , равно |
|
|
|
|
|
|
|
||||||||||||||||||||||
|
I z*j log p(z*j ) log w(z*j ) z . |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
Условное количество информации, |
содержащееся в элементе z * |
, если на вход |
|||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
j |
|
|
|
|
|
|
канала подаѐтся элемент ансамбля y* , равно |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
i |
p yi*, z *j |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
w( yi*, z |
*j ) y z |
|||||||||||||||||||||
I z *j / yi* log p(z *j / yi* ) log |
|
|
|
|
|
|
|
= log |
|
|
|
|
|
|
|
|
|
|
. |
||||||||||
|
p( yi* ) |
|
|
|
w( yi*) y |
|
|
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Тогда количество информации, |
содержащееся в элементе |
|
z * |
относительно |
|||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
j |
|
|
|
|
|
|
элемента |
y* , равно |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
j |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
w( y |
*, z * ) y z |
|||||||||||||
J yi*, z *j |
I z *j |
I z *j |
/ yi* log w(z *j ) z log |
|
|
|
|
|
|
i |
j |
|
|
|
|
|
|||||||||||||
|
|
|
|
|
w( yi* ) y |
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
w( yi*, z *j ) y z |
|
|
|
|
|
w( yi*, z *j ) |
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
log |
|
|
|
|
|
log |
|
|
|
|
|
|
|
. |
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
w( y* )w(z * ) y z |
|
|
w( y* )w(z * ) |
|
|
|
|
|
|
|
|
|||||||||||||||||
|
|
i |
j |
|
|
|
|
|
|
|
|
i |
j |
|
|
|
|
|
|
|
|
|
|
|
|||||
Как видно из последнего выражения, интервалы квантования y |
|
и |
z не |
||||||||||||||||||||||||||
влияют на количество информации, содержащееся в элементе |
|
z j |
относительно |
||||||||||||||||||||||||||
элемента yi . |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Количество взаимной информации, |
содержащееся в ансамбле Z относительно |
||||||||||||||||||||||||||||
ансамбля Y , равно |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
N N |
|
|
|
|
|
|
N |
N |
|
|
|
|
|
w( yi*, z *j ) |
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
J Y , Z p( yi*, z *j ) J yi*, z *j w( yi*, z *j ) log |
|
|
|
|
|
|
y z . |
||||||||||||||||||||||
|
|
|
|
|
|||||||||||||||||||||||||
|
i 1 j 1 |
|
|
|
|
|
|
i 1 j 1 |
|
|
|
|
|
w( y |
* )w(z * ) |
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i |
j |
|
|
|
|
|
|||||||||
Осуществляя в предыдущем выражении предельный переход x 0 , |
y 0 , |
||||||||||||||||||||||||||||
получим интегральное представление количества взаимной информации, содержащееся в непрерывном ансамбле Z относительно непрерывного ансамбля Y
TH |
TH |
|
w( y, z) |
|
|
|
|
|
|||
J Y , Z w( y, z) log |
|
dy dz |
|||
0 |
0 |
w( y)w(z) |
= |
||
|
|||||
|
|
|
|
||
18
TH |
TH |
w(z / y) |
TH |
TH |
w( y / z) |
|||||
|
|
|
|
|||||||
w( y, z) log |
|
dy dz |
w( y, z) log |
|
dy dz J Z ,Y . |
|||||
w(z) |
w( y) |
|||||||||
0 |
0 |
|
|
0 |
0 |
|
|
|||
|
|
|
|
|
|
|||||
Количество взаимной информации, содержащееся в ансамбле Z относительно ансамбля Y , равно количеству взаимной информации, содержащееся в ансамбле Y относительно ансамбля Z .
Выразим количество взаимной информации J Y , Z через энтропию ассамблей Y и Z. Для этого используем предыдущую формулу
J Y , Z
TH TH
0 0
TH |
TH |
w(z / y) |
|
||
|
|
|
|||
w( y, z) log |
|
dy dz |
|||
|
|||||
0 |
0 |
|
w(z) |
|
|
|
|
|
|
||
|
|
|
|
TH |
TH |
w( y, z) log w(z / y) dy dz |
w( y, z) log w(z) dy dz |
||||
0 0
h(Z) h(Z /Y) ,
где h(Z) - дифференциальная энтропия на один отсчѐт процесса Z ( t ) ,
h(Z / Y ) - условная дифференциальная энтропия на один отсчѐт процесса Z ( t ) при известном отсчѐте Y ( t ) .
Точно так же можно показать, взаимная информация равна
J Z,Y h(Y ) h(Y / Z ) |
|
áèò |
|
, |
|
||||
|
|
|
||
|
|
|
||
|
|
î òñ÷¸ò |
|
|
где h(Y) - дифференциальная энтропия на один отсчѐт процесса Y ( t ) , |
||||
h(Y / Z) - условная дифференциальная энтропия на один отсчѐт процесса Y ( t ) при известном отсчѐте Z ( t ) называется ненадѐжностью канала связи.
Рассмотрим h Z / Y - энтропию помехи в непрерывном канале связи. Сигна-
лы на входе и выходе канала связи и помеха описываются линейной зависимостью Z Y , в которой каждая составляющая является непрерывной случайной величиной со своей плотностью распределения вероятности. Условная энтропия
h Z / Y имеет вид:
|
TH |
TH |
h Z / Y |
w( y, z) log w(z / y) dy dz |
|
|
0 |
0 |
TH |
TH |
|
w( y) w(z / y) log w(z / y) dz dy . |
||
0 |
0 |
|
19
Положим, плотность распределения вероятности шума известна и равна w ( n ) . В
условной плотности вероятности w(z / y) величина y считается известной. Тогда случайная величина Z при известной величине y зависит только от шума и имеет место w(z / y) dz w (n) dn, откуда получим
w(z / y) w (n) |
|
dn |
|
w (n) w (z y). |
|
|
|||||
|
|
dz |
|
|
|
|
|
|
|
|
|
Из этого выражения видно, что условная плотность w(z / y) зависит только от шума. В результате получим
TH |
TH |
|
|
|
|
h Z / Y w( y) w (n) log w (n) dn dy h |
|
áèò |
, |
||
|
|
|
|||
|
|||||
0 |
0 |
|
î òñ÷¸ò |
|
|
|
|
|
|
||
т.е. условная энтропия на один отсчѐт h Z / Y равна энтропии шума h на один отсчѐт.
2.3.3 Эпсилон-энтропия (ε-энтропия)
Наличие помехи в канале связи ухудшает качество восстанавливаемого сигнала. Возникает вопрос, до какой степени можно допустить искажение сигнала помехой, чтобы можно было сказать, сигнал, поступивший в канал связи и вышедший из канала связи идентичны Критерии отождествления двух сигналов могут быть самыми различными. Необходимо ввести расстояние ( y , z ) между элементами ансамблей Y и Z . Мерой идентичности ансамблей Y и Z наиболее часто берут математическое ожидание квадрата расстояния между элементами ансамблей Y и Z :
|
|
|
M [ (Y , Z )] |
( z y )2 w ( y , z ) dy dz |
|
|
|
|
В качестве критерия «сходства» ансамблей Y и Z примем выполнение нера- |
||
венства |
|
|
M [ (Y , Z )] 2 |
(2.21) |
|
где 2 - заранее заданная допустимая мера отклонения «сходства» ансамблей Y и Z .
Заданную меру «сходства» 2 необходимо обеспечить при минимальном количестве меры информации J Z ,Y . Ввиду того, что
J Z,Y H (Y ) H (Y / Z ),
20