Методическое пособие 640
.pdfт. е. сообщения, характеризуемые состояниями Y, не содержат никакой информации о X.
Рассмотрим другие формы представления количества информации (3.3). Для энтропии объединения зависимых сообщений ранее были получены соотношения:
|
( |
) = |
( |
) + |
|
( |
/ |
), |
|
|
|
(3.4) |
Так как |
( |
) = |
( |
) + |
|
( |
/ |
). |
|
|
|
(3.5) |
то |
|
|
( |
) = |
|
( |
), |
|
|
|
|
|
|
|
Н(Х) + |
( |
/ |
) |
= Н (Y) + |
( |
/ |
) |
или |
||
|
|
H(X) — |
= H(Y) — |
(3.6) |
||||||||
|
|
( |
/ |
) |
( |
/ |
). |
|||||
Из последнего равенства следует, что
I(YX)=I(XY),
т. е. количество информации, которое содержится в Y относительно X, равно количеству информации, которое содержится в X относительно Y. Поэтому ( ) и ( ) называются также полной взаимной информацией.
В соответствии с (3.6) можно записать
I(YX) = H(Y) — |
|
|
. |
(3.7) |
|||
Если передаваемые сообщения, |
характеризуемые состоя- |
||||||
|
( |
/ ) |
|
|
|||
ниями X, и помехи с состояниями N являются статистически |
|||||||
полностью независимыми, то условная энтропия |
|
||||||
представляет добавочную( /энтропию) |
, которую дает к эн- |
||||||
тропии |
|
|
|
|
|
|
|
знание состояний Y. Эта добавочная( ) |
энтропия обусловле- |
||||||
на только помехами и равна |
|
|
|
|
|
|
|
|
|
= |
|
. |
|
|
|
Следовательно, (3.7) |
преобразуется к виду |
|
|||||
( / ) |
|
( |
) |
|
|
|
|
I(YX) = Н(Y) - H(N), |
|
(3.8) |
|||||
|
51 |
|
|
|
|
|
|
т. е. для определения количества информации, содержащейся в Y относительно X надо из общей средней энтропии принятых сообщений Н(Y) вычесть энтропию помех H(N).
Для последующего анализа в (3.5) удобно выразить условную энтропию следующим образом
( ⁄ ) = ( ) − ( ).
Подставляя это значение условной энтропии в (3.7), получаем:
( ) = ( ) + ( ) − ( ) . |
(3.9) |
Раскроем содержание этой формулы более подробно. Для этого выразим значения энтропий, входящих в (3.9)
через полученные ранее соотношения:
( |
) = −∑ |
( |
)log ( |
) , |
(3.10) |
( |
) = −∑ |
∑ |
log |
, |
(3.11) |
и подставим( |
) = −∑ |
|
log |
(3.12) |
|
|
|
|
|
|
|
( ) = − |
значения энтропий в (3.9). Тогда |
|
|||
( )log |
( |
) − |
log |
(3.13) |
|
+ |
|
log |
. |
|
|
Умножим первую сумму на |
= 1 |
|
|
||
|
|
⁄ |
|
|
|
и вторую на
52
⁄ = 1 .
Формула для количества информации (3.13) примет вид:
( ) = − |
⁄ |
( |
)log |
( ) |
|
− |
⁄ |
|
log |
log |
|
+ |
|
( ) |
log ( |
) |
|
= − |
|
⁄ |
|||
− |
|
|
⁄ |
log |
(3.14) |
+ |
|
|
log |
. |
Вероятность совместного появления состояний может быть представлена через условные вероятности:
тогда (2.34)=приводится( ) · |
к⁄виду:= |
· |
⁄ , |
|
( ) = − |
log ( ) − |
. |
log |
|
+ |
|
log |
(3.15) |
|
|
|
53 |
|
|
Принимая во внимание, что |
|
|
|
|
|
||
−log ( |
)− log |
+log |
|
= log |
|
|
, |
|
|
||||||
преобразуем (3.15) к окончательному выражению( ) |
: |
|
|||||
( |
) = |
|
log |
( ) |
. |
(3.16) |
|
Эта формула дает возможность определить количество информации, содержащееся в Y относительно передаваемого X, через вероятности состояний ( ), ( ) и вероятность совместного появления состояний ( ).
Основная формула (3.16) может быть несколько видоизменена. Так, используя равенство
имеем |
|
= |
( ) |
⁄ |
, |
⁄ |
|
( |
) = |
( |
) |
⁄ |
log |
(3.17) |
|
или, используя равенство |
|
⁄ |
, |
|
|
||
получим |
|
= |
|
( ⁄) |
|
||
( |
) = |
|
|
⁄ |
log |
. (3.18) |
|
Формулы (3.16) – (3.18) определяют общее среднее количество информации, содержащееся в Y относительно X.
3.4. Количество информации, содержащееся в одиночном сообщении
Под состоянием yj принимаемого сообщения можно понимать одиночный сигнал, характерный заданным j-м состоя-
54
нием, либо определенную группу сигналов (импульсов). Во многих практически важных случаях возникает задача оценки одиночного сигнала с точки зрения той информации, которую он содержит о передаваемых сообщениях. При этом можно поставить задачу о той информации, которая содержится в сообщении yj на приемном пункте о всей совокупности передаваемых сообщений X, либо об информации, которая содержится в уj только об одном состоянии xk. Оба эти количества информации называются частными.
3.4.1.Частное количество информации, содержащееся
вyj относительно X
Рассмотрим соотношение (3.18) для среднего количества информации, которое содержится в принимаемых состояниях Y относительно передаваемых X. Это количество информации можно рассматривать как среднее количество информации для всех состояний Y, полученное путем усреднения частных количеств информации, содержащихся в отдельных состояниях уj, усредненных с весами, равными вероятностям р(уj). В самом деле, (3.18) можно представить в виде
⁄
( ) = ⁄ log ( ) .
Отсюда видно, что величина
⁄
= ⁄ log ( ) (3.19)
представляет частное количество информации, содержащееся в уj, относительно совокупности передаваемых состояний X. Общее среднее количество информации, содержащееся в Y относительно X, равно
55
( ) = |
. |
(3.20) |
3.5. Частное количество информации, содержащееся в yj относительно xk
Во многих практически важных случаях возникает задача: по принятому одиночному сообщению, характеризуемому состоянием yj , определить то сообщение xk , которое является наиболее вероятно переданным. Любой прием происходит в условиях воздействия помех внутреннего или внешнего происхождения, поэтому можно говорить лишь о том, какое из сообщений было передано с наибольшей достоверностью. Теория информации дает возможность оценить эту достоверность путем определения количества информации, которое содержится в принятом сообщении yj , относительно переданного xk . Наиболее достоверным следует считать, очевидно, то сообщение, относительно которого содержится наибольшее количество информации в yj.
Формула (3.20) определяет среднее количество информации, которое содержится в принятом сообщении (состоянии) yj относительно всех возможных переданных состояний. Это среднее значение по всем xk определяется путем усреднения частных количеств информации, содержащихся в отдельных переданных сообщениях, с весами, равными вероятности появления каждого состояния xk , при условии, что принято yj.
Таким образом из (3.20) видно, что частное количество информации, содержащееся в yj относительно некоторого xk , равно
⁄
= log ( ) . (3.21)
Среднее количество информации о всех xk, содержащихся в одном частном yj, можно вычислить из равенства
56
= |
⁄ |
. |
(3.22) |
Безусловная вероятность p(xk) называется априорной (доопытной), поскольку она известна еще до приема сообщения, определяется только свойствами передаваемых сообщений. Условная вероятность / является апостериорной (послеопытной), поскольку она может быть определена только после того, как было принято какое-то одно сообщение yj.
Таким образом, количество информации, содержащееся в принятом сообщении yj , относительно некоторого переданного xk , равно логарифму отношения апостериорной вероятности
/к априорной вероятности p(xk ).
Если интересует задача: какое из сообщений xk мы можем считать переданным с наибольшей достоверностью, когда было принято yj то надо найти наибольшее значение частного количества информации
⁄
= log ( ) .
Найденное таким способом значение xk и является наиболее вероятно переданным. Поскольку логарифм является монотонной функцией аргумента, то для определения максимума логарифма достаточно найти максимум его аргумента. Иными словами, для определения наиболее достоверного xk , надо найти такое k, которому соответствует наибольшее значение отношения
⁄
log ( ) . (3.23)
57
3.5.1. Свойства частного количества информации, содержащегося в yj относительно xk
1. Частное количество информации может иметь как положительные, так и отрицательные значения. Представим формулу (3.23) в следующем виде:
= log ⁄ −log ( ) . |
(3.24) |
Из этой формулы следует:
а) если апостериорная вероятность передачи состояния xk больше вероятности априорной, то количество информации положительно. Иными словами, если знание состояния yj увеличивает вероятность передачи состояния xk по сравнению с вероятностью передачи того же соотношения до приема, то частное количество информации положительно,
т. е. при p(xk /yj )>p(xk )
> 0 ;
б) если апостериорная вероятность передачи состояния меньше вероятности априорной, то количество информации отрицательно. В этом случае знание состояния уj уменьшает вероятность передачи состояния xk по сравнению с априорной.
При p(xk /yj)<p(xk )
< 0 ;
в) если апостериорная вероятность равна априорной, то при p(xk /yj )=p(xk )
= 0 .
Частное количество информации равно нулю, когда знание принятого сообщения yj, не меняет вероятности передачи сообщения xk.
3.6. Разность частных количеств информации
Пусть передаваемые сообщения характеризуются множеством состояний , … . Принято одно состояние yj. Вследствие воздействия помех однозначного соответствия
58
между передаваемыми и принимаемыми состояниями нет, поэтому наиболее вероятно переданным состоянием следует считать то, относительно которого в принятом состоянии содержится наибольшее количество информации.
Количества информации, содержащиеся в yj относительно произвольно взятых xk и xr соответственно равны:
== |
⁄ ⁄ −− |
( (). ) , |
(3.25) |
Сравним частные количества информации, т. е. определим разность частных количеств информации:
|
|
⁄ |
( |
) |
|
− |
= |
⁄ |
( |
) |
. (3.26) |
Если эта разность является величиной положительной, то наиболее вероятно, что было передано состояние xk , если она отрицательна, то наиболее вероятно, что было передано сообщение xr .
Аналогичное сравнение может быть выполнено для любой другой пары состояний из множества X. Наиболее вероятным следует считать состояние xk , для которого равенство (3.26) положительно и имеет наибольшее значение для всех возможных состояний из множества X.
Формула (3.26) может быть представлена также в другом виде. Совместная вероятность появления событий xk и yj может быть представлена в следующей форме:
откуда |
= ( ) |
|
⁄ |
= |
|
⁄ , |
|
( |
) |
= |
⁄ |
. |
|
Аналогично совместная вероятность появления событий xr и yj равна
= ( ) ⁄ = |
⁄ , |
59
откуда
⁄
( ) = . (3.27)
Подставляя (3.27) в (3.26), получим
|
|
⁄ |
|
|
− |
= |
⁄ |
. |
(3.28) |
Разность количеств информации, представленная в такой форме, наиболее удобна для решения ряда важнейших практических задач.
Для иллюстрации изложенного рассмотрим следующий пример, имеющий большое самостоятельное значение.
Пусть по каналу связи передается одно из двух сообщений x1 или х2. Сообщению x1 соответствует отсутствие сигнала (пассивная пауза), сообщению х2 соответствует сигнал постоянной амплитуды.
Вследствие воздействия помех (произвольного характера) сигнал на выходе приемного устройства характеризуется плотностью вероятности ( ), когда передается х1 и плотностью вероятности ( ), когда передается х2 (рис. 2.3).
Сигналы с выхода приемного устройства подаются па пороговое устройство, которое фиксирует состояние у1, если напряжение на выходе приемника меньше порогового, т. е. u < u , и фиксирует состояние у2, когда u > u .
Пусть принято сообщение у1 , т. е. пороговое устройство не сработало, какое из переданных сообщений является наиболее вероятным x1 или х2?
Условная вероятность р(у1 /х1), численно равная площади S1, (рис. 3.2), определяет вероятность несрабатывания порогового устройства, когда сигнал не был передан. Условная вероятность р(у1 / x2), численно равная площади S3, определяет вероятность несрабатывания порогового устройства, когда сигнал был передан.
60