24.. Взаимная информация и ее свойства.

Определим теперь информацию, содержащуюся в одном ансамбле относительно другого, например, в принятом сигнале относительно переданного сообщения. Для этого рассмотрим сообщение двух дискретных ансамблей A и B, вообще говоря, зависимых. Его можно интерпретировать как пару ансамблей сообщений, либо как ансамбли сообщения и сигнала, с помощью которого сообщение передаётся, либо как ансамбли сигналов на входе и выходе канала связи и т. д. Пусть P(a_k ,b_l)совместная вероятность реализаций a_k и b_l . Cовместной энтропией ансамблей A и B будем называть:

(10.6)

Введём также понятие условной энтропии:

(10.7)

где P(a_{k /} b_l)- условная вероятность a_k , если имеет место b_l .

Из теоремы умножения вероятностей

следует, что . (10.8)

Для условной энтропии справедливо двойное неравенство:

(10.9)

Рассмотрим два крайних случая:

1.Равенство имеет место в том случае, когда, зная реализацию, можно точно установить реализацию. Другими словами,содержит полную информацию об.

2.Другой крайний случай, когда имеет место, если событияинезависимые. В этом случае знание реализациине уменьшает неопределённости, т.е.не содержит никакой информации об А.

(10.12)

Взаимная информация измеряется в тех же единицах, что и энтропия. Величина показывает, сколько мы в среднем получаем бит информации о реализации ансамбля, наблюдая реализацию ансамбля.

Сформулируем основные свойства взаимной информации:

1. , причём равенство имеет место тогда и только тогда, когда инезависимы между собой

2. , то есть содержит столько же информации относительно, сколькосодержит относительно. Это свойство вытекает из симметрии выражения. Поэтому можно также записать:

(10.13)

3. , причём равенство имеет место, когда по реализацииможно точно установить реализацию.

4. , причём равенство имеет место, когда по реализацииможно точно установить реализацию.

5. Полагая и учитывая, чтополучим:

(10.14)

Это позволяет интерпретировать энтропию источника как его собственную информацию, то есть информацию, содержащуюся в ансамбле о самом себе.

(10.15)

получим соответствующие равенства для энтропии и количества информации, рассчитанных не на одно сообщение, а на единицу времени. Величина называется скоростью передачи информации отк(или наоборот). Рассмотрим пример: если- ансамбль сигналов на входе дискретного канала, а- ансамбль сигналов на его выходе, то скорость передачи информации по каналу.

(10.16)

- производительность источника передаваемого сигнала .

“производительность канала”, то есть полная собственная информация о принятом сигнале за единицу времени.

Величина представляет собой скорость “утечки” информации при прохождении через канал, а- скорость передачи посторонней информации, не имеющий отношения ки создаваемой присутствующими в канале помехами. Соотношение междуизависит от свойств канала. Так, например, при передаче телефонного сигнала по каналу с узкой полосой пропускания, недостаточной для удовлетворительного воспроизведения сигнала, и с низким уровнем помех теряется часть полезной информации, но почти не получается бесполезной. В этом случае. Если же расширяется полоса, сигнал воспроизводится точно, но в паузах ясно прослушиваются “наводки” от соседнего телефонного канала, то, почти не теряя полезной информации, можно получить много дополнительной, как правило, бесполезной информации и.