2.3 Количество взаимной информации

2.3.1 Дискретный канал передачи информации

Рассмотрим модель канала передачи информации

,,

,

[бит] - количество информации (мера неопределённости), содержащаяся в элементеансамбля.

[бит] - количество информации, содержащееся в элементепри условии, на входе канала реализуется элемент ансамбля. Иногда её называют остаточной неопределённостью в элементепри условии реализации на входе канала элемента.

[бит] - количество информации, содержащееся в элементена выходе канала связи относительно элементана входе канала. Используя безусловную и условную вероятностии, можно получить

- количество информации, содержащееся в элементеотносительно элемента.

Суммируя по всем возможным элементамис соответствующими весами, получим

(2.19)

- количество взаимной информации, содержащейся в ансамбле относительно ансамбля.

(Зюко. Помехоустойчивость и эффективность систем связи. «Связь». 1972, 360 с.)

Выразим количество взаимной информации через энтропии ансамблей:

=. (2.20 а)

Формулу (2.18 а) можно интерпретировать как среднее количество информации, переданное по каналу связи. Условная энтропия зависит от характеристик шума и интерпретируется как среднее количество информации, теряемое в канале связи из-за шума, и её называютненадёжностью[Р. Фано, стр 66].

Используя соотношение (2.17), можно показать

. (2.20б)

Энтропия - это среднее количество принятой информации, необходимое для определения принятого сигнала. Условная энтропия- среднее количество принятой информации, когда известны вероятностные характеристики ансамбляY. Ввиду того, что сигнал и шум аддитивны и независимы, а характеристики сигнала учитываются в расчетах условной энтропии, то- среднее количество информации, необходимое для определения помехи, илиэнтропия помехи (шума) в канале связи. При отсутствии помех в канале связи

==0 и=.

Пример 1.Положим, сигналы в канале передачи данных не искажаются, т.е. шумы в канале отсутствуют. Условная вероятность появления символовив этом случае равна

Тогда условная энтропия равна нулю и количество взаимной информации определяется энтропией ансамбляZ. Но ранее было показано, что=. Из этого равенства и отсутствия шума следует, что, то есть количество взаимной информации на выходе канала связи относительно входа равна энтропии (неопределённости) ансамбля на входе канала передачи данных. И чем больше энтропия, тем больше информации передаётся по каналу связи.

Пример 2.Положим, сигналы в канале передачи данных искажаются настолько, что сигналына приёмном конце канала передачи данных можно считать статистически независящими от передаваемых значений. В этом случае условная вероятность запишется как

и количество взаимной информации будет равно нулю, то есть абонент не получит никакой информации, хотя он будет фиксировать принимаемые символы .

Из рассмотренных примеров видно, чем больше энтропия , тем больше информации может быть передано по каналу. Для дискретных источников информации, как было показано ранее, энтропия принимает наибольшее значение, если элементы ансамбля равновероятны. Это положение относится как к ансамблюX, так и к ансамблямYиZто есть

,, гдеNиK– количество элементов ансамблейXиY. Для непрерывных распределений вероятностей,, имеющих конечную дисперсию, энтропия принимает максимальное значение, если значенияxиyраспределены по нормальному закону.

Ансамбль сообщений, энтропия которых равна максимальному значению, является оптимальным ансамблем в смысле наибольшего количества передаваемой информации [Клюев].

Для оценки того, насколько отличается энтропия ансамбля от максимального значения вводится понятие коэффициента сжатия:

.

Из определения видно, что . Прикаждое сообщение несёт максимальную информацию. Избыточность информации, содержащаяся в ансамбле, характеризуется коэффициентом избыточности

.

Чтобы уменьшить избыточность, содержащуюся в ансамбле Xисточника информации, создается новый ансамбльYсимволов, энтропия которой близка к максимальному значению. Затем с помощью элементов ансамбляYсоставляются сообщения из ансамбляX.