Средняя взаимная информация
Определения
В изучении проблем связи, кроме рассмотренных выше величин, важную роль играет среднее значение взаимной информации между элементами различных ансамблей.
Рассмотрим условное
среднее значение взаимной информации
для объединенного ансамбля XY.
Пусть сигнал принял значение
.
Тогда информация, содержащаяся в
реализации
принятого сигнала относительно ансамбля
передаваемых сообщений X,
есть
(20)
– средняя взаимная информация между ансамблем Х и реализацией .
Аналогично
информация, содержащаяся в ансамбле
принятых сигналов Y
относительно реализации переданного
сообщения
,
определяется как
(21)
– средняя взаимная информация между ансамблем Y и реализацией .
Наконец, средняя взаимная информация между ансамблем принимаемых сигналов Y и ансамблем передаваемых сообщений X
(22)
есть то количество информации, которое содержится в среднем в ансамбле принимаемых символов Y относительно ансамбля передаваемых символов X.
Основные свойства средней взаимной информации
1. Средняя взаимная информация симметрична
(23)
2. Средняя взаимная информация не превышает собственную
(24)
3. Средняя взаимная информация всегда неотрицательна
(25)
4. Следующее свойство устанавливает соотношение между средней взаимной информацией и энтропиями, относящимися к объединенному ансамблю:
а.
(26)
– среднее количество
информации о сообщении, содержащееся
в принятом сигнале равно среднему
количеству информации, требуемому для
определения сообщения Х, минус среднее
количество информации, которое все еще
потребуется для определения Х после
приема сигнала Y.
Тогда энтропию
мы понимаем как среднее количество
переданной информации, а условную
энтропию
– как среднее количество информации,
потерянное вследствие шума («ненадежность»).
б.
(27)
– среднее количество информации есть разность между средним количеством информации, необходимым для определения принятого сигнала, и средним количеством информации, необходимым для определения того же сигнала, когда известно переданное сообщение. Тогда условную энтропию мы понимаем как среднее количество переданной информации, необходимое для определения помехи в канале, т.е. это есть энтропия шума в канале.
При отсутствии в канале помех
(28)
т.е. принимаемый сигнал Y доставляет получателю всю информацию, содержащуюся в переданном сигнале.
В этом случае и связаны однозначно, т.е.
(29)
и условная энтропия =0.
При значительном
уровне помех прием
не дает ответа относительно переданного
,
следовательно, Х и Y
можно приближенно считать статистически
независимыми, тогда
– прием сигнала
не определяет переданного символа
и среднее количество информации
(30)
Очевидно, формулы (22), (26) и (27) дают тождественные результаты, и выбор той или иной формулы при решении конкретной задачи производится из соображений удобства математических выкладок.
Решение типовых примеров
Пример 1
Вычислить для
канала средние количества информации
,
,
.
Вероятности совместного появления
заданы таблицей:
yk |
y1 |
y2 |
y3 |
x1 |
1/4 |
1/16 |
1/8 |
x2 |
1/8 |
3/16 |
1/4 |
Решение
а) Средняя взаимная информация в
реализации сигнала
относительно случайной величины X
на входе канала определяется формулой
(20)
Можно определить
собственные вероятности:
Определим условные вероятности:
Средняя информация
бит.
б) Средняя взаимная информация в выходной величине Y относительно реализации случайной величины на входе , определяется формулой (21)
Условные вероятности:
Средняя информация
бит.
в) Средняя взаимная информация в случайной величине Y на выходе канала относительно случайной величины X на входе определяется формулой (22)
.
Воспользовавшись результатами вычислений , получим для средней взаимной информации
бит.
Пример 2
На вход приемника
телеграфных сигналов поступают посылки
(1) и паузы (0). Априорные вероятности
.
Из-за помех посылка, появившаяся на
входе приемника, регистрируется в
решающем устройстве правильно (как
посылка) с вероятностью
,
ошибочно (как пауза) – с вероятностью
.
При поступлении паузы на вход приемника
она принимается правильно (как пауза)
с вероятностью
и ошибочно (как посылка) с вероятностью
.
Определить среднюю информацию о входном
сигнале, содержащуюся в наблюдаемом
сигнале на выходе приемника.
Решение. Обозначим Х – ансамбль сигналов на входе, Y – ансамбль сигналов на выходе. Ищем среднюю взаимную информацию по формуле (27)
,
где
–
энтропия сигналов на выходе,
– условная энтропия
шума в канале, определяемая вероятностями
искажений
.
По условию задачи вероятности искажений
имеют следующий вид:
Для вычисления
вероятностей появления сигналов на
выходе
и
воспользуемся формулой полной вероятности
Тогда средняя взаимная информация
бит.
Пример 3
Эргодический источник имеет алфавит, состоящий из 8 букв. Средние частоты повторения букв одинаковы. При передаче по каналу с шумом в среднем половина всех букв принимается правильно, в другой половине случаев имеют место ошибки, при этом любая буква переходит в любую другую с одинаковой вероятностью. Какова средняя информация в принятой букве относительно переданной?
Решение. Обозначим
– ансамбль
переданных букв,
– ансамбль принятых
букв.
Средняя взаимная информация (формула (22))
или (формула (27)).
Так как для эргодической последовательности средние по времени частоты повторения букв совпадают с вероятностями, то по условию задачи вероятности появления букв на входе канала
Ищем условные
вероятности
.
Поскольку половина всех букв принимается
правильно, то
при
.
Другая половина случаев есть ошибочный
прием, причем по условию задачи все
возможные ошибки равновероятны. Число
возможных переходов (ошибок) равно 7.
Тогда вероятность ошибки
при
.
Вероятности появления букв на выходе найдем по формуле (1.3)
.
Этот же результат следует непосредственно из того факта, что рассматриваемый канал симметричный (вероятности ошибок одинаковы), тогда при равномерном распределении на входе распределение на выходе также равномерно.
а) Средняя взаимная информация по формуле (22)
Выражения
одинаковы, поэтому
бит.
б) Средняя взаимная информация по формуле (27)
Так как число букв m=8, то средняя взаимная информация:
бит.