2.4. Контрольные вопросы

2.4.1. Дать определение энтропии.

2.4.2. Как связаны между собой формулы Хартли и Шеннона?

2.4.3. Может ли энтропия быть отрицательной?

2.4.4. В каких случаях энтропия равна нулю?

2.4.5. При каких условиях энтропия принимает максимальное значение?

2.4.6. В чем состоит правило сложения энтропий для независимых источников?

2.4.7. Что понимают под непрерывными системами передачи?

2.4.8. Как определить количество информации непрерывных сообщений?

3. Условная энтропия и взаимная информация

3.1. Дисктретные системы передачи информации.

Условной энтропией величины при наблюдении величины называется

Справедливы соотношения:

Взаимной информацией величин и называется

Справедливы следующие соотношения:

Если и независимы, то =0.

При расчетах условной энтропии и взаимной информации удобно пользоваться следующими соотношениями теории вероятностей:

1) теорема умножения вероятностей ;

2) формула полной вероятности

3) формула Байеса

Рассмотрим пример.

Пример 1. Дана матрица

, .

Определить:

Решение. По формуле полной вероятности имеем:

Следовательно,

По теореме умножения

Следовательно,

Аналогично

3.2. Непрерывные системы передачи информации.

Пусть - реализации непрерывного сообщения на входе какого-либо блока схемы связи, - реализация выходного сообщения (сигнала), - одномерная плотность вероятности ансамбля входных сообщений, - одномерная плотность вероятности ансамбля выходных сообщений, - совместная плотность вероятности, - условная плотность вероятности

при известном Тогда для количества информации справедливы следующие соотношения:

,

Здесь - взаимная информация между каким-либо значением входного и значением выходного сообщений, - средние значения условной информации, - полная средняя взаимная информация.

Условная энтропия определяется по формуле:

Когда и статистически связаны между собой, то

При независимых и

Полная средняя взаимная информация определяется формулой:

Рассмотрим пример.

Пример 1. На вход приемного устройства воздействует колебание где сигнал и помеха - независимые гауссовские случайные процессы с нулевыми математическими ожиданиями и дисперсиями, равными соответственно и

Определить: 1) количество взаимной информации которое содержится в каком-либо значении принятого колебания о значении сигнала 2) полную среднюю взаимную информацию

Решение. По условию задачи представляет собой сумму независимых колебаний и которые имеют нормальные плотности вероятности. Поэтому

1. Количество информации определяется по формуле:

2. Полная средняя взаимная информация:

где - знак усреднения по множеству.

Таким образом,

дв. ед.

3.3. Задачи

3.3.1. Сигнал подается на вход канала с вероятностью и отсутствует с вероятностью Поступивший сигнал воспроизводится на выходе с вероятностью и теряется с вероятностью Найти энтропию выхода, энтропию входа, взаимную информацию входа и выхода ;

3.3.2. Используя исходные данные задачи 1.3.6., определить энтропию входа условную энтропию и взаимную информацию

3.3.3. Для двоичного симметричного канала со стиранием заданы:

- вероятность правильной передачи каждого символа;

- вероятность передачи единицы на входе;

- вероятность стирания каждого символа.

Используя исходные данные определить