37. Частная условная энтропия. Условная энтропия источника. Апостериорная энтропия источника.

Найдем среднее количество информации, содержащееся в любом принятом элементе сообщений относительно переданного (реализованного) источником. До получения конкретного элемента сообщения средняя неопределенность, имеющаяся у адресата, относительно реализации источником любого элемента сообщения равна энтропии источника. Ее называют априорной энтропией источника.

Средняя неопределенность относительно любого состояния источника, остающаяся у адресата после получения конкретного элемента сообщения _j, характеризуется частной условной энтропией H_j(z):

(31)

Это случайная величина, зависящая от того, какой конкретно элемент принят.

Средняя неопределенность по всему ансамблю принимаемых элементов сообщений равна условной энтропии источника H_W(Z):

(32)

Эту энтропию называют апостериорной энтропией источника информации.

Таким образом, при наличии помех среднее количество информации, содержащееся в каждом принятом элементе сообщения, относительно любого переданного равно разности априорной и апостериорной энтропий источника:

(33)

Подставив выражения H(Z) и H_W(Z) из (6) и (32) в (33) и проведя несложные преобразования, получим формулу для количества информации непосредственно через вероятности:

(34)

Справка. Учитывая, что сумма условных вероятностей P(z_i/_j) отвечает условию нормирования, т.е. , можем записать:

В общем случае H_W(z) есть величина дезинформации вносимой помехами (шумами).

Можно показать, что справедливо и другое выражение

(35)

Доказано, что , т.е. среднее количество информации не может быть отрицательным.

При подсчете количества информации удобно применение двоичных логарифмов. Пусть объект имеет два возможных состояния. Тогда для передачи сообщений о состоянии объекта можно применить элементарный двухпозиционный сигнал. Если вероятности обоих состояний объекта равны между собой, т.е. P_i=1/2, то при пользовании двоичными логарифмами энтропия источника H(Z)=1. Этой же величине равно количество информации I, если в канале нет помех. В данном случае один элементарный сигнал несет одну двоичную единицу информации.

С помощью k элементарных двоичных сигналов можно передать сообщение об объекте, имеющем 2^k возможных состояний. Если все эти состояния равновероятны, то каждое сообщение из k символов имеет количество информации, равное k двоичным единицам. Этим объясняется удобство применения двоичных логарифмов. Двоичная единица информации называется битой.

38. Количество информации в переданном сообщении дискретным источником.

Рассмотрим информационные характеристики непрерывных сообщений.

Если величина u непрерывна, она имеет бесконечное множество возможных значений. Введем для нее понятие энтропии с помощью предельного перехода.

Заменим бесконечное множество значений «u» конечным числом N значений, взятых через равные интервалы:

.

Для k-го значения измеряемой величины u_k получим выражение . Вероятность появления k-го значения находим из плотности распределения по формуле . Это выражение тем точнее, чем меньше .