1.6. Определение количества информации источника дискретных сообщений при неполной достоверности результатов опыта

Как уже отмечалось, информация о том или ином событии или факте добывается всегда в результате целенаправленного опыта, причем после опыта ситуация оказывается не всегда полностью определенной, и мы не можем с полной достоверностью утверждать, какое именно событие имело место. Требуется определить количество информации, приходящееся в среднем на один опыт, когда полная достоверность его исхода отсутствует.

Пусть интересующие нас события или факты составляют ансамбль (1.4) (переданные сообщения)

,

а результаты опыта, на основе которых мы выносим суждение об исходе событий , составляют ансамбль (1.11) (принятые сообщения)

.

Обозначим через вероятность того, что при известном исходе опыта имело место событие . Если, например,

(1.18)

то в результате опыта ситуация полностью определена, и мы можем с полной достоверностью утверждать, какое событие (сообщение) имело место. Так как неопределенность исхода событий до опыта равна , а после опыта неопределенность отсутствует, то в этом случае

(1.19)

где – количество информации, содержащееся в среднем в опытах относительно интересующих нас событий .

В более общем случае, когда для различных , после опыта сохранится неопределенность, которая, очевидно, приведет к уменьшению количества информации (1.19).

Количество информации, содержащееся в опыте относительно событий , которое назовем частной мерой количества информации при ее неполной достоверности, можно определить по формуле (1.2) как

. (1.20)

Здесь условная вероятность определяет послеопытную вероятность .

Количественная мера информации (1.19) по аналогии с другими мерами будет представлять в данном случае усреднение частных мер количества информации (1.20) при неполной достоверности результатов опыта:

. (1.21)

С учетом соотношений (1.13), соответствующих подстановок и преобразований, используемых в (1.14), из выражения (1.21) получим

откуда находим (с учетом условия ) количество информации, в среднем приходящееся на один опыт при его неполной достоверности,

, (1.22)

где – условная энтропия, характеризующая потерю информации из-за недостоверности результатов опыта.

Учитывая две формы записи (1.13) вероятности совместных событий для введенной меры количества информации, наряду с (1.22) нетрудно получить дополнительные формы:

, (1.23)

которые могут использоваться при вычислении количества информации.

1.7. Некоторые свойства количественной меры информации источника дискретных сообщений при неполной достоверности результатов опыта

1.7.1. Количество информации, содержащееся в опытах относительно интересующих нас событий , не превосходит энтропии событий , т.е.

.

Этот максимум достигается лишь при выполнении условия (1.18), т.е. если результат опыта достоверно определяет событие.

1.7.2. , т.е. энтропия может быть истолкована как информация, содержащаяся в событиях (опытах) относительно самих себя. Из этого непосредственно вытекает, что энтропия событий есть наибольшее количество информации об этих событиях, которое можно получить из опытов.

1.7.3. , если при всех значениях и , что имеет место для статистически независимых событий. Это означает, что количество получаемой информации равно нулю, когда исход опытов не зависит от исхода событий. Данный вывод полностью согласуется с нашими интуитивными представлениями.

1.8. Пример вычисления количественной меры информации при неполной достоверности результатов опыта (рассмотреть самостоятельно)

Применительно к этому примеру рассмотрим двоичный канал передачи данных, который был упомянут ранее в примере (раздел 1.3). В отличие от него будем считать, что на выходе этого канала из-за искажений, обусловленных помехами и сбоями в аппаратуре, принятые символы двоичного канала оказываются недостоверными, т.е. вероятность правильного приема символов оказывается меньше 1 и в соответствии с формулой (1.18). Пусть будем иметь . Вероятность ошибочного приема символов двоичного кода . Для рассматриваемого примера примем .

Для вычисления воспользуемся (1.22), (1.16) и (1.6). Из (1.6) получаем

.

В данном случае

,

.

Условные вероятности найдем из равенства

и, следовательно,

.

Для нашей задачи имеем

и, следовательно,

или

По аналогии с (1.16) получаем

или

,

.

В итоге согласно (1.22) имеем

.

Если бы в рассматриваемом случае двух событий опыт был достоверным, т.е. выполнялись условия

,

то очевидно, что

.

Таким образом, недостоверность опыта, когда вероятность ошибочного исхода составляет 0,1, приводит к уменьшению количества информации, получаемой из опыта, почти в 2 раза.