Білет 21
Кількісна міра інформації. Ентропія джерела дискретних повідомлень.
Рассмотрим
процесс приема символа
.
До его поступления в канал связи
неопределенность относительно посылаемого
символа определялась априорной
вероятностью
.
Приняв символ
приемник распологает определенными
данными относительно действительно
переданного символа
.
Его неопределенность теперь представляется
новым значением вероятности
.
Если это новое значение равно значению
априорной вероятности
то в результате приема каких-либо новых
сведений о передаваемом символе не
поступает. Если
,
то шанс приема конкретного символа
,
возрастает, и при сравнении указанных
вероятностей может быть извлечена
информация о символе
.
За меру количества извлекаемой информации
принимают величину
.
Как отмечалось ранее, информация, доставляемая символом о символе , в этом случае равна нулю.
Рассмотрим
случай приема, когда принимаемый символ
одозначно определяет символ
.
В этом случае
и количество извлекаемой информации
на выходе канала о символе
.
Величина
называется
собственной информацией о событии
.
Это количество информации, которое
может быть передано по каналу связи.
Собственная информация является положительной величиной. Она тем больше чем меньше вероятность .
Перепишем выражение
.
Следует,
что информация, доставлямая символом
о символе
равна информации доставлямой символом
о символе
.
Поэтому
называется
взаимной информацией.
На практике представляет интерес средняя взаимная информация, равная количеству информации о множестве А передаваемых символов, которая в среднем содержится в множистве В принимаемых символов.
Учитывая формулы, выражение можно записать также в виде:
Входящие в формулу выражение для I(A)определяется формулой и равно среднему количеству информации, которая содержится в возможных символах на выходе источника дискретных сообщений. Формула идентична выражению для энтропии системы в статистической механике.
Поэтому величину I(A) называют энтропией дискретного источника и обозначают H(A).
Выражение
,
входящее
в формулу,определяет среднее количество
информации, содержащееся во всевозможных
символах на выходе источника дискретных
сообщений до момента приема символа на
выход канала при известном множестве
символов на выходе этого канала.
Математически величина
определяется
формулой. Величину
называют
условной энтропией и обозначают буквой
.
Условную энтропию называют также
ненадежностью дискретного канала связи.
Рассмотрим основные свойства энтропии.
Энтропия величина вещественная, ограниченная и неотрицательная. Это следует из выражения.
Энтропия равна нулю, если значение символа (сообщения) известно заранее. В этом случае вероятность одного из символов равно 1, а вероятность остальных символов равны нулю.
Энтропия максимальна, если все состояния дискретного источника равновероятны.
Подставляя
,
получим
Условные энтропии
Равенство
наблюдается тогда, когда символы
,
статистически независимы. В этом случае
для всех индексов i,
j.
,
если
между
,
наблюдается однозначная связь.
Энтропия объединения двух зависимых сообщений равна сумме двух энтропий: безусловной и условной.
Энтропия объединения двух независимых сообщения равна сумме энтропий этих сообщений.