6.2. Энтропия источника дискретных сообщений

1. Энтропия источника независимых сообщений

До сих пор определялось количество информации, содержащееся в отдельных сообщениях. Вместе с тем во многих случаях, когда требуется согласовать канал с источником сообщений, таких сведений оказывается недостаточно. Возникает потребность в характеристиках, которые позволяли бы оценивать информационные свойства источника сообщений в целом. Одной из важных характеристик такого рода является среднее количество информации, приходящееся на одно сообщение.

В простейшем случае, когда все сообщения равновероятны, количество информации в каждом из них одинаково и определяется выражением:

При этом среднее количество информации равно log т. Следовательно, при равновероятных независимых сообщениях информационные свойства источника зависят только от числа сообщений в ансамбле т.

Однако в реальных условиях сообщения, как правило, имеют разную вероятность. Так, буквы алфавита О, Е, А встре­чаются в тексте сравнительно часто, а буквы Щ, Ы, Ъ — редко. Поэтому знание числа сообщений т в ансамбле явля­ется недостаточным, необходимо иметь сведения о вероят­ности каждого сообщения:

Так как вероятности сообщений неодинаковы, то они не­сут различное количество информации: Менее вероятные сообщения несут большее количество ин­формации и наоборот. Среднее количество информации, приходящееся на одно сообщение источника, определя­ется как математическое ожидание :

(6.10)

Величина Н(а) называется энтропией. Этот термин заимствован из термодинамики, где имеется аналогичное по своей форме выражение, характеризующее неопределенность состояния физической системы. В теории информации энтропия Н(а) также характеризует неопределенность ситуации до передачи сообщения, поскольку заранее неизвестно, какое из сообщений ансамбля источника будет передано. Для нас самым существенным является то, что чем больше эн­тропия, тем сильнее неопределенность и тем большую информацию в среднем несет одно сообщение источника.

В качестве примера вычислим энтропию источника сообщений, который характеризуется ансамблем, состоящим из двух сообщения и с вероятностями и. На основании (6.10) энтропия источника будет равна:

Зависимость H(a) от p показана на рис. 6.1.

Рис. 6.1. Зависимость энтропии от вероятности

Максимум энтропии имеет место при р =1/2, т. е. когда ситуация является наиболее неопределенной. При p=1 или p=0, что соответствует передаче одного из сообщений а₁ или а₂, неопределенности отсутствуют. В этих случаях энт­ропия Н(а) равна нулю.

Среднее количество информации, содержащееся в последовательности из n-сообщений, равно:

(6.11)

Отсюда следует, что количество передаваемой информации можно увеличить не только за счет числа сообщений, но и путем повышения энтропии источника, т. е. информационной емкости его сообщений.

Обобщая эти результаты, можно сформулировать основные свойства энтропии источника независимых сообщений (6.10):

• энтропия — величина всегда положительная, так как ;

• при равновероятных сообщениях, когда:

энтропия максимальна и равна:

) (6/12)

• энтропия равняется нулю лишь в том случае, когда все вероятностиравны нулю, за исключением одной, величина которой равна единице;

• энтропия нескольких независимых источников равна сумме энтропии этих источников: