13. Количество информации, энтропия, избыточность источника сообщений.
Количество информации в сообщении а определяется по формуле:
Основание логарифма – 2, P(a) – вероятность появления сообщения a.
Количество информации в сообщении тем больше, чем оно менее вероятно. Для характеристики всего ансамбля сообщений используется среднее количество информации Н(А):
Среднее количество
информации Н(А) называется энтропией.
Если вероятность одного сообщения равна
1, а остальных 0, то Н(А) = 0. Если ансамбль
содержит К сообщений, то
Для двоичного источника зависимость энтропии от Р(А) имеет вид:
Энтропия источника зависимых сообщений всегда меньше энтропии источника независимых сообщений.
Если объем алфавита К = 32 и буквы выбираются независимо, то
Н(А) = log 32 = 5 бит на букву.
Если буквы составляют связанный русский текст, то они не равновероятны и независимы. Энтропия в этом случае равна Н(А) = 1,5 бит.
Величина:
ǽ =
называется избыточностью источника
сообщений с объемом алфавита К.
Избыточность показывает, какая доля
максимальной энтропии не используется
источником. Производительность источника
– суммарная энтропия сообщений,
переданная за единицу времени.
Список использованной литературы:
Баскаков С.И. РТЦиС. М.: «Высшая Школа», 2000 г.
Гоноровский И.С. РТЦиС. М.: «Радио и связь», 1986 г.
Шумов А.П. Курс лекций «ТЭС», 2007-2008 гг.