74. Количество информации. Аддитивные меры Хартли.

Количественная мера информации

Процесс получения информации мате­матически характеризуется изменением рас­пределения вероятности множества различ­ных сообщений. В математическом (опера­ционном) аспекте, это изменение распреде­ления вероятности и есть «информация». Соответственно ее количественная мера (количество информации) и устанавливает­ся как некоторый числовой показатель (функционал), характеризую­щий отличие апостериорных распределений плотности вероятности различных сообще­ний от априорного. Такая точка зрения впервые четко была сформулирована К. Шенноном и им же весьма удачно выбрана количественная мера, на основе которой доказаны важнейшие теоремы, определяющие предельно достижимые зна­чения некоторых показателей сообщений и информационных систем .

Количество информации, содержащейся в сообщении, по Шеннону определяет­ся в виде I = Hapr — Haps, (6-64)

где Нарг и Haps — числовые показатели (функционалы), характеризующие априор­ные и апостериорные распределения веро­ятностей различных сообщений.

Здесь Нарг и Нара соответственно апри­орная и апостериорная энтропия системы. Априорная энтропия полностью характери­зуется распределением вероятностей состоя­ний системы с учетом статистических свя­зей. Апостериорная энтропия характеризует ту неопределенность системы, которая оста­ется после приема сообщений. Если сообще­ние однозначно определяет состояние систе­мы, то Нара=0, в противном случае Haps>0.

Аддитивные меры Хартли

Введем понятие глубины h и длины l – числа (l=1…∞).

Глубиной h назовем количество элементов (знаков) содержащихся в принятом алфавите h соответствует основанию системы счисления и кодирования. В каждый данный момент реализуется один какой-либо знак из h возможных.

Длиной l число назовем количество повторений алфавита необходимых и достаточных для представления чисел нужной величины. l соответствует разности систем счисления и кодирования. При глубине h и длине l количество чисел выразится как:

Q=h^l , т.е. ёмкость экспонтенционально зависит от длины числа. Вследствие показательного закона Q(l) число Q не очень удобная мера, для оценки информационной ёмкости, поэтому Р Хартли в 1928 г. ввел аддитивную двоичную логарифмическую меру позволяющею вычислить количество информации в двоичных единицах (битах). Для этого берется не само число Q, а его двоичный логарифм: I=log₂Q=log₂h^l =l log₂h - бит;

I – обозначает количество информации по Хартли. Если количество разрядов (длина l числа) равна единице «1» и принята двоичная система счисления для которой глубина h=2:

log₂2¹ =1 бит - это и есть единица информации в принятой системе оценки, она соответствует одному элементарному событию которое может произойти или не произойдет. Аддитивная мера удобна тем что она обеспечивает возможность сложения, а также … пропорциональность длины l.

Унарная система Двоичная система

h=3…10