Меры информации

1. Тема занятия

На занятии вводится понятие энтропии физической системы, понятие информации и количественных мер информации, подчеркивается связь аддитивной меры информации Хартли и статической меры информации Шеннона.

2. Основные понятия и определения

Имеется множество определений понятия информации от наиболее общего философского (информация есть отражение реального мира) до наиболее узкого практического (информация есть все сведения, являющиеся объектом хранения, передачи и преобразования).

Понятие информации связано с некоторыми моделями реальных вещей, отражающими их сущность в той степени, в какой это небходимо для практических целей. Источники информации и создаваемые ими сообщения разделяются на дискретныеинепрерывные.Дискретные сообщения слагаются из счетного множества элементов, создаваемых источником последовательно во времени. Набор элементов называетсяалфавитомисточника, а элементы –буквами.

В структурной теории различаются геометрическая, комбинаторная, и аддитивная меры информации.

Наибольшее распространение получила двоичная аддитивная мера информации мера, так называемая мера Хартли, измеряющая количество информации в двоичных единицах – битах.

В теории информации важную важную роль играет комбинаторика чисел и кодов.

h– глубина числа. Количество разных элементов(знаков), содержащихся в принятом алфавите.

l– длина числа. Соответствует разрядности системы счисления и кодирования

Набор из lгнезд – алфавитов составляет однучисловую гряду.

Количество чисел, которое можно представить с помощью числовой гряды, выразится формулой Q=h^l. Вследствие показательного закона зависимостиQотlчислоQне является удобной мерой для оценки информационной емкости. Поэтому Хартли ввел аддитивную логическую меру, позволяющую вычислить количество информации в двоичных единицах – битах.

Для этого берется двоичный логарифм числа Q

I=log₂Q=log₂h^l=l·log₂h– количество информации (мера Хартли) (1.1)

Энтропия характеризует неопределенность каждой ситуации.

В статистической теории информации Шеннона, энтропия количественно выражается как средняя функция множества вероятностей каждого из возможных исходов опыта.

H = I_ср = -p_i log₂ p_i

Где l– число символов в сообщении (длина)

h– число символов первичного алфавита

p_i– вероятность появленияi– го символа

I– количество информации в сообщении

I_ср– количество информации, приходящееся на один символ в сообщении

I_i– количество информации в индивидуальном событии

Энтропия имеет наибольшее значение при условии, когда все вероятности равны между собой:

Если положить k = h, в формуле Хартлиl=1, что соответствует приведению информации к одному гнезду с алфавитом вh– знаков, а в формуле энтропии положить

ТогдаH=log₂h.

3. Примеры решения задач

Задача 1.Алфавит состоит из буквA,B,C,D. Вероятности появления букв равны соответственно р_А= р_В= 0,25; р_С= 0,34;p_D= 0,16. Определить количество информации на символ сообщения, составленного из такого алфавита.

Решение. Количество информации на символ сообщения есть энтропия данного алфавита. Так как символы алфавита неравновероятны, то энтропия равна

Задача 2. Определить максимум энтропии системы, состоящей из 6 элементов, каждый из которых может быть в одном из четырех состояний одновременно.

Решение.H_макс= log₂ N = log₂ mⁿ = log₂ 4⁶ =log₂ 4096 =12 бит/состояние

Задача 3. Чему равна максимальная энтропия системы состоящей из двух элементов, каждый из которых может быть в двух состояниях? Б) Чему равна энтропия системы, состоящей из трех элементов, каждый из которых может быть в четырех состояниях? В) Чему равна энтропия системы, состоящей из четырех элементов, каждый из которых может быть в трех состояниях?

Решение а)H₁=log₂ 2²= 2 бит/символ

б) H₂=log₂ 4³= 6 бит/символ

в) H₃=log₂ 3⁴= 6,32 бит/символ

Задача 4. Определить энтропию системы, состоящей из двух подсистем. Первая подсистема состоит из трех элементов, каждый из которых может находиться в двух состояниях с вероятностями р₁= 0,6; р₂= 0,4. Вторая подсистема состоит из двух элементов, каждый из которых может находиться в трех состояниях с вероятностями р₁= 0,1;p₂= 0,4;p₃= 0,5.

Решение:

Находим энтропию на элемент первой подсистемы

H₁= - (0,6log₂0,6 + 0,4log₂0,4) = 0,97бит/состояние

Находим энтропию первой подсистемы

H₁^'= 3·H₁=2,91бит/состояние

Энтропия на элемент второй подсистемы

H₂= - (0,1log₂ 0,1 + 0,4log₂ 0,4+ 0,5log₂ 0,5) = 0,33+0,53+0,5 =

= 1,36 бит/состояние

Энтропия второй подсистемы

H₂^'= 3·H₂=2,72бит/состояние

Общая энтропия системы

H_общ=H1' + H2' = 2,72 + 2,91 = 5,63бит/состояние