LEC04. Теория информации

Мера Хартли

2d≥N → d≥log2 N

Значит, для однозначного описания системы требуется log2N бит.

В общем случае количество информации в системе S равно

Hs = logkN

Единицы измерения количества информации: бит (k=2), трит (k=3), дит/харт (k=10), нит/нат (k=e)

Какова этимология слова «бит»?

11

Пример использования меры Хартли

Пример 1. Ведущий загадывает число от 1 до 64. Какое количество вопросов типа «да-нет» понадобится, чтобы гарантировано угадать число?

●Первый вопрос: «Загаданное число меньше 32?». Ответ: «Да».

●Второй вопрос: «Загаданное число меньше 16?». Ответ: «Нет».

●…

●Шестой вопрос (в худшем случае) точно приведёт к верному ответу. Значит, в соответствии с мерой Хартли в загадке ведущего содержится log264 = 6 бит информации.

Пример 2. Ведущий держит за спиной шахматного ферзя и собирается поставить его на произвольную клетку пустой доски. Какое количество информации содержится в его действии?

Ответ: всего на доске 8х8 клеток, а цвет ферзя может быть белым или чёрным, т. е. всего возможно 8х8х2 = 128 равновероятных состояний. Значит, количество информации по Хартли равно log2128 = 7 бит.

12

Мера Шеннона

Мера Хартли подходит лишь для систем с равновероятными состояниями. Если состояния системы не равновероятны, используют меру Шеннона:

Клод Шеннон

N

I = −∑ pi log2 pi

i=1

где:

N – число состояний системы

рi – вероятность того, что система находится в состоянии i (сумма всех pi равна 1).

13

Пример использования меры Шеннона

Пример 1. Шулер наугад вытаскивает карту из стопки, содержащей 9 известных ему карт: 3 джокера, 3 туза, 1 король, 1 дама и 1 валет. Какое количество информации для шулера содержится в этом событии?

Вероятность вытащить джокера равна 3/9 = 1/3 Вероятность вытащить туза равна 3/9 = 1/3 Вероятность вытащить короля равна 1/9 Вероятность вытащить даму равна 1/9 Вероятность вытащить валет равна 1/9

Значит, количество информации, выраженное в тритах, равно:

14