Основы теория информации – лекция №3 Понятие количества информации и методы её измерения

1. Вероятностный подход к измерению количества информации

1.1. Введение

Почему изложенный ниже подход носит название вероятностного, трудно понять сразу. Лучше назвать его подходом, основанным на нескольких идеальных предположениях:

1. Существует наблюдатель (субъект) и объект взаимодействия (наблюдения).

2. Объект имеет определённую совокупность характеризующих его параметров (характеристик физической или иной природы), которые в совокупности образуют так называемое состояние. В разные моменты времени он может иметь разные значения характерик и, следовательно, разные состояния. Однако, после наблюдения его состояние не меняется!

3. Следовательно, объект до наблюдения является полностью неопределенным для наблюдателя.

4. В момент наблюдения эти характеристики зафиксировались и далее не меняются. То есть субъект в результате наблюдения узнал об объекте «ВСЁ» - то есть получил 100% информации об объекте за время взаимодействия – проведения наблюдения.

Спрашивается, сколько информации (какое количество) об объекте получил наблюдатель во время наблюдения?

Вероятностным такой подход называется потому, что:

• неизвестно, в каком состоянии окажется объект,

• в общем случае надо учитывать различную вероятность возникновения значений состояний, и

• потому что он объясняется с использованием мысленных опытов с подбрасыванием монетки или игральной кости.

1.2 Проведение опыта

Рассмотрим объект – игральную кость из 6 граней (цифры от 1 до 6). Её бросают. Кость может перейти в одно из состояний с соответствующим числом на верхней грани – всего их будет 6. Причём вероятность выпадения любой грани одинакова и равна в данном случае 1/6 .

До бросания объект может находиться в неопределённом состоянии – одном из 6 возможных.

Обозначим эту неопределённость через H. Ясно, что чем больше возможных состояний N, тем больше величина H, но конкретный вид этой функции предстоит определить:

, (1)

(2)

Во время опыта субъект получает количество информации I. Эта информация снимает неопределённость знания об объекте у наблюдателя. Очевидно, количество информации равно разности неопределённостей знания до и после опыта:

Но, внимание! После опыта наблюдатель знает об объекте всё – то есть H₂ =0! Значит, информация, полученная через опыт (или, как говорят, заключённая в опыте) равна исходной неопределённости.

Теперь назовём исходную неопределённость информационной энтропией и получим классическую формулировку:

«Количество полученной информации об объекте совпадает с первоначальной (доопытной) энтропии объекта»

Осталось определить вид функции f в формуле (1). Чтобы сделать это, надо определить её свойства для усложненных объектов. Один из таких – рассмотреть объект из нескольких одинаковых игральных костей.

При этом опыт заключается в последовательном подбрасывании каждой кости. Теперь нельзя сказать, что число возможных состояний равно 6 для нашей шестигранной кости. Обозначим число возможных состояний сложного объекта из M костей через X. Простыми рассуждениями легко определить возможное число состояний для объектов из разного числа костей M:

M	X-число состояний
1	6
2	36
3	108
4	432
…	…
M	6M

Снова вернёмся к вопросу определения вида функции f для расчёта количества энтропии. Поскольку все кости (отдельные части сложного объекта) независимы, то самым естественным условием для функции является условие аддитивности, а именно – энтропия сложного объекта равна сумме энтропий каждого из них. Для случая игральной кости:

H_M = =6 H₁ (3)

Аналогичную формулу можно написать для сложной системы, состоящей из объектов с числом равновероятных состояний N. Данное свойство называется свойством аддитивности.

Функцией, удовлетворяющей данному свойству, будет функция, равная логарифму от X.

f = k * log_осн (X) (4)

Эту формулу можно упростить. За единицу энтропии естественно ту, которая имеет минимальную значению. Такая энтропия (минимальная неопределённость) будет у объекта, который имеет всего два состояния в условиях опыта описанного выше для игральной кости. Если бы у объекта было бы только одно состояния, то не было бы никакой определённости и H =0.

Поэтому для основания 2 и значении k=1, получаем формулу Хартли:

H = log₂ (X) (5)

Итак, подведём итог.

В качестве единицы информации принимается, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (примером такого опыта является бросание монеты, при которым возможны два равновероятных исхода: «орёл» или «решка»).

Такая единица количества информации называется «бит».