Единицы измерения

Биты

I = log2N

Наты

I = lnN

Диты

I = lgN

Для того чтобы лучше понять формулу Хартли, рассмотрим следующую задачу. Имеется 27 золотых монет, из которых 26 настоящих, а одна фальшивая. Известно, что фальшивая монета легче настоящих. Для определения фальшивой монеты в нашем распоряжении имеются равноплечие весы с двумя чашками, позволяющие лишь устанавливать, одинаково ли по весу содержимое чашек или содержимое какой из чашек тяжелее. Спрашивается: сколько взвешиваний необходимо произвести, чтобы обнаружить фальшивую монету.

Фальшивой монетой может оказаться любая из 27 монет, следовательно, по формуле Хартли

количество недостающей информации составляет log227 бит. Любое взвешивание может завершиться

одним из трех исходов, следовательно каждое взвешивание может дать log23 бит информации. Если

мы хотим определить фальшивую монету за x взвешиваний. То должно выполняться неравенство:

x log23 >= log227. Так как log227 = 3 log23, то x>= 3.

Это означает, что для определения фальшивой монеты необходимо произвести, по крайней мере, три взвешивания.

Статистическая мера информации

•Энтропия группы событий – есть количественная мера его неопределенности и следовательно информативности количественно выражаемая как средняя функция множества вероятностей каждого из возможных исходов опыта.

Пусть N – количество возможных исходов к – количество типов

n – количество повторений i-го исхода. Ii – количество информации типа исхода Iср = (n1I1+n2I2+...+nkIk)/N

Количество информации в каждом исходе связано с его вероятностью pi и выражается как

Ii=log2 (1/pi)= - log2pi.

Iср = (n1(- log2p1) +n2(- log2p2)+...+nk(- log2pk))/N

Iср = n1/N(- log2p1) +n2/N (- log2p2)+...+nk/N (- log2pk) Iср = p1 (- log2p1) + p2 (- log2p2)+...+ pk (- log2pk) Iср= - pi log2pi = H – ЭНТРОПИЯ

Свойства энтропии

•1.Энтропия всегда неотрицательна.

•2.Энтропия равна 0 когда одно из pi =1 а остальные равны 0.

•3. Энтропия имеет наибольшее значение, когда все вероятности равны между собой.

•4.Энтропия объекта, состояния которого образуются совместной реализацией состояний двух других объектов, равна сумме энтропий исходных объектов.

Объемный подход

Vд – объем информации (данных)

Объем информации равен количеству символов в сообщении.

Результаты контрольной по физике в классе: 6 пятерок, 4 четверки, 20 троек, 2 двойки. Чему равно количество информации в битах в сообщении «Маша получила 4»?

В корзине лежат 8 синих шаров и 24 красных. Сколько информации несет сообщение о том, что из корзины достали синий шар?

Злой экзаменатор никогда не ставит пятерок по информатике. По причине своей зловредности он заранее определил количество отметок каждого вида и произвольно расставил их абитуриентам. Количество информации, содержащееся в сообщении "Абитуриент Иванов не провалился на экзамене", равно двум битам. Информационный объем сообщения "Абитуриент Сидоров получил тройку" равен 5 бит. 24 абитуриента получили двойку. Чему равно количество абитуриентов, получивших четверку?