- •Основы теория информации – лекция №3 Понятие количества информации и методы её измерения
- •1. Вероятностный подход к измерению количества информации
- •1.1. Введение
- •1.2 Проведение опыта
- •1.2 О формуле Хартли
- •Задача №1
- •Задача №2
- •Решение
- •Задача №3
- •1.3. Формула Шеннона
- •Задачи для решения
- •Заключительные замечания
Основы теория информации – лекция №3 Понятие количества информации и методы её измерения
1. Вероятностный подход к измерению количества информации
1.1. Введение
Почему изложенный ниже подход носит название вероятностного, трудно понять сразу. Лучше назвать его подходом, основанным на нескольких идеальных предположениях:
Существует наблюдатель (субъект) и объект взаимодействия (наблюдения).
Объект имеет определённую совокупность характеризующих его параметров (характеристик физической или иной природы), которые в совокупности образуют так называемое состояние. В разные моменты времени он может иметь разные значения характерик и, следовательно, разные состояния. Однако, после наблюдения его состояние не меняется!
Следовательно, объект до наблюдения является полностью неопределенным для наблюдателя.
В момент наблюдения эти характеристики зафиксировались и далее не меняются. То есть субъект в результате наблюдения узнал об объекте «ВСЁ» - то есть получил 100% информации об объекте за время взаимодействия – проведения наблюдения.
Спрашивается, сколько информации (какое количество) об объекте получил наблюдатель во время наблюдения?
Вероятностным такой подход называется потому, что:
неизвестно, в каком состоянии окажется объект,
в общем случае надо учитывать различную вероятность возникновения значений состояний, и
потому что он объясняется с использованием мысленных опытов с подбрасыванием монетки или игральной кости.
1.2 Проведение опыта
Рассмотрим объект – игральную кость из 6 граней (цифры от 1 до 6). Её бросают. Кость может перейти в одно из состояний с соответствующим числом на верхней грани – всего их будет 6. Причём вероятность выпадения любой грани одинакова и равна в данном случае 1/6 .
До бросания объект может находиться в неопределённом состоянии – одном из 6 возможных.
Обозначим эту неопределённость через H. Ясно, что чем больше возможных состояний N, тем больше величина H, но конкретный вид этой функции предстоит определить:
, (1)
(2)
Во время опыта субъект получает количество информации I. Эта информация снимает неопределённость знания об объекте у наблюдателя. Очевидно, количество информации равно разности неопределённостей знания до и после опыта:
Но, внимание! После опыта наблюдатель знает об объекте всё – то есть H2 =0! Значит, информация, полученная через опыт (или, как говорят, заключённая в опыте) равна исходной неопределённости.
Теперь назовём исходную неопределённость информационной энтропией и получим классическую формулировку:
«Количество полученной информации об объекте совпадает с первоначальной (доопытной) энтропии объекта»
Осталось определить вид функции f в формуле (1). Чтобы сделать это, надо определить её свойства для усложненных объектов. Один из таких – рассмотреть объект из нескольких одинаковых игральных костей.
При этом опыт заключается в последовательном подбрасывании каждой кости. Теперь нельзя сказать, что число возможных состояний равно 6 для нашей шестигранной кости. Обозначим число возможных состояний сложного объекта из M костей через X. Простыми рассуждениями легко определить возможное число состояний для объектов из разного числа костей M:
-
M
X-число состояний
1
6
2
36
3
108
4
432
…
…
M
6M
Снова вернёмся к вопросу определения вида функции f для расчёта количества энтропии. Поскольку все кости (отдельные части сложного объекта) независимы, то самым естественным условием для функции является условие аддитивности, а именно – энтропия сложного объекта равна сумме энтропий каждого из них. Для случая игральной кости:
HM = =6 H1 (3)
Аналогичную формулу можно написать для сложной системы, состоящей из объектов с числом равновероятных состояний N. Данное свойство называется свойством аддитивности.
Функцией, удовлетворяющей данному свойству, будет функция, равная логарифму от X.
f = k * logосн (X) (4)
Эту формулу можно упростить. За единицу энтропии естественно ту, которая имеет минимальную значению. Такая энтропия (минимальная неопределённость) будет у объекта, который имеет всего два состояния в условиях опыта описанного выше для игральной кости. Если бы у объекта было бы только одно состояния, то не было бы никакой определённости и H =0.
Поэтому для основания 2 и значении k=1, получаем формулу Хартли:
H = log2 (X) (5)
Итак, подведём итог.
В качестве единицы информации принимается, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (примером такого опыта является бросание монеты, при которым возможны два равновероятных исхода: «орёл» или «решка»).
Такая единица количества информации называется «бит».