3 Вопрос. Измерение информации: Вероятностный подход

• зависимость количества информации в сообщении от вероятности получения сообщения (формула, пример задачи)‏

• формула Хартли (в каких случаях используется, пример задачи)‏

• определение бита с точки зрения вероятностного подхода

• среднее количество информации, приходящееся на одно из множества сообщений. Энтропия системы. Формула Шеннона (пример задачи)‏

• Связь информации и энтропии (формула, пример)‏

1. Зависимость кол-ва информации в сообщении от вероятности получения этого сообщения.

В математической теории информации исходят из того, что в некотором сообщение Xt количество информации L (xt) зависит не от её конкретного содержания, степени важности и т.д., а от вероятности получения этого сообщения P (xt).

Вероятность события А равно относительно числа исходов, благоприятствующих событию А(m) к числу всех равновозможных исходов .

Сумма вероятности всех возможных исходов опыта равна 1.

Чем меньше вероятность получить сообщение, тем больше информации содержится в нем.

Если все сообщения от данного источника поступают с одинаковой вероятностью, то вероятность одного из N равновероятных событий, а количество информации в этом сообщении определяется по формуле :

Формула Хартли. (1928г). Зависимость количества информации в сообщении от количества равновероятных сообщения.

2. Формула Хартли

I = - log(1/N) = log N

Если все сообщения от данного источника поступают с одинаковой вероятностью, то вероятность одного из N равновероятных сообщений,

P = 1/N

А кол-во информации в этом сообщении определяется по формуле Хартли.

3. Бит – это кол-во информации получаемое при получении одного из двух равновероятных сообщений.

N=2 log2N = log22=1 (бит)

4. Среднее кол-во информации, приходящееся на одно из множества сообщений. Энтропия системы. Формула Шеннона.

Энтропия – численная мера неопределенности наших знаний о состоянии некоторой системы (источника сообщений).

В теории информатики чаще всего необходимо знать не кол-во информации l(xi), содержащееся в отдельном сообщении, а среднее кол-во информации приходящееся на одно из множества передаваемых сообщений создаваемых системой (источником сообщения) – то есть энтропию системы.

Формула Шеннона -

N – количество разных сообщений, которые может генерировать система.

Pi – вероятность появления некоторого сообщения.

5. Связь информации и энтропии ( формула, примеры)

Количество информации (I), полученное из сообщения о состоянии системы, равно разности неопределенностей наших знаний о состоянии системы, изменившихся «до» и «после» получения сообщения. ( )

Если сообщение полностью снимает неопределенность относительно состояния системы, то количество информации в этом сообщении численно равно энтропии системы до получения сообщения.

Пример. Сколько информации содержится в сообщении о том, что на игральной кости выпало четное число очков? Решение.