Билеты к Экзамену / 9. Измерение количества информации

9. Измерение количества информации.

Количеством информации принято называть числовую характеристику, отражающую ту степень неопределенности, которая пропадает после получения сообщения в виде конкретного сигнала. Если в результате приема сообщения достигается полная ясность в каком-либо вопросе, считается, что была получена полная информация и необходимости в получении дополнительной информации попросту нет. И, наоборот, если после получения сообщения неопределенность осталась на прежнем уровне, значит, информации не получено.

Приведенные рассуждения дают понять, что между терминами информация, неопределенность и возможность выбора существует довольно тесная связь. Так, любая неопределенность предполагает возможность существования выбора, а любая информация, уменьшая неопределенность, уменьшает и возможность этого выбора. При полной информации выбор не предоставляется. Частичная информация уменьшает число вариантов выбора, сокращая тем самым неопределенность.

За единицу количества информации принято такое количество информации, которое содержит сообщение, уменьшающее неопределённость знания в 2 раза. Такая единица названа бит.

Компьютер оперирует числами в двоичной системе счисления, поэтому в кратных единицах измерения количества информации используется коэффициент 2ⁿ.

Следующей по величине единицей измерения количества информации является байт, причём

1 байт = 2³ бит = 8 бит.

Кратные байту единицы измерения количества информации вводятся следующим образом:

1 Кбайт = 2¹⁰ байт = 1024 байт

1 Мбайт = 2¹⁰ Кбайт =1024 Кбайт = 2²⁰ байт

1 Гбайт = 2¹⁰ Мбайт = 1024 Мбайт = 2²⁰ Кбайт = 2³⁰ байт.

Количество возможных событий и количество информации

Существует формула, которая связывает между собой количество возможных событий N и количество информации I:

N=2^I

Формула Шеннона

Формулу для вычисления количества информации для событий с различными вероятностями предложил К. Шеннон. В этом случае количество информации определяется по формуле:

I= -,

Где I – количество информации,

N – количество возможных событий,

р_i – вероятности отдельных событий.

Количество информации, которое мы получаем, достигает максимального значения, если события равновероятны.