Объемный метод измерения количества информации

При этом методе единицами информации может быть количество страниц книг или документов, количество самих книг или документов и т.п.

Так объем личной библиотеки измеряется количеством книг, которая в ней содержится.

В вычислительной технике объем информации измеряется количеством ячеек памяти. В одной ячейке памяти может быть записан ноль или единица, что соответствует одному биту информации. Восемь ячеек памяти позволяет записать один символ, что соответствует одному байту информации. Более крупной единицей является

1Кбайт = 2¹⁰ = 1024 байта (~10³байт).

Если принять, что одна страница книжного текста содержит 2000 знаков (символов), то 1Кбайт соответствует 0,5 стр.

Другие единицы

• 1Мбайт = 2²⁰ = 1024  1024(~10⁶байт)

• 1Мбайт ~ 500 стр.

• 1Гбайт = 2³⁰байта (~10⁹байта)

• 1Гбайт ~ 1000 книг по 500 стр.

• 1Тбайт = 2⁴⁰байта(~10¹²байт)

• Терабайт – триллион байт.

• 1Тбайт ~ 1 млн. книг по 500 стр.

Интернет содержит, на сегодняшний день, информацию объемом порядка 1000Тбайт, то есть 1 млрд книг по 500 стр.

Энтропийный подход к измерению количества информации

Понятие энтропии как меры степени неопределенности системы и ее роль в системах управления рассматривались ранее в главе «Управление».

Там же приведена формула К.Шеннона, определяющая энтропию системы в общем случае

,

И формула Р.Хартли

,

соответствующая случаю равновероятных состояний.

В этих формулах

N – количество состояний;

P – вероятности состояний системы.

Ниже рассматривается связь энтропии и информации. Показывается, что по мере увеличения количества информации о системе, величина энтропии уменьшается. Поэтому количество информации может измеряться уменьшением энтропии.

Количество информации, необходимое для полного выявления состояния системы, равно априорной энтропии системы, т.е. определяется формулой

I = H , (4.1)

где Н – априорная энтропия системы.

Для демонстрации этого положения рассмотрим игру «отгадай число».

Отгадывание осуществляется с помощью ответов типа «да» или «нет». Интервал чисел в вопросе должен всегда делиться пополам и тогда ответ будет нести информацию в 1 бит, поскольку неопределенность (количество возможных состояний) при каждом ответе будет уменьшаться в два раза.

Пример. Некто задумал целое число Х от единицы до восьми.

Задача состоит в том, чтобы угадать число, поставив минимальное число вопросов, на каждый из которых дается ответ “да” или ”нет”.

Решение. Априори все значения Х одинаково вероятны Р₁ = Р₂ =…= Р₈ = 1/8. Поэтому априорная энтропия системы

.

Соответственно количество необходимых вопросов, должно быть равно трём.

Пусть задумано число “пять”, мы этого не знаем и задаем вопросы: Вопрос 1. Число Х больше четырех?

Ответ: да.

Вывод: Х – одно из чисел 5,6,7,8.

Вопрос 2: Число х больше шести?

Ответ: нет.

Вывод: Х – одно из чисел 5,6.

Вопрос 3: Число х меньше шести?

Ответ: да.

Вывод: Число Х равно пяти.

Аналогично тремя вопросами можно установить любое задуманное число от 1 до 8.

До начала игры имеем априорную энтропию Н, равную 3 битам, количество информации

I = 0.

После первого шага количество возможных состояний системы сокращается с 8 до 4. текущая энтропия системы Н_Т становится равной 2 битам, т.е. уменьшается на 1 бит.

Полученная информация I = 1 биту.

После второго шага H_T = 1 , I = 2 битам.

После третьего шага H_T = 0, I = 3 битам.