Вычисление количества информации общего случая

Для вычисления количества информации общего случая используется формула Шеннона:

, где  I-количество информации, N-количество возможных событий, р_i - вероятности отдельных событий, где i принимает значения от 1 до N.

Пример: В корзине лежат 32 клубка красной и черной шерсти. Среди них 4 клубка красной шерсти. Сколько информации несет сообщение, что достали клубок шерсти?

Решение: Вопрос данной задачи не несет конкретики о нахождении количества информации в сообщении о том, что достали какой-то определенный клубок шерсти, следовательно, данная задача направлена на использование формулы Шеннона.

1. Найдем количество клубков черной шерсти: К_ч=N- К_к; К_ч=32-4=28

2. Найдем вероятность доставания клубка каждого вида: p_к= К_к/N=4/32=1/8; p_ч= К_ч/N=28/32=7/8;

3. Найдем количество информации, которое несет сообщение, что достали клубок шерсти любой окраски: 

Ответ: I=0,547 бит

Пример:  В мешке Деда Мороза четыре вида конфет, все они одинаковые по форме и весу, но с разной начинкой.

1. конфет первого вида 16

2. конфет второго вида 8

3. конфет третьего вида 8

4. конфет четвертого вида 32

Решение: Для того чтобы определить сколько бит содержится в информации Дед мороз достал конфету… Необходимо выполнить следующие действия:

1) находим вероятность каждого события:

p₁ = 16/64 = 0,25  p₂ = 8/64 = 0,125  p₃ = 8/64 = 0,125  p₄ = 32/64 = 0,5

2) Подставляем получившиеся значения в формулу Шеннона:

I = - ( 0,25·log₂(0,25) + 0,125·log₂(0,125) + 0,125·log₂(0,125) + 0,5·log₂(0,5) )  = -( -0,5 + -0,375 + -0,375 + -0,5) = 1,75 бит.

Алфавитный подход к измерению количества информации Пример задания:

При регистрации в компьютерной системе каждому пользователю выдаётся пароль, состоящий из 15 символов и содержащий только символы Ш, К, О, Л, А (таким образом, используется 5 различных символов). Каждый такой пароль в компьютерной системе записывается минимально возможным и одинаковым целым количеством байт (при этом используют посимвольное кодирование и все символы кодируются одинаковым и минимально возможным количеством бит). Укажите объём памяти в байтах, отводимый этой системой для записи 30 паролей. В ответе запишите только число, слово «байт» писать не нужно.

Решение:

1. согласно условию, в пароле можно использовать 5 символов

2. для кодирования номера одного из 5 символов нужно выделить 3 бита памяти (они позволяют закодировать 2³ = 8 вариантов)

3. для хранения всех 15 символов пароля нужно 15  3 = 45 бит

4. поскольку пароль должен занимать целое число байт, берем ближайшее большее (точнее, не меньшее) значение, которое кратно 8: это 48 = 6  8; то есть один пароль занимает 6 байт

5. тогда 30 паролей занимают 6  30 = 180 байт

6. ответ: 180.

Ещё пример задания:

Для регистрации на сайте некоторой страны пользователю требуется придумать пароль. Длина пароля – ровно 11 символов. В качестве символов используются десятичные цифры и 12 различных букв местного алфавита, причём все буквы используются в двух начертаниях: как строчные, так и заглавные (регистр буквы имеет значение!). Под хранение каждого такого пароля на компьютере отводится минимально возможное и одинаковое целое количество байтов, при этом используется посимвольное кодирование и все символы кодируются одинаковым и минимально возможным количеством битов. Определите объём памяти в байтах, который занимает хранение 60 паролей.

Решение:

7. согласно условию, в пароле можно использовать 10 цифр (0..9) + 12 заглавных букв местного алфавита + 12 строчных букв, всего 10 + 12 + 12 = 34 символа

8. для кодирования номера одного из 34 символов нужно выделить 6 бит памяти (5 бит не хватает, они позволяют закодировать только 2⁵ = 32 варианта)

9. для хранения всех 11 символов пароля нужно 11  6 = 66 бит

10. поскольку пароль должен занимать целое число байт, берем ближайшее большее (точнее, не меньшее) значение, которое кратно 8: это 72 = 9  8; то есть один пароль занимает 9 байт

11. тогда 60 паролей занимают 9  60 = 540 байт

12. ответ: 540.

Возможные ловушки: часто забывают, что пароль должен занимать ЦЕЛОЕ число байт