5. Алфавитный подход к определению количества информации

При хранении и передаче информации с помощью технических устройств целесообразно отвлечься от содержания информации и рассматривать её как последовательность символов (букв, цифр, пробелов, знаков препинания и т.п.). Всё множество используемых в языке символов будем называть алфавитом. Полное число символов алфавита называют мощностью алфавита. Предположим, что появление в тексте всех символов равновероятно и количество символов в алфавите N, а каждый символ несёт в себе I бит информации. Тогда, число I можно определить из формулы:

N = 2^I

Например , в некотором алфавите 32 символа ( N=32). Тогда информационная ёмкость одного символа вычисляется по формуле I=log₂32 и равна 5 битам. Количество информации , содержащееся во всём сообщении можно подсчитать, умножив I на число символов.

Примеры заданий

1. Решите уравнение: 8^x (бит) = 32 (Кбайт)

Решение. Выравниваем размерности в левой и правой частях уравнения c учётом того, что 1 Кбайт = 2¹³ бит. Затем приводим обе части к одному основанию 2. Получаем: 2^3х = 2⁵ · 2¹³ или 2^3х = 2¹⁸ . Переходим к равносильному уравнению 3х = 18, откуда х = 18:3 = 6. Ответ: x=6

2. Считая, что каждый символ кодируется двумя байтами, оцените информационный объем следующего предложения в кодировке Unicode:

Один пуд – около 16,4 килограмм.

1)

32 Кбайта

2)

512 бит

3)

64 бита

4)

32 байта

Решение. Считаем количество символов в предложении, считая знаки препинания и пробелы. Получаем 32 символа. Так как каждый символ кодируется 2 байтами, информационный объём данного сообщения – 64 байта или 512 бит ( 64 байта * 8). Таким образом, правильный ответ №2

Ответ: 2

3. Сколько мегабайт информации содержит сообщение объемом 2²³ бит?

1)

1

2)

8

3)

3

4)

32

Решение. Помня, что 1 мегабайт содержит 2²⁰ байт, а 1 байт содержит 2³ бит, получаем что 2²³ бит равны 1 мегабайту.

Ответ: 1

4. Была получена телеграмма « Встречайте вагон 5 ». Известно, что в поезде 16 вагонов. Какое количество информации было при этом получено?

Решение. В данном случае для нас не важен номер вагона, в котором едет пассажир. Главное, что этот номер известен , и наш пассажир мог взять билет в любой из 16 вагонов поезда. Следовательно, события равновероятны, N=16 и I мы можем найти по формуле Хартли: I=log₂N, то есть I=log₂16 или I=4 битам.

Ответ: 4 бита

5. Каково было количество возможных равновероятных событий, если при реализации одного из них мы получили количество информации равное 7 битам?

Решение. В этой задаче дано значение I, равное 7 битам. Так как события равновероятны, используем формулу: N = 2^I или N=2⁷ . Таким образом, N=128 бит.

Ответ: 128 бит.

6. В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зелёных шариков. Какое количество информации будет содержать сообщение о цвете вытянутого шарика?

Решение. Так как количество шариков различных цветов неодинаково, то вероятности сообщений о цвете вытянутого из мешочка шарика, также различны и равны количеству шариков данного цвета, делённому на общее число шариков ( 100 ):

P_б=10/100=0,1 ; Pк=20/100=0,2 ; Pс=30/100=0,3 ; Pз=40/100=0,4

События неравновероятны, поэтому для определения количества информации используем формулу Шеннона:

I = - ( 0,1* log₂ 0,1 + 0,2* log₂ 0,2 + 0,3* log₂ 0,3 + 0,4* log₂ 0,4 )/

Для вычисления этого выражения воспользуемся калькулятором и получим, что I приблизительно равно 1, 85 бит.

Ответ: 1, 85 бит

7. Племя Мульти имеет 32 – х символьный алфавит, а племя Пульти – 64 – х символьный. Вожди племён обменялись письмами. Письмо племени Мульти содержало 80 символов, а письмо племени Пульти 70 символов. Сравните информационные объёмы, содержащиеся в письмах.

Решение. Сначала подсчитаем информационную ёмкость одного символа для обоих алфавитов. Для племени Мульти I_мульти=log₂ 32 = 5 бит, а для племени Пульти I _пульти =log₂ 64 = 6 бит.

Следовательно, информационный объём письма вождя племени Мульти равен:

5 бит* 80 символов = 400 бит, а информационный объём письма вождя племени Пульти равен:6 бит* 70 символов = 420 бит.

420 бит- 400 бит = 20 бит

Ответ: Письмо вождя племени Пульти занимает на 20 бит больший информационный объём , чем письмо вождя племени Мульти.

8. Сообщение занимает 3 страницы по 25 строк, В каждой строке записано по 60 символов. Сколько символов в использованном алфавите, если всё сообщение содержит 1125 байтов.

Решение. Подсчитаем число символов в тексте: 3 * 25 * 60 = 4500 символов.

А теперь, узнаем информационную ёмкость одного символа, то есть значение I. Для этого информационный объём всего сообщения в битах поделим на общее количество символов:

Информационный объём сообщения в битах: 1125байт * 8 = 9000 бит

Таким образом, на один символ приходится 9000 бит : 4500 символов = 2 бита, то есть I=2.

Осталось найти мощность алфавита по формуле: N = 2 ^I = 2² = 4

Ответ: В использованном алфавите 4 символа.