Глава 2. Количество информации

2.1. Объемный подход к измерению информации

В технике, где информацией считается любая хранящаяся, обрабатываемая или передаваемая последовательность знаков, сигналов, часто используют простой способ определения количества информации, который может быть назван объемным. Он основан наподсчете числа символов в сообщении, то есть связан только с длиной сообщения и не учитывает его содержания.

Если используются дискретные сигналы, характеризуемые длиной сообщения m и основанием системы счисления K (как правило, K = 2), то должно выполняться условие:

,

где M – число сообщений.

Если весь текст состоит из N символов, то при таком подходе размер содержащейся в нем информации равен:

I = N  m.

(2.1.)

Можно прийти к заключению, что – количество информации. Казалось бы, искомая мера количества информации найдена. Ее можно понимать как меру неопределенности исхода опыта, если под опытом подразумевать случайный выбор какого-либо сообщения из некоторого числа возможных. Однако эта мера не совсем удобна. При наличии алфавита, состоящего из одного символа возможно появление только этого символа. Следовательно, неопределенности в этом случае не существует, и появление этого символа не несет никакой информации. Итакая мера неудобна для практического использования, так как не удовлетворяет условию аддитивности.

Следует различать понятия “количество информации” и “объем информации”. Количество информации вычисляется относительно первичного алфавита, а объем информации  относительно вторичного алфа­вита. Количество информации зависти от вероятностных характеристик пер­вичного алфавита, а объем зависит от длины сообщения во вторичном алфа­вите.

Пример 2.1. С помощью некоторого алфавита записано сообщение, содержащее 2048 символов, его объем составляет 1,25 Кбайта. Какова мощность этого алфавита (т.е. сколько в алфавите символов)?

Решение. 1. Переведем информационный объем сообщения в биты: 

I_общ = 1,25 Кбайта*1024 = 1 280 байт=1 280 байт*8 = 10 240 бит

2. Определим I —  количество бит информации, приходящееся на один символ:

I = 10 240 бит : 2 048 = 5 бит

3. Определим N —  количество символов в алфавите:

N = 2^I = 2⁵ = 32.

Ответ.  В алфавите 32 символа.

Пример 2.2. Текст составлен с использованием алфавита мощностью 64 символа и содержит 100 символов. Каков информационный объем текста?

Решение. Мощность алфавита N = 64, количество символов в тексте K = 100, I - ?

N = 2ⁱ откуда i = 6 бит, т. к. 64 = 2⁶

I = K*i откуда I = 100 * 6 = 600 бит = 75 байт

Ответ: информационный объем текста 75 байт

Пример 2.3. Книга, набранная с помощью компьютера, содержит 150 страниц; на каждой странице – 40 строк, в каждой строке – 60 символов. Каков объем информации в книге?

Решение. Мощность компьютерного алфавита равна 256. Один символ несет 1 байт информации. Значит, страница содержит 40 х 60 = 2400 байт информации. Объем всей информации в книге (в разных единицах):

2400 х 150 = 360 000 байт.

360000/1024 = 351,5625 Кбайт.

351,5625/1024 = 0,34332275 Мбайт.

Пример 2.4.Два текста содержат одинаковое количество символов. Первый текст записан на русском языке, а второй на языке племени нагури, алфавит которого состоит из 16 символов. Чей текст несет большее количество информации?

Решение.Информационный объем текста равен произведению числа символов на информационный вес одного символа

I = К * а.

Так как оба текста имеют одинаковое число символов (К), то разница зависит от информативности одного символа алфавита (а).

2^а1= 32, т.е. а1 = 5 бит; 2^а2= 16, т.е. а2 = 4 бит. I1 = К * 5 бит, I2 = К * 4 бит.

Значит, текст, записанный на русском языке в 5/4 раза несет больше информации.

Пример 2.5.Подсчитать, сколько места будет занимать одна минута цифрового звука на жестком диске или любом другом цифровом носителе, записанного с частотой  а) 44.1 кГц; б) 11 кГц; в) 22 кГц; г) 32 кГц и разрядностью 16 бит.

Решение.а) Если записывают моносигнал с частотой 44.1 кГц, разрядностью 16 бит (2 байта), то каждую минуту аналого-цифровой преобразователь будет выдавать 441000 * 2 * 60 = 529000 байт (примерно 5 Мб) данных об амплитуде аналогового сигнала, который в компьютере записываются на жесткий диск.

Если записывают стереосигнал, то 1058000 байт (около 10 Мб).

б) для частот 11, 22, 32 кГц расчеты производятся аналогично.

Пример 2.6. Какой информационный объем имеет моноаудиофайл, длительность звучания которого 1 секунда, при среднем качестве звука (16 бит, 24 кГц)?

Решение.16 бит * 24000 = 384000 бит = 48000 байт = 47 кБайт.

Пример 2.7. Рассчитайте объем стереоаудиофайла длительностью 20 секунд при 20-битном кодировании и частоте 44.1 кГц.

Решение.20 бит * 20 * 44100 * 2 = 35280000 бит = 4410000 байт = 4.41 Мб.

Пример 2.8. Вычислить какой объем памяти компьютера потребуется для хранения одной страницы текста на английском языке, содержащей 2400 символов.

Решение. Мощность английского алфавита, включая разделительные знаки, N = 32. Тогда для хранения такой страницы текста в компьютере понадобится 2400 log₂ 32 бит = 2400 • 5 =12000 бит = 1500 байт.

Пример 2.9. Оперативная память компьютера содержит 163 840 машинных слов (наибольшую последовательность бит, которую процессор может обрабатывать как единое целое), что составляет 0,625 Мбайт. Сколько бит содержит каждое машинное слово?

Решение. 1. Переведем 0,625 Мбайт в биты: 0,625 (Мбайт) = 0,625 х 2¹⁰ (Кбайт) = 0,625 х 2¹⁰ х 2¹⁰ (байт) = 0,625 х 2¹⁰ х 2¹⁰ х 2³(бит) = 0,625 х 2²³ (бит) =0,625 х 8 388 608 (бит) = 5 242 880 (бит).

2. Разделим объем оперативной памяти на количество машинных слов:

5 242 880 (бит) / 163 840 (машинных слов) = 32 (бит).

Пример 2.10. На диске объемом 100 Мбайт подготовлена к выдаче на экран дисплея информация: 24 строчки по 80 символов, эта информация заполняет экран целиком. Какую часть диска она занимает?

Решение. Код одного символа занимает 1 байт.

24*80=1920 (байт).

Объем диска 100*1024*1024 байт = 104857600 байт.

1920/104857600=0,000018 (часть диска).

Пример 2.11.Графическое 16 цветное изображение имеет размер 256 пикселей на 200 пикселей. Какое место в памяти оно занимает?

Решение. Для представления 16 цветного изображения требуется log 2 16 = 4 бита, следовательно, цвет пикселя кодируется 4 битами. Размер изображения 256 на 200, значит количество информации в картинке 256 * 200 * 4 = 204 800 байт = 200 Kбайт.

Ответ: изображение занимает в памяти 200 килобайт.