Алфавитный подход к измерению информации

Как можно измерить количество информации? Да также, как мы измеряем длину или массу чего-нибудь: сравнить с соответствующим эталоном. Сколько раз эталонная единица укладывается в измеряемой величине, таков и результат измерения. Надо только выбрать эталон.

Например, в мультфильме «38 попугаев» эталоном длины служит длина шага попугая.

Каков же эталон для измерения информации? Давайте в этом разберемся.

Существует несколько способов измерения количества информации. Один из них называется алфавитный.

Алфавитный подход позволяет измерять количество информации в тексте (символьном сообщении), составленном из символов некоторого алфавита.

К содержанию текста такая мера информации отношения не имеет. Поэтому такой подход можно назвать объективным, то есть не зависящим от воспринимающего его субъекта.

Алфавитный подход удобен при подсчете количества информации, хранимого, передаваемого и обрабатываемого техническими устройствами. Устройствам нет дела до содержательной стороны сообщений. Компьютеры, принтеры, модемы работают не с самой информацией, а с ее представлением в виде сообщений. Оценить информационные результаты их работы как полезные или бесполезные может только человек.

Алфавит – это набор букв, знаков, цифр, скобок и т.д.  Количество символов в алфавите называется его мощностью.

Например, мощность алфавита из русских букв и дополнительных символов:

33 буквы + 10 цифр + 11 знаков препинания + скобки + пробел = 54

При алфавитном подходе считается, что каждый символ текста имеет определенный информационный вес. Информационный вес символа зависит от мощности алфавита.

Какова минимальная мощность алфавита, с помощью которого можно записывать (кодировать) информацию?

Односимвольный алфавит

Сообщение любой длины, использующее односимвольный алфавит, содержит нулевую информацию.

Доказательство:

Предположим, что используемый алфавит состоит из одного символа, например, буквы «А». Интуитивно понятно, что сообщить что-либо с помощью единственного символа невозможно.

Двоичный алфавит

Двоичный алфавит состоит из 2-х символов: 0 и 1.

Информационный вес символа двоичного алфавита называется 1 бит.

Следовательно, 1 бит – это 0 или 1.

Назовем комбинацию из 2-х, 3-х и т.д. бит двоичным кодом.

Сколько символов можно закодировать двумя битами?

Порядковый номер символа	1	2	3	4
Двухзначный двоичный код	00	01	10	11

Отсюда следует, что в алфавите мощностью 4 символа информационный вес каждого символа - 2 бита.

Сколько символов можно закодировать тремя битами?

Порядковый номер символа	1	2	3	4	5	6	7	8
Трехзначный двоичный код	000	001	010	011	100	101	110	111

Отсюда следует, что в алфавите мощностью 8 символов информационный вес каждого символа - 3 бита.

Можно сделать вывод, что в алфавите мощностью 16 символов информационный вес каждого символа будет 4 бита.

Обозначим мощность алфавита буквой N, а информационный вес символа буквой b.

Зависимость между мощностью алфавита N и информационным весом символа b.

N	2	4	8	16
b	1 бит	2 бита	3 бита	4 бита

Заметим, что 2 = 2¹, 4 = 2², 8 = 2³, 16 = 2⁴.