§ 4. Кодирование и представление сообщений

Передача информации осуществляется с применением того или иного языка. Примерами использования языков являются: слова и фразы в речи, жесты, рисунки, математические знаки, электрические колебания различной формы и т. п.

Любой язык характеризуется определенным набором используемых знаков и правилами их применения. С помощью этих знаков формируются сообщения. Сообщение представляет собой совокупность знаков, в которой содержится определенная информация.

Для передачи и хранения сообщений часто используются языки с иерархической струк­турой. В этой структуре используются знаки различных рангов:

• символы;

• слова, представляющие собой комбинации символов;

• предложения (фразы).

Ограниченная совокупность используемых сим­волов называется алфавитом.

Формирование комбинаций символов алфавита для построения знаков различного ранга называется кодированием. Кодирование представляет собой описание смыслового содержания информации с помощью комбинаций символов используемого алфавита. При этом описание должно выполняться по определенным правилам.

Обратная операция называется декодированием. Декодирование – это выделение смыслового содержания информации из совокупности принятых символов.

Код применяемого языка определяется алфавитом символов и правилами построения знаков различного ранга. Количество символов алфавита называется основанием кода. Например, алфавит двоичного кода содержит два символа: “0” и “1”. В этом случае основание кода равно двум.

Способ формализованного описания различных сообщений называется представлением сообщения. Кодирование с помощью символов конечного алфавита является одним из способов представления сообщений.

Любое событие, информацию о котором необходимо передать, происходит в течение определенного промежутка времени. В каждый момент времени оно может находиться в одном из множества возможных состояний. Описание события заключается в определении со­стояния описываемого объекта в текущий момент времени.

Существуют следующие виды представления сообщений:

1. Аналоговое представление. При аналоговом представлении сообщение описывается функцией одной или нескольких переменных (рис. 1.1.1):

Рис. 1.1.1. Аналоговое представление сообщения

2. Квантованное представление. При квантованном представлении сообщение также описывается функцией одной или нескольких переменных, однако, функция может принимать только ряд заранее выбранных фиксированных значений (рис. 1.1.2):

Рис. 1.1.2. Квантованное представление сообщения

Переход от непрерывной шкалы координат сообщений к шкале с фиксированными значениями координат называется квантованием.

3. Цифровое представление. При цифровом представлении сообщение описывается упорядоченной совокупностью цифр с конечным заранее выбранным числом разрядов.

§ 5. Количественная мера информации

Посылка сообщения о событии представляет собой выбор одного элемента из множества возможных элементов.

Например, для оценки знаний студентов можно применить два варианта:

Вариант 1: Оценка знаний состоит из четырех ступеней: "Отлично", "Хорошо", "Удовлетворительно" и "Неудовлетворительно";

Вариант 2: Оценка знаний состоит из двух ступеней: "Зачтено" и "Не зачтено".

Очевидно, что первый вариант обеспечивает более точную оценку знаний по сравнению со вторым. Это означает, что каждая из ступеней оценки по первому ва­рианту содержит большее количество информации, чем по второму.

Этот пример показывает, что существует определенная связь между количеством инфор­мации и возможностями выбора.

Для рассмотрения процесса сложного выбора предположим, что необходимо описать путь от точки "Старт" до любой из точек " 1 " – "8 ", например, до точки " 5 " (рис. 1.1.3).

Рис. 1.1.3. Схема последовательности выборов

При описании пути необходимо последо­вательно делать выбор одного из двух направлений: либо "вверх", либо "вниз".

Если движение вверх обозначить символом “1”, а движение вниз – символом “0”, то путь от точки “Старт“ до точки “5” может быть описан комбинацией из трех символов: “1 – 0 – 0”.

Аналогичным образом можно поступить и в более сложных случаях. Таким образом, передачу сообщения любой сложности можно свести к комбинации простейших выборов.

За единицу количества информации можно принять количество информации, содержащееся в сообщении, которое представляет собой один элементарный выбор (n = 1) из двух возможных значений (m = 2).

В общем случае число возможных сообщений N определяется из соотношения:

N = m ⁿ;

где m – число возможных элементов в каждом выборе

(в нашем случае m = 2);

n – количество последовательных выборов

(в нашем случае n = 3).

Количество информации I, содержащейся в любом сообщении, представляет собой логарифмическую меру общего числа возможных сообщений N:

I = log _а N,

Тогда log _a N = n · log _a m ;

Поскольку при элементарном выборе (n = 1, m = 2) количество информации должно быть равно единице, то основанием логарифма, при котором соблюдается это условие, равно двум. В этом случае одна двоичная единица информации соответствует сообщению о том, что произошло одно из двух равновероятных событий. Тогда формула для подсчета количества информации в сообщении принимает вид:

I = n · log ₂ m ;

Двоичная единица информации называется “бит” от сочетания английских слов “binary digit”.

Если сообщение состоит из “n” двоичных элементов (бит), то число возможных сообщений равно:

N = 2 ⁿ ;

В рассмотренном примере передачи выбора из восьми точек ( N = 8 ) содержится три единицы (бита) информации ( n = 3 ), поскольку:

2³ = 8;

Здесь рассматривался простой случай подсчета количества информации, в котором все элементы равновероятны.

На самом деле некоторые состояния физического процесса наступают более часто, а другие – реже. Число возможных сообщений (количество информации) в этом случае меньше, чем при равной вероятности.