1.2.Количество информации в сообщении

Фундаментальным вопросом теории информации является вопрос о количественной мере информации. Количественная мера информации нужна для того, чтобы иметь возможность сравнивать различные источники сообщений, различные линии и каналы связи.

Количественная мера информации обозначается символом I.

Данная величина определяется степенью изменения поведения получателя под воздействием принятого сообщения. Очевидно, чем неожиданнее сообщение (иначе говоря, чем меньше вероятность появления сообщения), тем больше информации оно содержит. Напротив, достоверное (заранее известное) сообщение не содержит информации, так как оно не является неожиданным. В этой связи любые реальные сообщения следует рассматривать как случайные процессы.

Рассмотрим идеи теории информации применительно к источнику, выдающему последовательность дискретных элементарных сообщений.

Впервые эту задачу в конце 20-х гг. прошлого столетия поставил и решил американский ученый и инженер Р. Хартли, предложивший использовать вероятностный подход.

Пусть источник производит случайным образом выбор одного k – го элементарного сообщения x_k ( k = 1, …, l ) из множества Х. Вероятность выбора этого конкретного сообщения равна p_k. Эта вероятность может зависеть (или не зависеть) от того, какая последовательность сообщений предшествовала выбранному элементу.

Выдаваемое источником количество информации зависит не от конкретного (смыслового) содержания данного элемента, а от того, каким образом этот выбор осуществляется. Если выбираемый элемент заранее определен, то естественно полагать, что заключающаяся в нем информация равна нулю.

Хартли предложил вычислять количество информации, содержащееся в передаваемом k–ом сообщении по формуле

,

где основание логарифма может быть выбрано любым, поскольку влияет только на единицу измерения количества информации.

Если основание выбрано е, то информация измеряется в натуральных единицах, или в натах.

Если основание выбрано 2, то информация измеряется в двоичных единицах, или в битах (1 нат ≈ 1,443 бит). Для цифровых систем передачи информации наиболее подходит именно такая мера.

В цифровых системах, связанных с компьютерной техникой, используется единица измерения байт (от англ. слог) – слово (или набор) из восьми двоичных разрядов (битов).

Легко подсчитывается, что с помощью 1 байта можно передавать 2⁸ = 256 сообщений.

Таким образом, количество информации, передаваемой в i–м сообщении, определяется формулой

Применение двоичных логарифмов диктуется тем, что сообщение в практических системах связи чаще всего принимает форму отдельных групп (кодовых слов), состоящих только из двух символов, которые можно трактовать как 0 и 1.

Количество информации, содержащейся в сложном сообщении, представляющем совокупность двух независимых сообщений x_i и x_j , будет равно

.

Логарифмическая мера информации, кроме свойства аддитивности, в случае событий с одним исходом определяет нулевое количество информации.

Выражение для характеризует количество информации, содержащееся в сообщении x_i. Оно характеризует также априорную неопределенность этого сообщения. В связи с этим оно может быть использовано для количественной оценки неопределенности сообщения.