2. Энтропия источника зависимых сообщений

Рассмотренные выше источники независимых сообщений являются простейшим типом источников. В реальных условиях картина значительно усложняется из-за наличия статистических связей между сообщениями. Примером может быть обычный текст, где появление той или иной буквы зависит от предыдущих буквенных сочетаний. Так, например, после сочетания ЧТ вероятность следования гласных букв О, Е, И больше, чем согласных.

Статистическая связь ожидаемого сообщения с предыдущим сообщением количественно оценивается совместной вероятностью или условной вероятностью которая выражает вероятность появления сообщения а_l при условии, что известно предыдущее сообщение a_k. Количество информации, содержащейся в сообщении при условии, что известно предыдущее сообщение a_k согласно (6.1), будет равно:

(6.13)

Среднее количество информации при этом определяется условной энтропией которая вычисляется как математическое ожидание информации по всем возможным сообщением и .

Важным свойством условной энтропии источника зависимых сообщений является то, что при неизменном количестве сообщений в ансамбле источника его энтропия уменьшается с увеличением числа сообщений, между которыми существует статистическая взаимосвязь. В соответствии с этим свойством, а также свойством энтропии источника независимых сообщений можно записать неравенства:

(6.14)

Таким образом, наличие статистических связей между сообщениями всегда приводит к уменьшению количества информации, приходящейся в среднем на одно сообщение.

6.3. Избыточность источника сообщений

Уменьшение энтропии источника с увеличением статистической взаимосвязи (6.14) можно рассматривать как снижение информационной емкости сообщений. Одно и то оке сообщение при наличии взаимосвязи содержит в среднем меньше информации, чем при ее отсутствии. Иначе говоря, если источник создает последовательность сообщений, обладающих статистической связью, и характер этой связи известен, то часть сообщений, выдаваемая источником, является избыточной, так как она может быть восстановлена по известным статистическим связям. Появляется возможность переда­вать сообщения в сокращенном виде без потери информации, содержащейся в них. Например, при передаче телеграммы мы исключаем из текста союзы, предлоги, знаки препинания, так как они легко восстанавливаются при чтении телеграммы на основании известных правил построения фраз и слов.

Таким образом, любой источник зависимых сообщений, как принято говорить, обладает избыточностью. Количественное определение избыточности может быть получено из следующих соображений. Для того чтобы передать количество информации J, источник без избыточности должен выдать в среднем сообщений, а источник с избыточностью сообщений.

Поскольку и , то для передачи одного и того же количества информации источник с избыточностью должен использовать большее количество сообщений. Избыточное количество сообщений равно , а избыточность определяется как отношение:

æ= (6.15)

Величина избыточности лежит в пределах æ и согласно (6.14) является неубывающей функцией. Для русского языка, Отсюда, на основании (6.14), для русского языка получаем избыточность порядка 50%. Коэффициент

(6.16)

называется коэффициентом сжатия. Он показывает, до какой величины можно сжать передаваемые сообщения, если устранить избыточность. Источник, обладающий избыточностью, передает излишнее количество сообщений. Это увеличивает продолжительность передачи и снижает эффективность использования канала связи. Сжатие сообщений можно осуществить посредством соответствующего кодирования. Информацию необходимо передавать такими сообщениями, ин­формационная емкость которых используется наиболее пол­но. Этому условию удовлетворяют равновероятные и незави­симые сообщения.

Вместе с тем избыточность источника не всегда является отрицательным свойством. Наличие взаимосвязи между буквами текста дает возможность восстанавливать его при искажении отдельных букв, т. е. использовать избыточность для повышения достоверности передачи информации.