1.9. Избыточность источника сообщений
Вспомним
теперь, что энтропия характеризует
количество информации, приходящееся в
среднем на одно сообщение. Рассмотренные
ранее примеры показывают, что при
одинаковом количестве различных символов
(сообщений) количество информации,
приходящееся на одно сообщение, может
быть различным в зависимости от
статистических характеристик источника.
Энтропия источника максимальна и равна
,
если символы вырабатываются с равными
вероятностями; если же это не так и
некоторые символы повторяются часто,
а другие редко, то энтропия источника
уменьшается, а при появлении дополнительных
коррелятивных связей между символами
энтропия становится еще меньшей. Это
положение хорошо согласуется с интуитивным
представлением о количестве информации,
вырабатываемой тем или иным источником.
Так, например, если из предшествовавшего
опыта свойства лектора или докладчика
известны настолько хорошо, что слушатели
с высокой степенью достоверности знают,
о чем он будет говорить, то количество
информации, сообщаемой таким лектором,
будет очень малым, несмотря на большое
количество произнесенных слов.
Для того чтобы выяснить, насколько хорошо в источнике сообщений используются разные символы (а источник будет тем лучше, чем больше информации он будет вырабатывать), вводится параметр, называемый избыточностью и равный
.
(1.24)
При
этом
есть максимальная энтропия или наибольшее
количество информации, которое может
приходиться на один символ источника
при данном числе
используемых символов.
Из
(1.24) видно, что при
энтропия источника
,
т.е. источник генерирует максимальное
количество информации на символ. Если
,
то
и, следовательно, информация, вырабатываемая
источником, равна нулю. В общем случае
.
Чем меньше избыточность
,
тем рациональнее работает источник,
тем большее количество информации он
вырабатывает.
Следует,
однако, иметь в виду, что не всегда нужно
стремиться к тому, чтобы
.
Некоторая избыточность бывает полезной
для обеспечения надежности передачи,
регистрации и других преобразований
информации. Известно, например, что
лектора, который не повторяет или не
разъясняет более подробно, на примерах
отдельные положения, слушать и
конспектировать значительно труднее,
чем лектора, который в разумной мере
пользуется этими приемами.
Если не различать буквы «е» и «ё», а также мягкий и твердый знаки, то в русском алфавите всего 31 буква, к ним нужно добавить еще пробел между словами, так что всего получается 32 символа. Если бы все символы были равновероятны, то энтропия такого языка была бы равна
.
В действительности, однако, вероятности различных символов различны; так, например, вероятность буквы «о» равна приблизительно 0,09, а буквы «ф» – 0,002. Кроме того, между символами имеют место значительные коррелятивные связи.
Проведенные исследования дают следующие значения энтропии:
при учете разной вероятности отдельных символов
,
при учете коррелятивных связей между двумя символами
,
при учете коррелятивных связей между тремя символами
.
Таким образом, можно утверждать, что избыточность русского языка
.
Анализ
английского языка с учетом коррелятивных
связей, распространяющихся на восемь
соседних букв, показал, что избыточность
его
.
Если учесть коррелятивные связи,
распространяющиеся на достаточно
большое число букв, то можно, по-видимому,
убедиться что избыточность русского и
других европейских языков более 50.%.
Наличие этой избыточности позволяет
легко исправлять отдельные ошибки или
восстанавливать пропуски букв и даже
слогов без искажения текста.