3.2.3. Избыточность

Следствием ограничений на выбор источником знаков является также недоиспользование их как переносчиков информации. Известная априорная информация о вероятностях выбора отдельных знаков и их сочетаний приводит к уменьшению средней неопределённости выбора источником знака, а следовательно, и переносимого им количества информации. При равновероятном и некоррелированном выборе ту же информационную нагрузку на знак можно обеспечить, используя алфавит меньшего объёма. В связи с этим говорят об избыточности алфавита l источника сообщений или просто об избыточности источника.

Мерой избыточности служит величина D, показывающая , насколько хорошо используются знаки данного источника:

, (41)

где - максимально возможная энтропия, равнаяlog l ; H(Z) – энтропия источника.

Если избыточность источника равна нулю, то формируемые им сообщения оптимальны в смысле наибольшего количества переносимой информации. Для передачи определённого количества информации I при отсутствии помех в этом случае необходимо знаков.

Поскольку энтропия сообщений, формируемых реальным источником, обладающим избыточностью, меньше максимальной, то для передачи того же количества информации I знаков требуется больше, а именно . Поэтому говорят также об избыточности знаков в сообщении или просто об избыточности сообщения , характеризуя её тем же параметромD :

.

Избыточность нельзя рассматривать как признак несовершенства источника сообщений. Обычно она является следствием его физических свойств. Ограничения, существующие в любом естественном языке, связаны, например, с особенностями артикуляции, не позволяющими формировать слова из произвольных сочетаний букв.

Последствия от наличия избыточности сообщений неоднозначны. С одной стороны , избыточные сообщения требуют дополнительных затрат на передачу, например, увеличения длительности передач или расширения практической ширины спектра канала связи, что нежелательно. С другой стороны, при использовании сообщений, подчиняющихся априорно известным ограничениям, появляется возможность обнаружения и исправления ошибок, которые приводят к нарушению этих ограничений.

Следовательно, наличие избыточности способствует повышению помехоустойчивости сообщений. Высокая избыточность большинства естественных языков обеспечивает, например, надёжное общение людей даже при наличии у них акцента или дефектов речи.

Однако при обмене информацией в автоматических системах естественная избыточность подлежит устранению. Это объясняется тем , что алгоритмы обнаружения и исправления ошибок, базирующиеся а статистических закономерностях функционирования источника, оказываются слишком сложными для реализации их техническими средствами . В случае необходимости для повышения помехоустойчивости затем вводится «рациональная» избыточность, позволяющая обеспечить обнаружение и исправление наиболее вероятных и опасных по последствиям ошибок простыми техническими средствами. При низком уровне помех в канале связи устранение избыточности приводит к увеличению скорости передачи информации и может дать значительный экономический эффект.