3.7. Избыточность источника

Как было показано, энтропия максимальна при равновероятном выборе элементов сооб­щений и отсутствии корреляционных связей. При неравномерном распределении вероятностей и при наличии кор­реляционных связей между буквами энтропия уменьшается.

Чем ближе энтропия источника к максимальной, тем рациональнее работает источник. Чтобы судить о том, насколько хорошо использует источник свой алфавит, вводят понятие избыточности. Избыточность, с которой мы имеем дело в теории информации, не зависит от содержания сообщения и обычно заранее известна из статистических данных.

Информационная избыточность показывает относительную недогруженность на символ алфавита и является безразмерной величиной:

где — коэффициент сжатия (относительная энтропия). и берутся относительно одного и того же алфавита.

Наличие избыточности приводит к загрузке канала связи передачей лишних букв сообщений, которые не несут информации (их можно угадать и не передавая).

Однако, преднамеренная избыточность в сообщениях иногда используется для повышения досто­верности передачи информации — например, при помехоустойчивом кодировании в системах передачи информации с исправлением ошибок. Большую избыточность имеет любой разговорный язык. Например, избыточность русского языка (как и других)  около 50%. Благо­даря избыточности облегчается понимание речи при наличии дефектов в произношении или при искажениях речевых сигналов в каналах связи.

Если энтропия источника сообщений не равна максимальной энтропии для алфавита с данным количеством качественных при­знаков (имеются в виду качественные признаки алфавита, при помо­щи которых составляются сообщения), то это прежде всего означает, что сообщения данного источника могли бы нести большее количество информации.

Абсолютная недогруженность на символ сообщений такого источника

Избыточность еще называют мерой относительного «расточительства» в использовании символов при передаче данного сообщения. Избыточность отсутствует (D=0), когда =H, т.е когда символы выбраны «хорошо» (равновероятно), и избыточность стремится к 100% (D=1), когда полезный выход, т.е. эффективность способа передачи, характеризуемая частотным словарем (частотами появления слов), и, следовательно, эффективность используемого языка, являются незначительными.

Таким образом, мы имеем дело с «коэффициентом эффективности» языка, используемого в канале передачи сообщений.

Кроме общего понятия избыточности существуют частные виды избыточности.

Избыточность, обусловленная не равновероятным распределением символов в сообщении,

Избыточность, вызванная статистической связью между симво­лами сообщения,

Полная информационная избыточность

Пример 3.35. А лфавит источника состоит из трех букв x₁ , x₂ и x₃ .

Определить энтропию на 1 букву текста Х⁽¹⁾, Х⁽²⁾ для следующих случаев:

а) буквы неравновероятны: p(x₁)=0,5, p(x₂)= p(x₃)=0,25, а символы в последовательности на выходе источника статистически зависимы. Условные вероятности переходов p(x_j⁽²⁾/x_i⁽¹⁾) заданы таблицей

i - индекс предыдущей буквы	j - индекс последующей буквы
	1	2	3
1	0,4	0,2	0,4
2	0,0	0,6	0,4
3	0,3	0,0	0,7

б) вероятности букв те же, что и в п. а), но символы независимы; в) символы в последовательности независимы, а вероятности букв одинаковы.

Вычислить избыточность источника для случаев а) и б).

Решение. а) В случае неравновероятных и зависимых сообщений энтропия текста

где

а условная энтропия

Энтропия на один символ

б) При неравновероятных, но независимых сообщениях энтропия

Избыточность, обусловленная статистической зависимостью

D₁= 1 – H₁(X)/ H(X)=1-1,36/1,5=1-0,9=0,1.

в) В случае равновероятных и независимых сообщениях энтропия по формуле

H_max(X)=log₂m = log₂3=1,585 бит.

Избыточность, обусловленная неоптимальностью распределения

D₂= 1 – H(X)/ H_max(X)=1-1,5/1,585=1-0,95=0,05.

Полная избыточность (за счет неоптимальности распределения и наличия статистических зависимостей)

D= 1 – H₁(X)/ H_max(X)=1-1,36/1,585=1-0,86=0,14.

Пример 3.36. Источник сообщений вырабатывает ансамбль символов

Символы в последовательности статистически независимы. Вычислить энтропию источника и определить избыточность.

Решение. Энтропия источника для случая неравномерных и независимых сообщений определяется

Избыточность за счет неоптимальности (неравновероятности) распределения сообщений в источнике определяется формулой

D = 1 - H/ H_max,. где H_max=log₂m

Отсюда

D = 1 - H/ H_max=1-2,27/ log₂6=1-0,87=0,13.