Параграф 1.4: Дискретные источники сообщений с памятью. Избыточность дискретного источника сообщения.

Из определения энтропии H (U) дискретного источника, характеризуемого ансамблем U, следует, что величина H (U) зависит от распределения вероятностей ансамбля, причем, как показано в параграфе 1.2 (2 свойство энтропии), энтропия максимальна тогда, когда все сообщения источника равновероятны.

При генерировании источником последовательно сообщений существует ещё один фактор, оказывающий влияние на величину энтропии, а именно наличие или отсутствие у источника памяти. Источник дискретных сообщений называется источником с памятью, если вероятность выдачи им очередного элемента сообщения u_k зависит от того, какой (какие) элемент (элементы) сообщения было (были) выданы ранее. Иначе говоря, сообщения источника с памятью являются зависимыми. Стационарный источник независимых сообщений называется источником без памяти. В качестве примера источника сообщений можно привести связанный русский текст, в качестве элементов которого рассматриваются отдельные буквы русского алфавита. Наряду с тем, что различными являются вероятности появления разных букв текста (например, буква «а» появляется чаще, чем «ъ»), имеет место зависимость вероятностей появления каждой буквы от того, которое ей предшествовало. Так, сочетание «ар» чаще, чем «аъ».

В тоже время, если передачи подлежат результаты различных расчетов ЭВМ, и в качестве элементов сообщений выступают отдельные цифры, то есть основание, какой источник информации считать источником без памяти. Как видно из 1.3, количество информации, содержащейся в одном элементарном сообщении источника с памятью, определяется с помощью условных вероятностей. Следовательно, и энтропия такого источника будет равна условной энтропии H (U, Z) сообщения ансамбля U при условии, что ему, что ему предшествовало сообщение ансамбля Z. В соответствии со свойством условной энтропии 1.12 для случая зависимых ансамблей U и Z всегда H (U/Z) < H (U), т.е. энтропия источника с памятью всегда меньше энтропии источника независимых сообщений.

Т.о., энтропия дискретного источника максимальна в том случае, когда выполняется два условия:

2. Все сообщения источника независимы (источник без памяти).

3. Все сообщения источника равновероятны.

Невыполнение любого из этих требований уменьшает энтропию источника и является причиной избыточности. Избыточностью источника дискретных сообщений с энтропией H_u и объемом алфавита N называется величина:

μ = [H_max – H (U)] / H_max = 1 – H_u / log N (1.20),

где H_max – максимально возможное значение энтропии при данном объеме алфавита. Оно достигается при выполнении двух предыдущих условий и в соответствии с 1.6: H_max = log N.

Избыточность показывает, какая доля максимально возможной при заданном объеме алфавита неопределенности (энтропии) не используется источником. В частности, избыточность английского текста около 50%, а русского алфавита приблизительно 70%.

Параграф 1.5: Производительность источника дискретных сообщений. Скорость передачи информации.

Обычно источники передают сообщения с некоторой скоростью, затрачивая в среднем время T на каждое сообщение. Производительность источника H’ (U) назовем суммарную энтропию источника, переданного за это время:

H’ (U) = (1 / T)*H (U) (1.21)

Производительность измеряется в бит/c.

Если сообщение может быть представлено в виде последовательности дискретных элементарных сообщений u_k источника с энтропией H (U), следующий со скоростью V_s = 1 / T, то

H’ (U) = V_s* H (U) (1.22)

Аналогичным образом, т.е. разделив формулы 1.11 – 1.19 на T и обозначая H’ (U, Z) = (1 / T)*H (U, Z) и I’ (U, Z) = (1 / T)*I (U, Z), получим соответствие равенства для условных энтропий, рассчитанных не на 1 сообщение, а в единицу времени. Величина I’ (U, Z) называется скоростью передачи информации от U к Z. Если, например, U – ансамбль сигналов на входе дискретного канала, а Z – ансамбль сигналов на его выходе, то скорость передачи информации по каналу, то

I’ (U, Z) = H’ (U) – H’ (U / Z) = H’ (Z) – H’ (Z / U) (1.23)

Эти сообщения наглядно иллюстрируют следующий рисунок:

H’ (U) – производительность источника передаваемого сигнала U.

H’ (Z) – производительность канала, т.е. полная собственная информация в принятом сигнале за единицу времени.

H’ (U / Z) – потеря информации (ненадежность канала в единицу времени).

H’ (Z / U) – скорость создания ложной посторонней информации в канале, не имеющей отношения к U и обусловлена помехами в канале.

По определению Шеннона, ненадежность канала – энтропия входа, когда энтропия выхода известна, а H (Z / U) – энтропия выхода, когда энтропия входа известна.

Соотношения между H’ (Z / U) и H’ (U / Z) зависит от свойств канала. Так, например, при передаче звукового сигнала по каналу с узкой полосой пропускания, недостаточной для качественного воспроизведения сигнала и с низким уровнем помех, теряется часть полезной информации, но почти не получая бесполезной. В этом случае H’ (U / Z) >> H’ (Z / U). Если же сигнал воспроизводится качественно, но при этом прослушиваются наводки от соседнего радиоканала, это означает, что, почти не теряя полезной информации, мы получаем много лишней, мешающей информации: H’ (U / Z) << H’ (Z / U).