6.4. Статистические свойства источников сообщений

Использование энтропии в качестве усредненной величины, количественно характеризующей информационные свойства источника, выдающего последовательности дискретных сообщений, является целесообразным при условии, что вероятностные соотношения для этих последовательностей сохраняются неизменными. Источник называют стационарным, когда распределение вероятностей сообщений не зависит от их места в последовательности сообщений, создаваемых этим источником, т. е.:

(6.17)

где n – любое число.

По аналогии со стационарным случайным процессом статистические характеристики последовательности сообщений стационарного источника не зависят от выбора начала отсчета.

Среди стационарных источников сообщений важное место занимают эргодические источники, которые отличаются тем, что с вероятностью, близкой к единице, любая достаточно длинная последовательность сообщений такого источника полностью характеризует его статистические свойства. Важной особенностью эргодических источников является то, что статистическая связь между сообщениями всегда распространяется только на конечное число предыдущих сообщений.

Существуют стационарные источники, которые могут работать в различных режимах, отличающихся друг от друга своими статистическими характеристиками. В этом случае источник не является эргодическим, так как при работе в одном режиме даже продолжительная последовательность сообщений уже не может в целом характеризовать свойства источника.

Подобного рода случайные последовательности (обладающие эргодическими свойствами) известны в математике как дискретные цепи А. А. Маркова (см. гл. 5).

В марковском эргодическом источнике вероятность передачи того или иного сообщения однозначно определяется стоянием источника. После передачи сообщения источник переходит в новое состояние, которое зависит от предыдущего состояния и переданного сообщения.

Достаточно длинные эргодические последовательности сообщений, с высокой степенью вероятности содержащие все сведения о статистических характеристиках источника, называются типичными. Чем длиннее последовательность тем больше вероятность того, что она является типичной. В типичных последовательностях частота появления отдельных сообщений сколь угодно мало отличается от их вероятности. Отсюда вытекает важное свойство типичных последовательностей, состоящее в том, что типичные последовательности одинаковой длины примерно равновероятны.

Что касается нетипичных последовательностей, то вследствие их малой вероятности при большом числе сообщений, они во многих случаях вообще не учитываются.

6.5. Скорость передачи информации и пропускная способность дискретного канала без помех

Передача информации происходит во времени, поэтому можно ввести понятие скорости передачи как количество информации , передаваемой в среднем за единицу времени. Для эргодических последовательностей сообщений, где допускается усреднение во времени, скорость передачи равна:

(6.18)

Здесь количество информации, содержащейся в последовательности сооощений а_r, общая длительность ко­торых равна Т, причем предполагается, что все сообщения, входящие в последовательность а_Т, имеют определенную дли­тельность.

Количество информации, создаваемое источником сообщений в среднем за единицу времени, называется производительностью источника Rи. Эту величину удобно выразить через энтропию источника . Действительно, приможно считатьи, где n – число сообщений, а - средняя длительность одного сообщения. Тогда, подставляя в (6.18) значения и T, получим:

(6.19)

Величина для независимых сообщений может вычислена как математическое ожидание:

(6.20)

где - вероятность сообщения длительностью.Если длительность всех сообщений одинакова и равна ,выражения (6.19) принимает вид:

(6.21)

Отсюда следует, что наибольшей производительностью обладает источник с максимальной энтропией (см. (6.12)). т.е.:

(6.22)

Выданная источником информация в виде отдельных сообщений поступает в канал связи, где осуществляются кодирование и ряд других преобразований, в результате которых информация переносится уже сигналами и, имеющими другую природу и в общем случае обладающими другими статистическими характеристиками. Для сигналов также может быть найдена скорость передачи по каналу связи.

(6.23)

Высокая скорость передачи является одним из основных требований, предъявляемых к системам передачи информации. Однако в реальных условиях существует ряд причин, ведущих к ее ограничению. Остановимся на некоторых из них.

В реальном канале число используемых сигналов всегда конечно, поэтому энтропия в соответствии с (6.22) есть величина ограниченная:

(6.24)

С другой стороны, уменьшение длительности сигналов приводит, как известно, к расширению спектра, что ограничивается полосой пропускания канала. Это в конечном счете ставит предел уменьшению и средней длительности . Таким образом, существуют, по крайней мере, две причины: конечное число сигналов и конечная длительность сигналов, которые не позволяют беспредельно повы­шать скорость передачи информации по каналу связи.

Максимально возможная скорость передачи информации по каналу связи при фиксированных ограничениях называется пропускной способностью канала:

(6.25)

Пропускная способность канала характеризует его предельные возможности в отношении передачи среднего количества информации за единицу времени. Максимум скорости R в выражении (6.25) ищется по всем возможным ансамблям сигналов u.

Определим пропускную способность канала, в котором существуют два ограничения: число используемых сигналов не должно превышать т, а длительность их не может быть меньше сек. Так как и независимы, то, согласно выражению (6.25), следует искать максимум и минимум .Тогда:

(6.26)

Для двоичных сигнала m=2 и пропускная способность

(6.27)

т. е. совпадает со скоростью телеграфирования в бодах. При передаче информации простейшими двоичными сигналами — телеграфными посылками — необходимая полоса пропускания канала зависит от частоты манипуляции которая по определению равна частоте первой гармоники спектра сигнала, представляющего собой периодическую последовательность посылок и пауз. Очевидно, минимальная полоса пропускания канала, при которой еще возможна передача сигналов, Отсюда максимальная скорость передачи двоичных сигналов по каналу без помех равна:

(предел Найквиста). (6.28)

Понятие пропускной способности применимо не только ко всему каналу в целом, но и к отдельным его звеньям. Существенным здесь является то, что пропускная способность C’какого-нибудь звена не превышает C” второго звена, если оно расположено внутри первого. Соотношение C’≤C” обусловлено возможностью дополнительных ограничении, накладываемых на участок канала при его расширении и снижающих пропускную способность.