Методическое пособие 640

Рис. 3.2. График определения достоверности передачи одного из двух сообщений

Разность частных количеств информации в соответствии с (3.28) в данном случае равна

Поскольку отношение S3 / S1 положительно и меньше единицы, то логарифм такого отношения отрицателен и, следовательно,

( ) > ( ) .

Неравенство означает, что если пороговое устройство не сработало, т. е. принято сообщение у1 и то в таком принятом сообщении содержится больше информации о том, что сигнал не был передан (сообщение x1), чем о том, что он был передан (сообщение х2). Причем неравенство тем более сильное, чем больше разница в площадях S1 и S3, т. е. чем слабее помехи и чем большей амплитуды передается сигнал.

Если принято сообщение у2, т. е. пороговое устройство сработало, то аналогично

Так как S4> S2 ,то

( ) > ( ) ,

т. е. в таком сообщении y2 содержится больше информации о том, что было передано состояние x2 , а не x1 . Неравенство будет тем более сильным, чем больше разница в площадях S4 и S2 — чем слабее уровень помех и чем сильнее сигнал.

3.7. Количество информации при передаче сообщений от непрерывного источника

В предыдущих параграфах были получены соотношения для передачи сообщений с дискретными состояниями. Аналогичные соотношения для количества передаваемой информации могут быть получены и для сообщений с непрерывным распределением состояний.

Действительно, по аналогии с дискретным случаем определим количество информации как разность априорной и апостериорной (в данном случае дифференциальной) энтропии:

(3.30)

Все остальные расчетные формулы для определения полного и частного количества информации, полученные ранее, верны и для непрерывного процесса с учетом замены процесса

62

дифференцирования в вычислениях на интегрирование, что часто усложняет расчеты. Поэтому, по возможности желательно непрерывную функцию заменить совокупностью дискретных отсчетов.

3.8. Эпсилон-энтропия случайной величины

Вэтом разделе мы вернемся к рассмотрению понятия энтропии непрерывной случайной величины, воспользовавшись для этого теперь уже известным нам понятием количества информации.

Вразделе 2.3 мы показали, что энтропия непрерывной случайной величины бесконечна, вследствие того, что реализации могут отличаться на сколь угодно малые величины. В действительности на практике, с одной стороны, нет возможности фиксировать сколь угодно малые отличия реализаций вследствие погрешности измерительной аппаратуры, с другой стороны, это обычно и не требуется. Поэтому разумной представляется идея: судить о непрерывной случайной величине X по значениям другой статистически связанной с ней случайной величины Y , если мера их различия не превышает заданной верности воспроизведения.

Для количественной оценки степени сходства вводят функцию р(xy), имеющую смысл «расстояния» между реализациями, а в качестве меры сходства - ее среднее значение по всему множеству значений x и y :

Здесь ω(xy) - плотность совместного распределения вероятностей случайных величин X и Y.

Наиболее популярным является среднеквадратический критерий. При этом с учетом равенства p(xy) = p(x/y)·p(y) критерий сходства может быть записан в виде

63

где p(x/y) - условная плотность распределения, характеризующая вероятность воспроизведения конкретного сигнала x сигналом y, а ε - заданное значение верности воспроизведения.

В соответствии с (3.30) количество информации о случайной величине X, содержащейся в воспроизводящей величине Y равно

Заданную верность воспроизведения случайной величины X желательно обеспечить при минимальном количестве получаемой информации. Поэтому условную плотность p(x/y) вероятности того, что в тех случаях, когда была зафиксирован сигнал x, имел место сигнал y, следует подобрать так, чтобы в (3.33) имел место минимум информации I (X, Y) по всем p(x/y).

Величину Hε (X), определяемую как

называют эпсилон-энтропией (ε -энтропией) непрерывной случайной величины X.

3.9. Связь между энтропией и количеством информации

Ниже приведены формулы взаимозависимости между энтропией и количеством информации, которые часто используются при решении задач:

64

При этом в среднем неопределенность сообщений из Х после наблюдения y Y характеризуется условной энтропией H(X/Y). Уменьшение неопределенности X за счет наблюдения y Y и есть та информация об X, которая извлекается из сообщений ансамбля Y. В случае канала связи, как было условлено, ансамбль X отвечает множеству передаваемых сообщений, а Y

– множеству наблюдений на выходе канала. При этом H(X/Y) оценивает в среднем неопределенность относительно того, какое из сообщений было передано, остающуюся после получения сигнала на выходе канала (т.е. наблюдения). В этом свете условная энтропия H(X/Y) входного ансамбля относительно выходного может быть названа остаточной энтропией.

65

4. Оценка информационных характеристик источников сообщений

4.1. Понятие эргодического источника сообщений

Для построения модели источника дискретных сообщений достаточно задать объём алфавита и вероятности появления на выходе источника отдельных знаков. Наиболее широко используется модель Шеннона - эргодический источник сообщения. Эта модель предполагает, что источник представляется эргодической случайной последовательностью.

Свойства эргодической модели:

1)вероятности знаков не зависят от их места в последовательности;

2)статистические характеристики, полученные на одном

длинном сообщении, справедливы для всех сообщений, создаваемых этим источником.

Если вероятности знаков не зависят от времени, то источник называется стационарным. Если вероятности не зависят и от предыдущих состояний, то источник называется стационарным без памяти. Стационарный источник без памяти, в котором каждый знак выбирается независимо от других, всегда эргодический.

Если имеет место корреляция между знаками, то в качестве модели используют цепь Маркова, с помощью которой можно составить математическую модель многих процессов, наиболее близких к практике.

Так, например, если источник выдает сообщение в виде текста, написанного на русском (или каком-либо ином) языке, то вероятность появления некоторой буквы сильно зависит от нескольких предшествующих букв, но почти не зависит от той части текста, которая отстоит от нее, скажем, на несколько десятков слов. Действительно, если в каком-либо тексте мы найдем сочетание букв «распределе...», то с большой степенью уверенности можно ожидать, что за ними последуют буквы

66

«ние». Далее, если текст математический, то вслед за словом «распределение» с большой вероятностью последует слово «вероятностей». Однако вероятность того, какие буквы или слова будут на следующей строке, практически не зависит от букв, написанных в начале предыдущей строки. Несколько более протяженные вероятностные связи можно обнаружить в стихотворном тексте (вследствие ритма и рифмы), но и здесь они, как правило, не простираются дальше, чем на одну строфу.

Другим примером может служить источник, измеряющий с заданной точностью через определенные промежутки времени атмосферное давление в каком-либо пункте. В этом примере вероятностные связи между результатами наблюдений распространяются на большие промежутки времени, порядка нескольких дней или недель, и, следовательно, охватывают много элементарных сообщений (если измерения производятся достаточно часто, например каждый час). Однако и здесь можно указать достаточно большой отрезок времени (несколько месяцев или лет), на который эти связи практически совсем не распространяются.

Если имеет место связь только между двумя соседними элементами последовательности, она характеризуется условной вероятностью p(xi /хj ). Последовательность элементов, обладающую указанным свойством, называют односвязной цепью Маркова. Связь каждого элемента с двумя предшествующими характеризуется условной вероятностью p(xi /xj xk), а соответствующая последовательность называется двусвязной цепью Маркова.

Для односвязной цепи Маркова в предположении, что известен (принят) элемент xj из алфавита объема N, частная условная энтропия

При этом полная (средняя) энтропия определяется как

67

Можно построить выражения для энтропии и при более протяженной связи между элементами последовательности. Порядок цепи зависит от того, сколько знаков связано корреляционной зависимостью.

Пример. Пусть алфавит источника состоит из двух элементарных сообщений, которые обозначим А и Б. Тогда максимальная энтропия такого источника, достигаемая при независимом выборе А и Б с равными вероятностями, выраженная в двоичных единицах, Hmax = log22 = 1.

Если элементы выбираются источником независимо, но с неодинаковыми вероятностями р(А)=0,3 и р(Б)=0,7, то энтропия на элемент равна

H1 = - 0,3·1og2 0,3 - 0.7 log2 0,7 = 0,52 + 0,36 = 0,88 дв. ед.

В таком источнике избыточность алфавита равна 0,12. Пусть теперь вероятности выбора зависят от одного

предшествующего элемента, а именно:

р (A / А) =р (Б / Б) = 0,8 и р (А / Б)=р (Б / А) = 0,2.

Здесь р(А / Б) обозначает вероятность выбора элемента А при условии, что предыдущим был элемент Б и т. д. Легко убедиться, что безусловные вероятности обоих элементов в таком источнике одинаковы и равны 0,5. Этот источник имеет два состояния, определяемые последним выбранным элементом, причем оба состояния имеют вероятности, равные 0,5. Тогда

68

получим

H2 = - 0,5 · 0,8 log2 0,8 - 0,5 · 0,2 lоg2 0,2 - 0,5 · 0,8 log2 0,8 - - 0,5·0,2 log2 0,2 = 0,722 дв. ед.;

избыточность алфавита, вызванная вероятностными связями в таком источнике — 0,278.

Рассмотрим теперь случай, когда имеются вероятностные связи, а безусловные вероятности элементов не одинаковы. Пусть

р (A / А) =0,3, р (Б / А) =0,7, р (A / Б)=0,1 и р (Б / Б)=0,9.

Безусловные вероятности при этом можно рассчитать используя формулу полной вероятности

Р(А)=р(А)·р(А / А)+(1- р(А))·р(А / Б)

и решить полученное уравнение относительно р(А). Другими словами, безусловную вероятность того, что

(k+1)-м символом последовательности будет нуль, по формуле полной вероятности можно представить в виде

(0) = (0) (0⁄0)+ [1− (0)] (0⁄1) .

В результате вычислений получим р(А)=0,125 и р(Б)=0,875. Таковы же, очевидно, вероятности двух возможных состояний источника. Из (4.1) получим

= (0)· ( ⁄0)+ (1)· ( ⁄1) = −0.125∙ (0.3log0.3+0.7log0.7) −0.875∙ (0.1log0.1+0.9log0.9)

0.51дв. ед

иизбыточность алфавита - 0,48.

Предположим, что вероятности знаков, формируемых источником с тремя возможными состояниями, следующие: p(x1) = 0,1; p(x2) = 0,3; p(x3) = 0,6. Ясно, что в этом случае знак x2 в среднем должен встречаться в три раза чаще, чем x1, но в два раза реже, чем x3. Однако в конкретной последовательности, длина которой ограничена, знаки могут отсутствовать или появляться реже или чаще, чем это определено указанными

69

вероятностями. Вероятности формирования различных последовательностей, связанные со свойствами эргодических последовательностей знаков, задаются следующей теоремой.

Теорема о свойствах эргодических последовательностей знаков

Как бы ни были малы числа δ > 0 и μ > 0 при достаточно большом N все эргодические последовательности могут быть разбиты на две группы:

1.Нетипичные последовательности. Различных вариан-

тов таких последовательностей большое число, однако любая из них имеет настолько ничтожную вероятность, что даже суммарная вероятность всех таких последовательностей очень мала и при достаточно большом N меньше сколь угодно малого числа δ.

2.Типичные последовательности, вероятности которых p

при больших N одинаковы и удовлетворяют неравенству

Соотношение (4.3) называют свойством асимптотиче-

ской равномерности.

4.2. Марковские процессы

Марковские случайные процессы названы по имени выдающегося русского математика А.А. Маркова (1856-1922), впервые начавшего изучение вероятностной связи случайных величин и создавшего теорию, которую можно назвать “динамикой вероятностей”. В дальнейшем основы этой теории явились исходной базой общей теории случайных процессов, а также таких важных прикладных наук, как теория диффузионных процессов, теория надежности, теория массового обслуживания и т.д. В настоящее время теория Марковских процессов и ее приложения широко применяются в самых различных областях таких наук, как механика, физика, химия и др.

70