Контрольные вопросы

1.Дайте определение условной информации и условной энтропии.

2.Какие формулы используются для расчета условной энтропии?

3.Сформулируйте основные свойства условной энтропии.

4.Что такое канальная матрица?

5.Какой величиной описывают потери, приходящиеся на символ xi при передаче его по каналу связи?

6.Как вычисляется величина потерь при передаче всех символов источника информации?

§1.3. МОДЕЛИ ИСТОЧНИКОВ ДИСКРЕТНЫХ СООБЩЕНИЙ

Впредыдущих параграфах мы увидели, что простейшей математической моделью реальных источников дискретных сообщений являются дискретные случайные величины. Однако на практике нас чаще всего интересует не единичный акт передачи конкретного сообщения, а целые последовательности сообщений, порождаемые источником за определенный, как правило, длительный промежуток времени. Для описания таких источников используются математические модели, представляющие собой дискретные случайные процессы с дискретным временем. Перед тем как формулировать основные положения таких моделей, напомним основные определения и факты из теории случайных процессов.

ОПРЕДЕЛЕНИЕ 1.3.1. Случайным процессом {Xt } называется семейство случайных величин Xt , индексируемых параметром t T .

Чаще всего параметр t интерпретируется как время. Если множество значений T параметра t дискретно (конечно или счетно), то случайный процесс называется случайным процессом с дискретным временем. Если же множество T непрерывно, то случайный процесс называется случайным процессом с непрерывным временем. Если в каждый момент времени t

величина Xt является дискретной случайной величиной, случайный

21

процесс {Xt } называется случайным процессом с дискретными состояни-

ями. Далее в этом разделе будем рассматривать только случайные процессы с дискретным временем и дискретными состояниями. При этом возможными значениями параметра t будут натуральные числа: t =1,2,3, . Кроме того, будем предполагать, что каждая случайная величина Xt принимает значения из одного и того же множества X.

Говорят, что случайный процесс {Xt } задан, если для любого t указан способ вычисления совместных распределений вероятности:

p(x1, x2 , , xt ) = P{X1 = x1, X2 = x2 , , Xt = xt }.

Другими словами, p(x1, x2 , , xt ) представляет собой вероятность того, что случайные величины X1, X2 , , Xt примут конкретные значения x1, x2 , , xt соответственно. В частности, совокупностьвеличин{p(x1) | x1 X } является распределением вероятностей случайной величины X1. В свою очередь, совокупность величин{p(x1, x2 ) | x1, x2 X} задает совместное распределение вероятностей пары случайных величин X1 и X2 .

ОПРЕДЕЛЕНИЕ 1.3.2. Случайный процесс называется стационарным, если для любых целых неотрицательных t и τ

p(x1+t , x2+t , , xt+t ) = p(x1, x2 , , xt ) .

В данном равенстве подразумевается, что xi+τ = xi , i =1,2, ,t , то есть символы, стоящие в одних и тех же позициях в левой и правой частях формулы, совпадают. Таким образом, случайный процесс стационарен, если вероятность появления любой цепочки символов не изменяется при сдвигах по времени. Отметим, что числовые характеристики стационарных случайных процессов, такие как математическое ожидание, дисперсия и т. д., не зависят от параметра t (момента времени).

22

Простейшей моделью источника информации, порождающего последовательности символов из заданного конечного алфавита X, является математическая модель случайного процесса с законом распределения:

Очевидно, что для задания такого процесса достаточно знать всего лишь вероятности p(x) для всех символов x X . Случайные величины Xt и Xt′ в различные моменты времени t и t′ в таком случайном процессе независимы и одинаково распределены, в силу чего случайный процесс с распределением (1.3.1) является стационарным. Источники информации, порождающие такие случайные процессы, далее будем называть постоян-

ными источниками.

Менее тривиальной и более интересной моделью источников информации является так называемый марковский источник.

ОПРЕДЕЛЕНИЕ 1.3.3. Случайный процесс {Xt } называется цепью Маркова связности s, если для любого t > s и для любых x1, x2 , , xt X справедливы равенства:

p(x1, x2 , , xt ) = p(x1, x2 , , xs ) p(xs+1 | x1, x2 , , xs ) p(xs+2 | x2 , x3, , xs+1) ×

Данное определение может быть переписано в эквивалентной формулировке

p(xt | x1, x2 , , xt−1) = p(xt | xt−s , xt−s−1, , xt−1),

означающей, что условная вероятность появления в момент времени t символа xt зависит только от того, какими были предшествующие

23

s символов. Иными словами, источник информации, порождающий символы в соответствии с распределением (1.3.2), «помнит» свою историю только на s шагов времени назад.

Значение марковской цепи xt в момент времени t обычно называют состоянием цепи в момент t. Вся динамика данного случайного процесса определяется начальным распределением вероятностей символов источ-

xt−s , xt−s−1, , xt−1. Если эти вероятности не изменяются при сдвигах во времени, марковская цепь называется однородной.

ОПРЕДЕЛЕНИЕ 1.3.4. Марковская цепь называется простой, если она является однородной и имеет связность s =1.

Рассмотрим источник информации, символами которого являются положительные числа X ={1,2, , N}. Допустим, что с достаточно хорошей точностью работа данного источника моделируется простой марковской цепью. Тогда для полного описания источника достаточно задать начальное распределение вероятностей {p(x1) | x1 X} и условные вероятности вида

πij = P{xt = j | xt−1 =i},

где i, j =1,2, , N . Вероятности πij называются переходными вероятно-

стями простой марковской цепи.

Набор всех переходных вероятностей образует квадратную матрицу размера N ×N :

24

Матрица Π называется матрицей переходных вероятностей марков-

ской цепи. Данная матрица обладает следующим свойством: сумма элементов каждой строки равна единице.

Обозначим через pt вектор-строку, компоненты которой являются ве-

на источнике в момент времени t. Следствием формулы полной вероятности (см., например [2], с. 134) является соотношение

ния вектор-строки pt−1 на матрицу переходных вероятностей Π. Из формулы (1.3.3) вытекает соотношение

позволяющее вычислять вероятности символов источника в момент времени t с помощью возведения матрицы Π в степень t −1.

Из соотношения (1.3.3) нетрудно видеть, что распределение вероятностей символов источника в момент времени t зависит от величины t. Это означает, что простая марковская цепь в общем случае не является стационарным случайным процессом. Предположим, однако, что существует вектор-строка р такая, что

25

марковская цепь с начальным вектором распределения вероятностей p бу-

дет стационарной.

ОПРЕДЕЛЕНИЕ 1.3.5. Вектор р, удовлетворяющий уравнению (1.3.4),

называется стационарным распределением марковской цепи.

Введем еще одно важное определение.

ОПРЕДЕЛЕНИЕ 1.3.6. Финальным распределением вероятностей

если указанный предел существует.

Из данного определения вытекает, что распределение вероятностей pt символов марковского источника будет стремиться к распределению p∞ при достаточно больших значениях t. Вполне разумно предположить, что с ростом t зависимость pt от начального распределения p1 ослабевает, то есть p∞ не зависит от p1 . Таким образом, распределение p∞ (как и р) в определенном смысле является стационарным распределением. Возникает вполне естественный вопрос: как связаны между собой распределения p∞ и р?

Для достаточно большого класса простых марковских цепей предел (1.3.5) не зависит от начального распределения и совпадает со стационарным распределением р. Такие марковские цепи называются эргодическими. Следует отметить, что вопрос об эргодичности данной марковской цепи в общем случае является весьма сложным. Тем не менее, есть ряд простых признаков, по которым мы можем судить о том, так ли это. Например, простая марковская цепь будет эргодической, если все элементы матрицы Π являются положительными, то есть не равными нулю.

26

Примеры решения задач Задача 1.3.1. Простой марковский источник порождает символы из

алфавита X ={a,b,c,d}. Матрица переходных вероятностей соответствующей марковской цепи имеет вид

Найти распределение вероятностей символов источника в моменты времени t = 2 и t = 3, если в начальный момент времени t = 1 это распреде-

ление имело вид p1 =(0.4,0.2,0.3,0.1).

Решение. В соответствии с формулой (1.3.3) получаем:

Ответ. Искомые распределения равны p2 =(0.12,0.31,0.19,0.38)

и p3 ≈(0.13,0.44,0.16,0.27).

27

Задача 1.3.2. Для простого марковского источника с алфавитом X ={a,b,c} и матрицей переходных вероятностей

найти вероятность, с которой на выходе источника появится последовательность bcaa. Начальное распределение символов источника имеет вид p1 =(0.5,0.2,0.3).

Решение. Используя тот факт, что источник является простым марковским источником, получаем

p(b,c,a,a) = P{x1 =b}P{x2 = c | x1 =b}P{x3 = a | x2 = c}P{x4 = a | x3 = a} =

= p1(2)p23p31p11 = 0.2 0.1 0.1 0.1 = 0.0002 .

Ответ. Последовательность bcaa на выходе источника появится с вероятностью 0.0002.

Задача 1.3.3. Для простого марковского источника с матрицей переходных вероятностей

28

Перемножая матрицы в левой части данного равенства и переходя

Таким образом, задача свелась к решению системы линейных уравнений (1.3.6). Данная система, однако, имеет бесконечное множество решений, так как из трех уравнений только два являются независимыми. Чтобы однозначно зафиксировать решение, добавим к системе (1.3.6) дополнительное уравнение, являющееся условием нормировки для искомых вероятностей:

p1 + p2 + p3 =1.

Решая полученную систему, получаем

p1 =0.2, p2 =0.7, p3 =0.1.

Ответ. Стационарное распределение данного источника есть p =(0.2,0.7,0.1).

Задачи для самостоятельного решения

1. Простой марковский источник порождает символы из алфавита X ={0,1}. Матрица переходных вероятностей соответствующей марковской цепи имеет вид

Каково должно быть начальное распределение p1 символов этого источника, чтобы в момент времени t = 2 оба символа были равновероятны?

29

2. Простой марковский источник задается матрицей переходных вероятностей

При каких значениях параметров α и β распределение символов источника будет иметь вид pt =(2−t ,1−2−t )?

3. Указать стационарное распределение вероятностей символов простого марковского источника с матрицей переходных вероятностей

Выписать матрицу переходных вероятностей данного источника.

5. Найти стационарное распределение для простого марковского источника с матрицей переходных вероятностей

6*. Является ли источник из предыдущей задачи эргодическим?

30

7*. Проблему зависимости букв русского алфавита от предыдущих букв исследовал известный русский математик А. А. Марков. Он показал, что появления отдельных букв в реальных текстах нельзя считать независимыми друг от друга. А. А. Марковым также была отмечена еще одна закономерность реальных текстов, связанная с чередованием гласных и согласных букв. В частности, он оценил частоты встречаемости пар вида гласная–гласная (г, г), гласная–согласная (г, с), согласная–гласная (с, г), согласная–согласная (с, с) в тексте длиной 105 символов. Его результаты приведены в следующей таблице:

Пользуясь этими данными, а также данными из таблицы в прил. А, оценить вероятности появления в русских текстах:

а) 1, 2 и 3 гласных подряд; б) 1, 2 и 3 согласных подряд.

Контрольные вопросы

1.Что такое случайный процесс? Приведите классификацию случайных процессов.

2.Сформулируйте определение стационарного случайного процесса.

3.Опишите математическую модель постоянного источника.

4.Что такое марковская цепь? Какие марковские цепи называются простыми?

5.Сформулируете математическое правило, в соответствии с которым вычисляются вероятности состояний в простой марковской цепи? Какая информация является минимально необходимой для исчерпывающего описания простого марковского источника информации?

31

6.Что такое стационарное распределение простой марковской цепи? Запишите условие, которому оно удовлетворяет.

7.Сформулируйте определение финального распределения вероятностей простого марковского источника. Что такое эргодический марковский источник?

§ 1.4. ЭНТРОПИЯНА СИМВОЛ ДИСКРЕТНОГО ИСТОЧНИКА

Пусть у нас имеется стационарный дискретный источник информации, генерирующий последовательности символов x1, x2 , , xt , , xt Xt = X . Так как источник стационарный, распределение вероятностей символов из алфавита X не зависит от момента времени t. Таким образом, собственная энтропия источника также не зависит от времени: H( Xt ) = H( X ). Будем называть ее одномерной энтропией и обозначим как H1( X ) . Так как данная величина не учитывает зависимости появления символов друг от друга, она не определяет полностью статистические свойства информационного источника.

Рассмотрим конечные n-мерные последовательности символов источника x =(x1, x2 , , xn ). Множество всех таких последовательностей обо-

значим через X n . В силу стационарности источника энтропия распределения вероятностей на таких n-мерных блоках H( X n ) не зависит от их расположения во всей символьной последовательности источника. Ее называют n-мерной энтропией источника. Очевидно, что H( X 1) = H1( X ) .

По определению величина H( X n ) равна среднему количеству информации, содержащемуся в последовательности из n символов данного информационного источника.

32

Для оценки средней информации, приходящейся на один символ, используют нормированную величину

Hn ( X ) = H(nX n ) ,

называемую энтропией на символ последовательности длины n. Интуитивно ясно, что при больших n величина Hn ( X ) может быть использована как более-менее адекватная информационная характеристика источника.

Существует также альтернативный подход к оценке информации, порождаемой стационарным информационным источником. Этот подход состоит в том, что при передаче приемнику символа xn все предыдущие символы x1, x2 , , xn−1 ему уже известны. Таким образом, среднее число информации, передающейся приемнику вместе с символом xn , равно величине условной энтропии H( Xn | X1, , Xn−1) . Так как источник стационарный, индексы у символа алфавита X могут быть опущены, поэтому в итоге используется обозначение

H( Xn | X1 X2 Xn−1) = H( X | X n−1).

Приведем без доказательства некоторые свойства информационных мер Hn ( X ) и H( X | X n−1) для стационарных источников.

СВОЙСТВО 1.4.1. Величина H( X | X n−1) не возрастает с увеличением n.

СВОЙСТВО 1.4.2. Величина Hn ( X ) не возрастает с увеличением n. СВОЙСТВО 1.4.3. Для любого n имеет место следующее неравен-

ство: Hn ( X ) ≥ H( X | X n−1).

СВОЙСТВО 1.4.4. В пределе бесконечно большого значения n обе

меры Hn ( X ) и H( X | X n−1) совпадают: nlim Hn ( X ) = nlim H( X | X n−1) .

→∞ →∞

В частности, обсудим подробнее последнее свойство.

33

Введем следующие обозначения:

Свойство 1.4.4 утверждает, что H∞( X ) = H( X | X ∞ ) , то есть при бе с- конечно больших значениях n оба подхода к оценке информативности стационарного источника эквивалентны. Именно поэтому на практике при разработке конструктивных методов кодирования часто используют данную величину для определения минимального среднего числа бит для передачи/кодирования одного символа источника. С другой стороны, при конечных малых значениях n второй подход выглядит более оптимистичным, так как согласно свойству 1.4.3 соответствующая оценка информативности одного символа является большей.

Итак, мы обсудили два возможных подхода к анализу информативности символов стационарного источника:

1)введение расширенного алфавита X n , символами которого служат n-мерные блоки символов исходного алфавита X;

2)учет зависимости текущего n-го символа от n −1 предыдущих сим-

волов.

Исследуем теперь поведение последовательностей Hn ( X ) и H (X | X n−1) для двух моделей источников информации, описанных в предыдущем параграфе.

Пример 1.4.1 (энтропия на символ постоянного источника). Напом-

ним, что постоянным мы называем такой источник, для которого:

1)распределение символов не зависит от времени;

2)появление символов в различные моменты времени является независимым событием. Для такого источника, очевидно, имеем

H( X n ) = H( X ) + + H( X ) = nH( X ).

((( (((

n

34

Разделим обе стороны этого равенства на n. В результате получим, что для любого целого положительного n

Hn ( X ) = H( X ),

откуда получаем

H∞( X ) = H( X ).

Таким образом, энтропия на символ постоянного источника информации в точности равна его обычной энтропии.

С другой стороны, так как источник стационарный и появление символов в различные моменты времени – независимые события, получаем

H( X | X n−1) = H( Xn | X1 Xn−1) = H( X ),

следовательно

H( X | X ∞ ) = H( X ) .

Подытоживая этот пример, следует отметить, что для данной модели все информационные характеристики источника сводятся к его обычной одномерной энтропии H(X). ▲

Пример 1.4.2 (энтропия на символ простого стационарного марков-

ского источника). Для простого стационарного марковского источника имеем

H( X | X n−1) = H( Xn | X1, , Xn−1) = H( Xn | Xn−1) = H( X | X ). (1.4.1)

Так как правая часть равенства (1.4.1) не зависит от n, получаем

H( X | X ∞ ) = H( X | X ) .

35

В рамках второго подхода, с учетом цепочечного правила и свойства марковости можем записать

H( X n ) = H( X1 X2 Xn ) = H( X1) + H( X2 | X1) + H( X3 | X1 X2 ) +

+ H( Xn | X1X2 Xn−1) = H( X1) + H( X2 | X1) + H( X3 | X2 ) +

+ H( Xn | Xn−1) = H( X ) +(n −1)H( X | X ) ,

всилу того, что источник стационарный. Таким образом, мы получили

H( X n ) = H( X ) +(n −1)H( X | X ).

Разделив обе части полученного равенства на n, будем иметь

Переходя теперь к пределу при n →∞, окончательно получаем

H∞( X ) = H( X | X ).

Отсюда видна разница между H( X | X n−1) и Hn ( X ). При разбиении последовательности символов на n-мерные блоки энтропия на сообще-

36

Пример решения задачи

Задача. Простой марковский источник с алфавитом X ={a,b,c} задается с помощью матрицы переходных вероятностей

Считая, что источник работает в стационарном режиме, найти величины H2 ( X ) и H( X | X ) и сравнить их между собой.

Решение. Источник будет работать в стационарном режиме, если его начальное распределение имеет вид (способ его нахождения см. в примере решения задачи 1.3.3 из § 1.3):

p =(0.2,0.7,0.1).

Действительно, легко проверить, что в этом случае выполняется равенство p =pΠ.

Далее, используя свойство марковости, найдем распределение вероятностей на множестве X 2 ={aa,ab,ac,ba,bb,bc,ca,cb,cc}:

p(a,a) = p(a) p(a | a) =0.2 0.4 =0.08; p(a,b) = p(a) p(b | a) =0.2 0.3 =0.06; p(a,c) = p(a) p(c | a) =0.2 0.3 =0.06;

p(b,a) = p(b) p(a | b) =0.7 0.1 =0.07;

p(b,b) = p(b) p(b | b) =0.7 0.9 =0.63;

p(b,c) = p(b) p(c | b) =0.7 0.0 =0.00;

37

Задачи для самостоятельного решения

1. Простой марковский источник с алфавитом X ={0,1} задается матрицей переходных вероятностей

Пользуясь результатами, полученными в примере 1.4.2 из § 1.4, вычислить энтропию Hn ( X ) для n = 1, 2, 3, считая, что источник работает

в стационарном режиме. Сравнить полученные значения с энтропией

H( X | X ).

2. Для источника из предыдущей задачи выяснить, начиная с какого

имеет начальное распределение символов p1 =(1,0). Учитывая, что режим работы данного источника нестационарный, исследовать зависимость энтропий H1( X ) и H2 ( X ) от времени.

39