Лекции по ТПС

n

Pi pij , i j . Аналогично сумма всех потоков вероятностей, выводящих си-

i1

ность войти в любое состояние равна вероятности выйти из этого состояния. Поэтому уравнения для стационарного режима можно написать, исходя из следующего правила.

Для стационарного режима суммарный поток вероятностей, переводящий систему S в состояние s j из других состояний, равен суммарному потоку вероят-

Указанное условие называется балансовым равенством для состояния s j .

Систему линейных алгебраических уравнений удобно составлять непосредственно по размеченному графу состояний, рассматривая для каждого состояния входящие и исходящие потоки.

вектором 0,7 0,2 0,1 . Найти: а) распределение состояний через два шага в момент t 2 ; б) стационарное распределение вероятностей.

Таким образом, распределение вероятностей через два шага определяется

НЕПРЕРЫВНЫЕ ЦЕПИ МАРКОВА

Непрерывные марковские цепи описывают функционирование систем, принимающих в процессе работы конечное число состояний и осуществляющих переходы из одного состояния в другое случайным образом в произвольный момент времени t . Время пребывания системы в любом состоянии представляет непрерывную случайную величину.

Случайный процесс с непрерывным временем называется непрерывной марковской цепью, если поведение системы после произвольного момента времени t0 зависит только от состояния процесса в момент времени t0 и не зависит от предыстории процесса, предшествующей моменту времени t0 .

Будем считать, что переходы системы S из состояния si в состояние s j происходят под воздействием пуассоновского потока событий с интенсивностью ij( t ). При появлении первого события в потоке происходит переход системы из состояния в состояние.

Определим для непрерывной марковской цепи вероятности всех состояний системы для любого момента времени pi ( t ) , i 1, 2,..., n . Так как для любого момента времени t все состояния системы образуют полную

n

группу событий, то pi (t) 1 . i 1

Рассмотрим параметры, определяющие непрерывную марковскую цепь.

103

Пусть система в момент времени t находится в состоянии si . Рассмотрим элементарный промежуток времени t , примыкающий к моменту времени t . За интервал времени t система может перейти из состояния si в состояние s j с переходной вероятностью pij( t,t t ) , зависящей в общем случае

как от t , так и от t . Рассмотрим предел отношения этой переходной вероятности к ширине интервала t при условии, что t 0. Этот предел, как указано в

вается интенсивностью перехода, или плотностью вероятности перехода, и в общем случае зависит от t .

Из формулы следует, что при малом t вероятность перехода pij( t,t t ) с

Если плотности вероятностей переходов представляют собой функции времени ij( t ), марковский процесс называется неоднородным.

Если все плотности вероятностей переходов не зависят от t (т. е. от начала отсчета элементарного участка t ), то марковский процесс называется однородным. В этом случае ij( t ) ij const .

Для непрерывных марковских цепей интенсивности переходов проставляются у соответствующих дуг графа. Такой граф называется размеченным.

Кроме интенсивностей переходов, для описания непрерывных марковских цепей должен быть задан вектор вероятностей состояний системы в исходный (нулевой) момент времени P1( 0 ), P2( 0 ), Pn ( 0 ) .

Зная множество состояний системы, значения интенсивностей переходовij( t ), а также вектор начальных вероятностей системы, определим вероятности

состояний Pi ( t ) системы, где Pi ( t ) – вероятность того, что в момент времени t система будет находиться в состоянии si .

Придадим t приращение t и найдем вероятность Pi ( t t ) того, что в момент времени t t система также будет находиться в состоянии si . Это возможно в том случае, если система находилась в состоянии si и за время t не

104

Для эргодических однородных марковских цепей существует стационарный режим (при t ). Предельные вероятности стационарного режима постоянны, они не зависят от начального состояния системы.

Поскольку в установившемся режиме вероятности состояний – постоянные величины, производные от них равны нулю. Поэтому система дифференциальных уравнений Колмогорова с постоянными коэффициентами вырождается в систему линейных алгебраических уравнений.

Как и для дискретных марковских цепей, предельные вероятности характеризуют среднюю долю времени, в течение которого система находится в данном состоянии при наблюдении за системой в течение достаточно продолжительного времени.

Пример. Система S может находиться в трех состояниях: s1,s2 ,s3 . Интенсивности переходов из состояния в состояние следующие: 12 6 , 13 1, 32 2 . Составьте размеченный граф состояний, запишите уравнения Колмогорова для вероятностей состояний системы.

Решение. Начертим размеченный граф состояний (рис. 13.2).

Рис.13.2

Составим систему дифференциальных уравнений Колмогорова:

Заметим, что первое состояние данной цепи Маркова является источником, а второе – поглощающим состоянием. Следовательно, данная цепь Маркова не явля-

106

ется эргодической, в ней невозможен стационарный режим. С течением времени система перейдет во второе состояние.

КОНТРОЛЬНЫЕ ВОПРОСЫ:

1.Какой случайный процесс называется марковским?

2.Какой случайный процесс называется дискретной цепью Маркова, назвать типы дискретных цепей?

3.Какое количество переходов имеет граф эргодической дискретной цепи с тремя состояниями?

4.Что понимается под стационарным режимом эргодической дискретной

цепи?

5. Какой случайный процесс называется непрерывной цепью Маркова, правила формирования дифференциальных уравнений Колмогорова для непрерывной цепи с n состояниями?

РАЗДЕЛ 2. ЭЛЕМЕНТЫ ТЕОРИИ ИНФОРМАЦИИ И КОДИРОВАНИЯ

ЛЕКЦИЯ 14. ДИСКРЕТНЫЕ ИСТОЧНИКИ СООБЩЕНИЙ. КОЛИЧЕСТВО ИНФОРМАЦИИ

Чтобы иметь возможность сравнивать между собой различные источники сообщений, каналы и другие элементы системы связи. необходимо ввести количественную меру, которая позволяла бы оценивать, содержащуюся в сообщениях, сигналах информацию.

Строгие методы такой оценки предложены в 1948 г. К. Шеноном, что послужило началом построения теории информации.

Дискретный источник выдает сообщение а, принадлежащее некоторому конечному ансамблю А. Определим количество информации, содержащееся в этом сообщении, используя три исходных очевидных требования:

1)количество информации должно быть аддитивной величиной, т. е. в двух независимых сообщениях количество информации определяется как сумма количеств информации в каждом из них (телеграмма с номером поезда и расписание поездов, необходимые для встречи);

2)количество информации в сообщении о достоверном событии равно 0 (сообщение «солнце встает на востоке»);

107

3) количество информации не должно зависеть от качественного содержания сообщения (степени важности, возможных последствий его передачи, эмоциональной окраски и т. п.).

В общем случае сообщение а из ансамбля А характеризуется вероятностью р(а), что источник формирует т это сообщение, т. е. количество информации i(а), в сообщении а должно быть функцией от вероятности р(а).

Воспользуемся далее требованием аддитивности. Пусть а1 и а2 — два независимых сообщения. Вероятность р(а1, а2) того, что источник выдаст их одно за другим

p(a1 , a2 ) p(a1 ) p(a2 ),

где р(а1), р(а2) — вероятности формирования сообщения а1 и а2 соответственно.

Общее количество информации i (а1, а2) в сообщениях, согласно условию аддитивности определяется как сумма количеств информации в каждом из них:

i(a1, a2 ) i(a1 ) i(a2 ) .

Таким образом, надо найти функцию от вероятности такую, чтобы при перемножении двух аргументов значения функции складывались. Этому условию удовлетворяет только логарифмическая функция

i(a) k log[ p(a)] ,

где k— произвольный коэффициент.

Удовлетворяется и требование 2): при достоверном событии р(а) = 1 и по последней формуле:

i(a) k log l k 0 0 .

Поскольку р(а) < 1 log [p(a)] < О и, чтобы измерять количество информации неотрицательными числами, выбирают k = — 1:

Логарифм может быть взят по любому основанию. Основание чаще всего выбирают равным двум. Получаемая при этом единица информации носит название

двоичная единица, или бит (от английского: «binary digit»). Она равна количеству

108

информации в сообщении о событии, происходящим с вероятностью р(а) = 0,5 (о событии, которое равновероятно может происходить или нет): i(а)= log22=1, бит.

Такая единица удобна, поскольку в вычислительной технике, технике связи широко используются двоичные коды, двоичные дискретные устройства.

В дальнейшем, записывая обозначение log, будем подразумевать, что речь идет о двоичном логарифме:

Количество информации в сообщении тем больше, чем оно менее вероятно (более неожиданно).

Если дискретный источник передает последовательность зависимых между собой сообщений, то получение предшествующих сообщений может изменить вероятность последующего сообщения, а следовательно, и количество информации, содержащейся в нем:

ЭНТРОПИЯ

Количество информации является случайной величиной, поскольку сами сообщения случайны. Для него существует распределение вероятностей, которое зависит от распределения вероятностей сообщения в ансамбле. Для характеристики всего ансамбля (источника сообщения) используют математическое ожидание количества информации – энтропию:

Чем больше энтропия источника, тем больше степень неопределенности передаваемых им сообщений (неопределенность ожидаемого сообщения) в среднем. Энтропию называют мерой неопределенности сообщений. При этом под неопределенностью понимают неопределенность, существующую до того, как сообщение принято. После приема (если, конечно, он заведомо верен и производится безошибочно) неопределенность устраняется.

Энтропия — основная информационная характеристика источника. Чем больше энтропия, тем труднее запомнить сообщение и передать его по каналу связи. Как правило, чем больше энтропия, тем больше энергетические затраты на передачу сообщения.

109

Основные свойства энтропии:

-неотрицательна и равна 0 для "вырожденного" ансамбля, когда одно сообщение передается с вероятностью р(а) = 1, а другие с нулевой вероятностью;

-аддитивна (например, если рассматривать последовательность n сообщений как одно укрупненное, то энтропия источника укрупненных сообщений будет в n раз больше энтропии исходного источника);

-если ансамбль содержит k различных сообщений (k — объем алфавита), то Н(А)≤logk; (равенство, когда все сообщения равновероятны и независимы).

В частном случае двоичного (k = 2) источника без памяти (сообщения передаются независимо) энтропия максимальна при р(а1)=р(а2)=0,5 и

Н(А)=logk=log2=1.

Для источника без памяти с объемом алфавита k

Это выражение, полученное К. Шенноном, принято в качестве меры количества информации. Энтропия характеризует количество информации, которое в среднем переносит каждая буква сообщения.

Пусть, например, к=32 (модель источника текста). Тогда при равной вероятности выбора букв

Можно получить этот результат иначе:

H ( A) log k log2 32 5 бит.

Если буквы передаются не равновероятно и зависимо, то энтропия уменьшается. Например, для текстов художественной прозы энтропия составляет 1,5 бит/буква, для ансамбля поэтических произведений — примерно 1 бит/буква (рифма и ритм вносят дополнительные вероятностные связи), для ансамблей текстов телеграмм — менее 0,8 бит/буква (однообразие текстов).

Избыточность источника с объемом алфавита k

110