3.4 Марковский процесс с дискретным временем перехода. Уравнения для вероятностей состояний.

Пусть система имеет конечное или счетное пространство состояний ивероятность того, что если система в момент временибыла в состоянии, то в момент времениона окажется в состоянии(переходная вероятность);принимает значения на множестве.

X(t) называют марковским процессом, если вероятность перехода зависит только от и. не зависит от того, как этот процесс проходил в прошлом. Будущее зависит от прошлого только через настоящее. Еслине зависит от, то процесс является стационарным.

Марковский процесс называется эргодическим, если по истечении достаточно большого промежутка времени вероятности состояний системы становятся независимыми от начального состояния системы.

Чтобы найти условие эргодичности, вводится понятие транзитивности

Процесс называется транзитивным, если для любой пары состояний

Это условие не означает, что иимеют непосредственную связь, но на графе можно найти путь изв. Это эквивалентно тому, что нет состояний без выхода и без входа. Например, электрическая лампочка, которая может находиться в состояниях включена, выключена, перегорела (см. рис.), не является транзитивной системой.

Требование транзитивности нужно, чтобы процесс при t® µ не «застрял» в одном состоянии или группе состояний. Теорема Маркова утверждает, что транзитивный стационарный марковский процесс с конечным числомсостояний являетсяэргодическим.Режим или решение, прикоторомназывается стационарным или установившимся.

Для марковского процесса вероятность находиться в данном состоянии в данный момент времени (в данном такте) можно получить из сведений о предшествующем состоянии. Действительно, пусть время изменяется по тактам или по шагам с постоянным интервалом и пусть:

–шаг приращения времени;

–вероятность того, что в момент система находилась в состоянии, =1,2,…,;

–вероятность перехода из состояния в состояниев момент времени.

Тогда, в соответствии с формулой полной вероятности, будем иметь

(1)

(здесь выступают как вероятностиn взаимоисключающих гипотез или предположений о состоянии на текущий момент времени , а- условные вероятности получить состояниепри этих гипотезах в следующий момент).

Заметим, что сумма вероятностей j=1,2..n как сумма вероятностей несовместных событий, составляющих полную группу (теорема сложения вероятностей), равна 1, т.е.

. (2)

Перепишем (1) с учетом (2) в виде:

или: (3)

. (4)

Это по существу система разностных уравнений, которая может быть записана в виде:

(5)

или, если система стационарна, в виде:

, (6)

где – номер такта в заданном интервале (в частности,).

Изменение вероятностей ищется решением системы разностных уравнений (4), (5), (6) при заданных начальных условияхпри выполнении нормирующего условия:

для любых в заданном интервале. (7)

Обозначив , (8)

уравнение (6) можно записать в виде:

. (9)

Таким образом, если задана матрица переходных вероятностей и начальное состояние процесса, решение разностной системы (6) позволяет найти численное решение поставленной задачи – задачи построения процесса изменения вероятностей нахождения системы в тех или иных состояниях в зависимости от номера такта.

И в этом смысле система (6) представляет собой аналитическую модель для определения основных характеристик процесса перехода системы из одного дискретного состояния в другое по времени (или по тактам) при заданной матрице переходной вероятности и начальному состоянию.

Если вероятности не зависят от номера шага, марковский процесс является стационарным (или однородным). В этом случае приkсистема (6) может иметь установившееся решение, которое определяется из условия, или из условия. Установившиеся значения искомых вероятностей могут быть найдены из решения системы алгебраических уравнений, полученных из (9) приравниванием левой части к нулю.

Рассмотрим пример простой марковской цепи, заданной таблицей 9 вероятностей переходов и таблицей 10 выходов. Верхняя строка и левый столбец таблицы 9 соответствуют начальному состоянию. Граф переходов представлен на Рис.3.

0	0.5	0	0	0.5
0	0	0	1	0
0	0	0.75	0	0.25
0	0	0.4	0	0.6
0	1.0	0	0	0

таблица 9

Рис.3. Граф переходов состояний .

таблица 10

X
Y	0	0	1	1	0

В соответствии с (9) можно подсчитать финальные вероятности нахождения системы в одном из 4-х состояний (т.е. вероятности нахождения в определенном состоянии по прошествии длительного времени или так называемые финальные вероятности). Пусть эти вероятности . Соответственно графу переходов получим:

аналогично: и условие нормировки:;

В результате получим .

Естественно, аппарат марковских цепей находит широкое применение при исследовании характеристик реальных систем, моделируемых в классе P-схем.

Схемы вероятностных автоматов (P-схемы) широко используются для разработки методов проектирования систем с дискретными состояниями, проявляющих статистически закономерное случайное поведение. Их также можно использовать в качестве генераторов марковских последовательностей случайных событий, которые необходимы для построения моделей процессов функционирования реальных систем и воздействий внешней среды.