4. Моделирование Марковских процессов.

4.1 Марковская цепь с дискретным временем.

Рассмотрим, для простоты, Марковскую цепь с тремя состояниями (k=3). (Подробное изложение теории Марковских цепей см. [4,5]). Переходы между состояниями происходят мгновенно в фиксированные моменты времени. Вероятности переходов из любого состояния Si в любое другое Sj считаются заданными и равны pij. Моделирование системы требует симуляции стохастических воздействий на систему (случайных чисел и случайных событий ). Получение СЧ описано в главе 3, а случайные события, образующие полную группу, с заданными вероятностями можно моделировать следующим образом. Пусть событие А имеет вероятность р(А), а противоположное событие − (1-р(А)) . Разыграем одну реализацию случайной величины имеющей равномерное распределение на интервале (0,1). Если , то полагают, что произошло событие А, если , то произошло противоположное событие. Приведем пример с большим числом событий. Пусть события А,В,С образуют полную группу и попарно несовместны, и р(А)=0.3, В – р(В)=0.5 и С– р(С)=0.2. Тогда, если полученное случайное число х меньше 0.3, то полагают, что произошло событие А , если х меньше 0.8, но больше 0.3 – событие В и при х больше 0.8 – событие С. При многократном повторении элементарных опытов по определения вероятности событий по приведенной схеме частота появления каждого события будет стремиться к его вероятности.

Поставим конкретную задачу. Для Марковской цепи с тремя состояниями задана матрица вероятностей переходов за один шаг Р.

1. Составить размеченный граф состояний этой Марковской цепи, определить, является ли цепь регулярной.

2. Найти стационарное распределение вероятностей состояний.

3. Выполнить моделирование системы и сравнить полученные результаты с результатами, полученными ранее в пункте 2.

Решение. 1. Составим граф состояний.

1/3 0

S1

S3

1/3

1/2

1/3 0

1/2 1/2

S2

1/2

По графу видно, что все состояния системы существенны, поэтому цепь регулярна и обладает финальными вероятностями состояний.

2. По формулам, [5] найдем стационарное распределение вероятностей. Запишем систему алгебраических уравнений соответствующую данному матричному

 .

Система имеет бесчисленное множество решений, причем одно из уравнений является следствием двух других. Чтобы найти единственное решение, отбросим лишнее уравнение и добавим условие нормировки .

Решим систему уравнений:

 ,

(0,231; 0,461; 0,308).

3. Моделирование процесса, протекающего в данной системе.

Примем, что в начальный момент времени система находится в состоянии S0 и Q(0) = (1, 0, 0). Пусть число шагов моделирования или продолжительность прогона равна ns. Введем матрицу В − индикатор состояния, (например, столбец показывает, что система после последнего шага находится в состоянии S0) и вектор so для суммирования числа попаданий в каждое из состояний. Так как в начальный момент времени система находилась в состоянии , то , а и .

Основные обозначения, используемые в приведенной ниже программе.

jm− счетчик числа шагов, x − случайные числа, равномерно распределенные на интервале (0,1). Значение индекса k определяет номер состояния, из которого выходит система, а номер состояния, в которое осуществляется переход, получим из соотношений переходных вероятностей. Вектор sо, элементы которого есть числа попаданий системы в данное состояние. Элементы этого вектора будут возрастать на 1, как только система попадает в это состояние. Формальными параметрами программы являются число шагов N и вектор s.

Краткое описание работы программы.

Счетчику jm присваивается начальное значение 0, выбирается столбец соответствующий начальному состоянию и строится цикл while до достижения значения N счетчика jm. Внутри цикла определяется значение индекса k или номера состояния, из которого будет проходить переход, затем, в соответствии со значениями переходных вероятностей, находится состояние i , в которое перейдет система. В рассматриваемом примере, вероятности переходов из состояния в равны . Тогда, если следующее случайное число х меньше или равно 1/3, то произойдет событие , если , то и при , и число возрастет на единицу. Индикатор состояний приводится в положение соответствующее совершенному переходу. К счетчику шагов прибавляется единица. Далее расчет продолжается аналогично. Результатом моделирования будут компоненты вектора s − числа попаданий в каждое из состояний.

Сравнивая результаты моделирования при различных прогонах с различными числами шагов и точные значения стационарных вероятностей состояний, делаем вывод о хорошей сходимости результатов моделирования к точным значениям при N > 10000 шагов.

Индивидуальные задания по данному разделу.

Вариант задания следует взять в работе [5] по номеру студента в журнале.

Построить граф состояний Марковской цепи. Показать, что цепь регулярна и имеет финальные вероятности. Решить систему уравнений для вероятностей состояний в стационарном случае. Составить моделирующую программу и провести расчет для своего варианта. Сравнить результаты расчетов по теоретическим формулам и по методу ИМ. В качестве основы для программирования можно использовать разработку программы приведенную ниже.