Марковские случайные процессы в моделировании систем. Учебно-методическое пособие

Федеральное агентство железнодорожного транспорта Уральский государственный университет путей сообщения Кафедра «Естественнонаучные дисциплины»

В. В. Башуров О. А. Башурова А. П. Садов

Марковские случайные процессы

в моделировании систем

Учебно-методическое пособие для магистрантов направлений подготовки

10.04.01 — «Информационная безопасность», 23.04.03 — «Эксплуатация транспортно-технологических машин и комплексов»

Екатеринбург

УрГУПС

2017

ОГЛАВЛЕНИЕ

12.Статистический анализ параметров потока и систем массового обслуживания

3

ВВЕДЕНИЕ

«В очередь, сукины дети,… в очередь!»

Из кинофильма «Собачье сердце»

Теория массового обслуживания (в публикациях на английском языке queue theory — теория очередей) — это математическая наука, исследующая процессы накопления и рассасывания очередей в стационарных режимах работы систем и сетей. Первым важным предметом исследования теории массового обслуживания (ТМО) являлись телефонные станции со случайным потоком вызовов и случайным временем занятия линий связи. Возникла задача расчета необходимого объема телефонного коммутатора, при котором вероятность занятости коммутатора не превосходит допустимого значения. Похожие задачи возникают при расчете нагрузок в энергетических сетях, исследовании заторов транспортных потоков и т. п. Со времени появления первых работ Эрланга по ТМО в XIX веке круг ее применений неизменно расширялся, охватив множество прикладных областей. Это системы, работающие с людьми (кассы, магазины, банкоматы и т. д.); вокзалы и сортировочные горки, обрабатывающие железнодорожные составы; вычислительные системы и инфокоммуникационные сети, обрабатывающие и передающие «пакетную» информацию; логистические центры, распределяющие транспортные потоки, и многое другое. Разнообразие прикладных задач сформировало четкий круг математических моделей, описывающих их и имеющих точные или численные решения. Данный круг моделей и формирует ТМО.

Изучение ТМО невозможно без теории вероятностей и теории случайных процессов. И если первая дисциплина доступна каждому студенту (сейчас ее изучают даже в школе), то теория случайных процессов в общем виде — достаточно специфическая дисци-

4

ВВЕ Д ЕНИЕ

плина. В XIX веке русский ученый А. А. Марков ввел специальные ограничения на случайные процессы, которые в большинстве задач ТМО имеют реальное обоснование, и позволил свести модели массового обслуживания к четкому и простому решению.

В пособии представлены теоретические сведения по теории марковских случайных процессов и теории массового обслуживания; типовой расчет, включающий в себя задания по всем разделам, необходимые для студентов технических и экономических направлений.

5

1. СЛУЧАЙНЫЕ ПРОЦЕССЫ

Случайным процессом называется изменение во времени состояния какой-либо системы в соответствии с вероятностными характеристиками. Обозначается как X(t), где параметр t играет роль времени, а случайная величина X имеет некоторое распределение (дискретное или непрерывное). Случайный процесс характеризуется математическим ожиданием, дисперсией. Важной характеристикой является корреляционная функция. Для детального изучения теории случайных процессов необходимо обратиться к специальной литературе.

Случайный процесс, протекающий в любой физической системе S, представляет собой случайные переходы системы из одного состояния в другое. В зависимости от множества состояний и множества значений аргумента времени t все случайные процессы делят на классы:

1.Случайный процесс с дискретными состояниями и дискретным временем. В этом случае аргумент t принимает дискретные значения. Множество значений случайной величины X — конечное (или счетное) дискретное множество.

2.Случайный процесс с дискретными состояниями и непрерывным временем. В этом случае аргумент t непрерывно распределен на некотором временном интервале. Множество значений случайной величины X остается дискретным.

3.Случайный процесс с непрерывными состояниями и дискретным временем. В этом случае время t дискретно, случайная величина X имеет непрерывное распределение.

4.Случайный процесс с непрерывными состояниями и непрерывным временем.

6

1. С ЛУ ЧАЙНЫЕ ПРОЦЕССЫ

Несмотря на то, что могут рассматриваться более сложные классы случайных процессов, упомянутые четыре являются основными.

Пример 1. Число машин такси на выезде в контрольные моменты времени — случайный процесс с дискретными состояниями

идискретным временем. Число работающих процессоров в любой момент времени — случайный процесс с дискретными состояниями и непрерывным временем. Средняя успеваемость студента после каждой сессии — случайный процесс с непрерывными состояниями и дискретным временем. Давление воздуха в шине колеса автомобиля — случайный процесс с непрерывными состояниями

инепрерывным временем.

Среди случайных процессов особое место занимают марковские случайные процессы. Случайный процесс называется марковским, если для любого момента времени t0 условная вероятность каждого из состояний системы S при t > t0 зависит только от состояния при t = t0 и не зависит от состояний при t < t0. Условие Маркова можно интерпретировать следующим образом: в любой момент времени прогноз о будущем поведении системы зависит от настоящего состояния и не зависит от состояний, в которых находилась эта система в прошлом. Это условие Маркова позволяет найти простое математическое решение для ряда задач со случайными процессами.

7

2.МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ

СДИСКРЕТНЫМ ВРЕМЕНЕМ

И КОНЕЧНЫМ ЧИСЛОМ СОСТОЯНИЙ

Пусть физическая система S находится в одном из состояний S1, S2,…, Sn и может переходить из одного состояния в другое случайным образом только в фиксированные изолированные моменты времени t1, t2,…. И если на процесс наложено условие Маркова, то такой случайный процесс называется марковским случайным процессом с дискретным временем и конечным числом состояний (дискретными состояниями). Моменты времени еще называют шагами процесса, а сам марковский случайный процесс — марковской цепью.

Без ограничения общности рассмотрим случай трех состоя-

ний S1, S2, S3.

Обозначим через pij, i, j = 1, 2, 3 вероятности переходов системы из состояния Si в состояние Sj за один шаг. Такие вероятности образуют матрицу P вероятностей переходов за один шаг

Если вероятности pij не зависят от номера шага, на котором осуществляется переход Si ® Sj, то такие цепи называются однородными марковскими цепями. В дальнейшем будем рассматривать только однородные марковские цепи.

8

2. МАРКОВСКИЕ С ЛУ ЧАЙНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ВРЕМЕНЕМ…

Элементы матрицы обладают следующими свойствами:

0 Ј pij Ј 1, i, j = 1, 2, 3;

3

е pij =1, i = 1, 2, 3.

j =1

Однородную марковскую цепь удобно изображать в виде размеченного графа состояний (рис. 1).

p31

p32 p23

p13

S3

p33

Рис. 1

Обозначим через матрицу-строку Q(k) = (p1(k), p2(k), p3(k)) распределение вероятностей в системе после k шагов, где pi(k) — вероятность нахождения системы в состоянии Si, i = 1, 2, 3. Для элементов

3

матрицы Q(k) при любом k і 0 выполняется равенство е pi (k ) =1.

i =1

При k = 0 имеем начальное распределение вероятностей Q(0) =

= (p1(0), p2(0), p3(0)).

Для нахождения вероятностей состояний после k-го шага справедливо следующее соотношение:

Q(k ) =Q(k -1)P =Q(0)P k .

Определение 1. Состояние Si называется существенным, если, выйдя из этого состояния, система может в него вернуться за один или несколько шагов.

Состояние Si называется несущественным, если, выйдя из Si, система не может вернуться в него.

9

2. МАРКОВСКИЕ С ЛУ ЧАЙНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ВРЕМЕНЕМ…

Так, марковская цепь, граф которой приведен на рис. 2, имеет одно несущественное состояние S1.

1

2

Рис. 2

Определение 2. Марковская цепь называется регулярной, если из любого существенного состояния можно попасть в любое другое существенное состояние за конечное число шагов.

Определение 3. Распределение вероятностей состояний марковской цепи называется стационарным, если оно не изменяется во времени.

Стационарное распределение Q удовлетворяет матричному уравнению

Q = Q · P,

или в координатной форме

p1 = p1 p11 + p2 p21 + p3 p31;

p2 = p1 p12 + p2 p22 + p3 p32;

p3 = p1 p13 + p2 p23 + p3 p33 .

Для получения единственного решения к системе уравнений необходимо добавить условие нормировки

p1 + p2 + p3 = 1.

10