Лекция 18 (уир). Цепи Маркова с дискретным временем

Цепи Маркова широко используются в экономических исследованиях – в частности, при изучении систем массового обслуживания. Примерами процессов массового обслуживания могут служить, в частности: обслуживание покупателей в сфере розничной торговли, транспортное обслуживание, ремонт аппаратуры, машин и механизмов, находящихся в эксплуатации, обработка документов в системе управления и т.п. Главной особенностью процессов массового обслуживания является случайность (момент возникновения заявки на обслуживание и окончание обслуживания заявки часто непредсказуемы).

В теоретическом плане цепи Маркова рассматриваются как частный вид случайных процессов. Функция называется случайной, если ее значение при любом аргументе t является случайной величиной. Если в качестве t выступает время, то случайная функция описывает случайный процесс.

Цепью Маркова называют последовательность испытаний, в каждом из которых появляется только одно из k несовместных событий полной группы, причем условная вероятность того, что в s-м испытании наступит событие , при условии, что в (s-1) –м испытании наступило событие , не зависит от результатов предшествующих испытаний.

Например, если последовательность испытаний образует цепь Маркова и полная группа состоит из четырех несовместных событий , причем известно, что в шестом испытании появилось событие , то условная вероятность того, что в седьмом испытании наступит событие , не зависит от того, какие события появились в первом, втором, …пятом испытаниях.

Пусть некоторая система в каждый момент времени находится в одном из k состояний. В отдельные моменты времени в результате испытания состояние системы изменяется, т.е. система переходит из одного состояния, например i, в другое, например j. После испытания система может остаться в том же состоянии (перейти из состояния в состояние ).

Для цепей Маркова часто используется следующая терминология: события называют состояниями системы, а испытания – изменениями ее состояний.

В связи с этим цепью Маркова можно назвать последовательность испытаний, в каждом из которых система принимает только одно из k состояний полной группы, причем условная вероятность того, что в s-м испытании система будет находиться в состоянии j, при условии, что после (s-1) –ого испытания она находилась в состоянии i, не зависит от результатов предшествующих испытаний.

Цепью Маркова с дискретным временем называют цепь, изменение состояний которой происходит в определенные фиксированные моменты времени.

Цепью Маркова с непрерывным временем называют цепь, изменение состояний которой происходит в любые случайные возможные моменты времени.

Однородные цепи Маркова

Однородной называют цепь Маркова, для которой условная вероятность перехода из состояния в состояние не зависит от номера испытания. Для однородных цепей вместо используют обозначение .

Примером однородной цепи Маркова могут служить случайные блуждания. Пусть на прямой Ox в точке с целочисленной координатой x = n находится материальная частица. В определенные моменты времени частица скачкообразно меняет свое положение (например, с вероятностью p может сместиться вправо и с вероятностью 1 – p – влево). Очевидно, координата частицы после скачка зависит от того, где находилась частица после непосредственно предшествующего скачка, и не зависит от того, как она двигалась в предшествующие моменты времени.

В дальнейшем ограничимся рассмотрением конечных однородных цепей Маркова.