2. Дискретный Марковский процесс, цепь Маркова

Пусть в некоторой системе происходит с.п. с дискретными состояниямии дискретным временем, т.е. переход системы из одного состояния в другое происходит только в определённые моменты времени. Эти моменты называютшагами процесса (обычно разности смежных моментов наблюденияравны постоянному числу – длине шага, принимаемого в качестве единицы времени);начало процесса.

Этот с.п. можно рассматривать как последовательность (цепь) событий .

начальное состояние системы, т.е. перед 1-м шагом;состояние системы после 1-го шага,состояние системы после 2-го шага и т.д.), т.е. событий видагде.

Марковский случайный процесс с дискретными состояниями и дискретным временем называют марковской цепью(цепь Маркова).

Отметим, что марковский цепь, в которой условные вероятности состояний в будущем зависят только от состояния на последнем этапе (и не зависят от предыдущих), называютпростой цепью Маркова. (А.А. Марков 1856-1922- русский математик).

Примером такой системы может служить техническое устройство, возможные состояния которого следующие:

исправная работа;

профилактический осмотр и обслуживание;

ремонтная работа;

списание за негодностью;

Граф состояние работы изображен на рисунке

Рис. 1.11.(А.А. Белов, и др.)

Из анализа графа видно, что из состояния нормальной работы вершины система может переходить в состояние профилактического обслуживания, а затем опять возвращаться в. Или переходить изв состояние ремонта, после чего либо возвращается в, либо переходить в состояние списания. Состояниеявляется конечным, так как переход из него невозможен. Переход изопять возначает задержку в этом состоянии.

На практике часто встречаются системы, состояния которых образует цепь, в которой каждое состояние (кроме крайнихи) связано прямой и обратной связи с двумя соседними,а крайние состояния – с одним соседним (см. рис.)

Рис.1.12(Белов…)

Примером такой системы может служить техническое устройство, состоящее из однотипных узлов. Каждое состояние системы характеризуется числом неисправных узлов в момент проверки.

Основной задачей исследования является нахождение вероятностей состояния на любомм шаге. Будем вычислять вероятности состояний дискретной системы

Мы здесь будем рассматривать только простые цепи Маркова. Далее, кратко будем также рассматривать понятия о непрерывных Марковских процессах.

При дискретном времени изменения состояний системы каждый переход от одного состояния к другому называют шагом.

Из определения марковской цепи следует, что для нее вероятность перехода системы в состояние нам шаге зависит только от того, в каком состояниинаходилась система на предыдущемшаге.

.

где безусловная вероятность того , что нам шаге система именно будет находиться в состояние. Для нахождения этих вероятностей необходимо знать начальное распределение вероятностейт.е. вероятности состоянийв момент времени(начало процесса) и так называемыепереходные вероятности марковской цепи нам шаге.

Переходной вероятностью называют условную вероятность перехода системына

м шаге, в состоянием шаге она была в состоянии, т.е.

(43) ,

где первый индекс указывает на номер предшествующего, а второй индекс на номер последующего состояния системы.

Цепь Маркова называется однородной, если величина,т.е. условные вероятностине зависят от номера испытаний, в противном случае называется неоднородной.

Далее, мы будем рассматривать только однородные цепи, которые могут быть заданы с помощью вектора - вероятности состояний в момент времении матрицы (называемой матрицей перехода)

(44) .

Элементы матрицы обладают основными свойствами обычных квадратных матриц и дополнительно следующими свойствами:

а) , б)при каждом фиксированном, т.е. сумма элементов каждой строкиматрицы переходаравна единице (как вероятности событий перехода из одного состоянияв любое другое возможное состояние- образующих полную группу событий).

Вероятность состояния системы на следующем шаге определяется по рекуррентной формуле:

При некоторых условиях (эргодичность, однородность, отсутствие циклов) в цепи Маркова устанавливается стационарный режим, в котором вероятности состояний системы уже от номера шага не зависят. Такие вероятности называютпредельными(или финальными) вероятностями цепи Маркова:

.

Имеет место утверждение.

Теорема 17.1. Для матрицы перехода вероятностей за шагов справедлива формула

(45) ,

где.

Доказательство. По правилу умножения двух квадратных матрицго порядка имеем

где

при этом, по определению матрицы перехода известно, что при любом.

Просуммируем обе части равенства по всем, и заменяя порядок суммирования после дважды применения свойство а) получим, чтоматрица перехода за два шага. Аналогично, последовательно рассуждая шаг за шагом, получим наше утверждение в общем случае.

Пример 3. Задана матрица перехода

.

Найти матрицы переходных вероятностей .

На основании правила умножения двух матриц получим

.

Задание. Проверьте, что верно равенство

.

Следует отметить, что конечная дискретная цепь Маркова представляет с собой дальнейшее обобщение схемы Бернулли, к тому же на случай зависимых испытаний; независимые испытания являются частным случаем марковской цепи. Здесь под «событием»

понимается состояние системы, а под «испытанием» понимается изменение состояния системы.

Если «испытания» (опыты) являются независимыми, то появление определённого события в любом опыте не зависит от результатов ранее произведённых испытаний.

Задания.а) Заданы матрицы переходов

1. ;

2. ;

3. .

Найти в каждом случае матрицу .

Ответы: а) 1.;

2.;

3.

в) Заданы матрицы переходов

; .

Найти .

Ответы: в) 1.;2.;

3. .

Замечание. В общем случае дискретная марковская цепь представляет собой марковский случайный процесс, пространство состояний которого конечно или счётное, а множество индексов- множество всех неотрицательных целых чисел или его некоторое подмножество (конечное или счётное). Мы можем говорить обкак об исходего испытания.

Часто пространство состояний процесса удобно отожествить с множеством неотрицательных целых чисел и в этих случаях говорят, чтонаходится в состоянии, если.

Вероятность попасть случайной величины в состояние(называемая одношаговой переходной вероятностью), как уже было упомянуто выше, обозначается, т.е.

(46) .

В таком обозначении подчёркивается, что в общем случае переходные вероятности зависят не только от начального и конечного состояний, но и от момента осуществления перехода.

В случаях, когда одношаговые переходные вероятности не зависят от временной переменной (т.е. от значения , то говорят, что марковский процесс обладаетстационарными переходными вероятностями. Итак, для дальнейшего отметим, что имеет место равенство, который не зависит от, иобозначает вероятность перехода за одно испытание из состоянияв состояние.

Обычно вероятности объединяют в квадратную матрицу (конечную или счётную) в зависимости от рассматриваемого процесса:

,

и называют марковской матрицей, или матрицей переходных вероятностеймарковской цепи.

В матрице я строка представляет собой распределение вероятностей с.в.при условии, что. Если число состояний, конечно, то- конечная квадратная матрица, порядок которой (число строк) равен числу состояний.

Естественно, что вероятности удовлетворяют следующим двум условиям:

а) ,

б) при каждом фиксированном

Условие б) отражает тот факт, что каждое испытание вызывает некоторый переход из одного состояния в другое состояние. Для удобства обычно говорят также о переходеи в том случае, когда состояние остаётся неизменным. Имеет место утверждение.

Теорема 17.2. Процесс полностью определён, если заданы вероятности (46), т.е.

,

и распределение вероятностей случайной величины .

Доказательство. Покажем, что для любого конечногокак вычисляются вероятности

(47) ,

так как по формуле полной вероятности любые другие вероятности, относящиеся случайным величинам , могут быть получены суммированием слагаемых (членов) вида (47).

По определению условной вероятности имеем

(48)

.

Но по определению марковского процесса получим

(49)

Поставляя равенство (49) в (48) получим

(50) .

Продолжая этот процесс последовательно, получим:

(51) .

Процесс полностью определён. Что требовалась доказать.