Курс_лекций_по_теории_случайных_процессов

(iii) транзитивно: i / j, j / k влечет i / k.

Доказательство. Докажем утверждение (i), предлагая остальные в качестве упражнения 4. Пусть i / j. Так как состояние i и j сообщаются, то существует n такое, что p(jin) > 0. Поэто-

му для некоторого r

p(iikd+rd+n) p(ijkd)p(jjrd)p(jin) > 0:

Далее, так как состояние i периодично с периодом d, то сумма kd+rd+n обязана нацело делиться на d, откуда следует, что этим же свойством обладает число n.

В результате завершения доказательства леммы станет ясно, что отношение / является отношением эквивалентности и, следовательно, разбивает класс периодических состояний на непересекающиеся подклассы Cj, число которых равно периоду класса (упражнение 5).

Таким образом, получается окончательная структура периодического класса

Теорема солидарности позволяет распространить классификацию состояний до классификации цепей, которая будет дана в следующем разделе после дополнительной обработки матрицы вероятностей переходов, что сделает приводимую классификацию более наглядной.

8.2.Канонический вид матрицы вероятностей переходов

Перенумеруем состояния рассматриваемой марковской цепи таким образом, чтобы сначала были занумерованы все несущественные состояния, а затем в произвольном порядке состояния каждого из эргодических классов. Тогда матрица переходных вероятностей рассматриваемой марковской цепи принимает блочно треугольный вид

Здесь Q подматрица вероятностей переходов на множестве несущественных состояний, Riподматрицы вероятностей переходов из множества несущественных состояний в существенные, Pi подматрицы вероятностей переходов внутри каждого из эргодических классов.

Определение 8.4. МВП вида (8.1) называется каноническим видом матрицы вероятностей переходов. Отвечающая ей марковская цепь называется канонической.

Так как каноническая цепь отличается от исходной лишь нумерацией состояний, то, очевидно, что все качественные свойства и количественные характеристики поведения исходной и канонической цепей взаимно однозначно выражаются друг через друга.

Заметим прежде всего, что степени переходной матрицы в каноническом виде имеют такую же структуру, как и исходная каноническая матрица.

Теорема 8.2. Матрица вероятностей переходов канонической марковской цепи за n шагов имеет вид

Доказательство выполнить самостоятельно методом математической индукции в виде упражнения 6. Аналогично тому, как была получена каноническая форма матрицы вероятностей переходов, перенумеровывая состояния периодического класса по подклассам для матрицы P вероятностей

переходов внутри периодического класса сообщающихся состояний, получим:

Рекомендуем читателю в качестве упражнения 7 найти степени этой матрицы.

Теорема 8.2 позволяет сделать следующий вывод относительно поведения марковских цепей: цепь никогда не покидает (эргодического) класса существенных сообщающихся состояний, а из множества несущественных может перейти как в несущественные, так и в любое из существенных состояний. Это важное замечание позволяет отдельно изучать поведение марковской цепи на множестве несущественных состояний и в каждом отдельном классе существенных сообщающихся состояний, а теорема солидарности позволяет перейти к классификации неразложимых цепей. С этой целью введем следующее определение.

Определение 8.5. Цепь Маркова называется неразложимой, или эргодической, если ее множество состояний образует один класс существенных сообщающихся состояний, в противном случае цепь называется разложимой. Цепь, состоящая из несущественных и одного или нескольких поглощающих состояний называется поглощающей. Неразложимая цепь называется периодической периода d, если он больше единицы, и апериодической или регулярной в противном случае.

Отношение следования “)” индуцирует соответствующее отношение между классами, и это позволяет ввести частичный порядок на множестве классов сообщающихся состояний.

Важным свойством любого конечного частично упорядоченного множества является наличие в нем хотя бы одного минимального и хотя бы одного максимального элементов [6], что обеспечивает обязательное наличие для конечных необрывающихся цепей хотя бы одного существенного состояния (заметим, что для цепи Маркова с бесконечным пространством состояний это свойство может нарушаться, что определяет одну из особенностей поведения таких цепей). Отдельный предмет исследования представляют обрывающиеся цепи.

Определение 8.6. Конечная марковская цепь состоящая из одного класса несущественных состояний называется обрывающейся. МВП такой цепи является полустохастической.

Результаты предыдущих рассуждений позволяют отдельно исследовать поведение поглощающих и эргодических и их частного случая регулярных цепей.

Общая картина поведения марковской цепи изображена на рис. 8.2

Наряду с переходными вероятностями (за один шаг) и вероятностями переходов за n шагов при исследовании марковских цепей важную роль играют так называемые вероятности переходов с запрещением, которые используются при решении многих задач теории марковских цепей. В следующем разделе вводятся и изучаются соответствующие характеристики.

8.3.Вероятности первого достижения и связанные с ними характеристики

Обозначим через

вероятность, выходя из состояния i, впервые попасть в состояние j на n-м шаге. Естественно принять, что lij(0) = ij. Вероятности lij(n); n 0, служат условным относительно начального состояния

Рис. 8.2. Общая картина поведения марковской цепи.

i распределением вероятностей случайной величины Tj - времени первого достижения состояния j. Пока, правда, не ясно, является ли эта с.в. (и ее распределение) собственными, т.е. равна ли единице сумма

n 0

которая представляет собой вероятность достижения состояния j из состояния i когда-нибудь. Величины lii(n); n 1, представляют собой распределение по n вероятностей времени первого возвращения в состояние i, а lii вероятность возвращения в состояние i. Обозначим далее через

среднее число посещений состояния j цепью, выходящей из состояния i. Так как величины, участвующие в суммировании в этих формулах, неотрицательны, то, как известно из анализа [9], эти ряды обладают всеми свойствами абсолютно сходящихся рядов, если их расходимость понимать как сходимость к 1. Аналогично вводятся величины mii и nii, имеющие смысл среднего времени возвращения в состояние i и среднего числа посещений состояния i соответственно, цепью, выходящей из состояния i.

Вероятности первого возвращения и достижения связаны с переходными вероятностями за n шагов достаточно простыми соотношениями.

k=1

Доказательство. Рассмотрим несовместимые события

A1 = fX1 = jg; Ak = fXk = j; Xm 6= j; 1 m < kg; k = 2; n;

54 Глава 3. Цепи Маркова

так что Ak означает событие, состоящее в том, что первое попадание в состояние j произойдет на шаге k. Ясно, что

Поэтому (здесь мы используем замечание 3 об условных вероятностях, сделанное в конце раздела 7.4.)

где в последнем равенстве используется определение события Ak и марковское свойство цепи, что доказывает соотношение (8.6).

Аналогично, рассматривая несовместимые события

n 1

Следовательно, соотношение (8.7) тоже доказано.

Замечание 1. формулы (8.6, 8.7) называются формулами разложения по первому и последнему моментам достижения и играют важную роль при исследовании марковских цепей.

Эти ряды сходятся в круге j z j< 1, так как их коэффициенты являются вероятностями и, следовательно, ограничены единицей.

Следствие 8.1. Для всех i; j 2 E производящие функции pij(z) и lij(z) связаны соотношениями

Доказательство получается путем непосредственного вычисления производящих функций с помощью формул (8.6) и (8.7) (см. упражнение 5).

Доказательство получается из формул (8.8) и (8.9) предельным переходом при z ! 1 0 с учетом сделанного выше замечания относительно сходимости рядов с неотрицательными членами

Формулы (8.10) и (8.11) устанавливают связь между вероятностью возвращения в состояние и средним числом попаданий в него и будут использованы в дальнейшем.

Замечание 2. В теории цепей Маркова рассматриваются также более общие величины

имеющие смысл вероятности перейти из состояния i в состояние j за n шагов, не заходя в состояние k, и называемые вероятностями переходов с запрещением (tabu-probabilities). Тогда lij(n) = jp(ijn). Изучение вероятностей переходов с запрещением не простая задача, которая составляет предмет самостоятельных исследований (см., например [32]).

8.4.Дополнения

Вопросы для контроля.

1.Какие состояния марковской цепи называются:

(а)несущественными;

(б) существенными;

(в) поглощающими;

(г) периодическими (дайте определение периода состояния);

(д) непериодическими.

Дайте эти определения в терминах переходных вероятностей.

2.Что называется классом состояний марковской цепи?

3.Сформулируйте первую теорему солидарности.

4.Какая цепь Маркова называется неразложимой?

5.Что такое каноническая форма марковской цепи и как выглядит МВП марковской цепи в канонической форме?

6.Как выглядит матрица вероятностей переходов за n шагов канонический марковской цепи?

7.Дайте неформальное и формальное определение вероятности первого достижения и вероятности первого возвращения в некоторое состояние.

8.Дайте неформальное и формальное определение средних времён первого достижения и первого возвращения в некоторое состояние.

Упражнения.

1. Докажите лемму 1.

Указание. Для доказательства рефлексивности заметим, что если для какого-либо состояния i не существует состояния j 6= i такого, что p(ijm) > 0; для некоторого m, то p(ijn) = 0 для всех n и

P

j 2 E; j 6= i, в частности это значит, что pij = 0 для всех j 2 E; j 6= i, а так как j2E pij = 1, то pii = 1, т.е. i , i. Если же существует следующее за i и связанное с ним состояние j 6= i; i , j,

т.е. существуют m; n такие, что p(ijm) > 0 и p(jin) > 0, то p(iim+n) p(ijm)p(jin) > 0 и, следовательно, снова i , i.

2.Докажите, что множество состояний конечной марковской цепи разбивается на непересекающиеся классы несущественных и сообщающихся существенных состояний.

3.Докажите, что состояние, образующее отдельный класс сообщающихся состояний, является поглощающим.

4.Завершите доказательство леммы 2.

5.Покажите, что число подклассов периодической цепи равно ее периоду.

6.Докажите теорему 8.2.

7.Вычислите степени МВП периодической цепи.

8.Завершите доказательство теоремы 8.3.

8. Для иллюстрации классификации состояний рассмотрим матрицу вероятностй перехода

по которой предлагается провести полную классификацию состояний цепи.

Задачи.

1 3. Проведите полную классификацию состояний марковских цепей из упражнений 7.3 7.5. 4. Классифицируйте цепи Маркова, по данным МВП.

Библиографические замечания.

Приведенная здесь “топологическая” классификация состояний марковской цепи, использующая только свойства переходных вероятностей, была дана А.Н. Колмогоровым. [19]. Матричные методы анализа конечных цепей использовались многими авторами, см., например, [11].

§9. Обрывающиеся и поглощающие цепи

9.1.Вводные замечания

Изучение поведения марковских цепей мы начнем с анализа их поведения на множестве несущественных состояний. Отметим, однако, что несущественные состояния иногда оказываются весьма “существенными” при анализе явлений, описываемых марковскими цепями. Оказывается, что поведение марковской цепи на множестве несущественных состояний совпадает с поведением некоторой обрывающейся цепи. В этом параграфе будет показано, что вероятность покинуть множество несущественных состояний равна 1, будет найдено распределение времени, проводимого цепью в множестве несущественных состояний, и его среднее значение. Также будут найдены вероятности возвращения в несущественное состояние и вероятности поглощения каждым из эргодических классов.

Рассмотрим сначала полезную операцию сужения марковской цепи. Пусть X = fXn; n 0g марковская цепь с пространством состояний E и A E собственное подмножество E.

Определение 9.1. Сужением марковской цепи X на подмножество ее состояний A называется обрывающаяся марковская цепь AX = fAXn; n 0g совпадающая с Xn, при Xn 2 A, и обрывающаяся в момент выхода цепи X из множества A.

Чтобы это определение было законным, необходимо доказать следующее утверждение.

Лемма 9.1. Если X = fXn; n 0g марковская цепь, то последовательность AXn = Xn при Xn 2 A, является марковской цепью с матрицей вероятностей переходов

PA = [pij]i;j2A

Доказательство рекомендуем читателю провести самостоятельно в качестве упражнения 1. По определению сужение марковской цепи является обрывающейся цепью, определение которой было дано в п.8.2.. Напомним, что матрица вероятностей переходов такой цепи является

полустохастической (Условие (2а) из раздела 7.1.).

Для обрывающейся цепи можно ввести дополнительное состояние ? (назовем его, скажем, “потусторонний мир”) и положить по определению

X

Определение 9.2. Марковская цепь X на множестве состояний E = E Sf g с исходными переходными вероятностями, дополненными соотношениями (9.1), называется пополнением марковской цепи X, а сама такая операция называется пополнением обрывающейся марковской цепи.

Заметим, что пополнение обрывающейся цепи приводит к поглощающей цепи.

Пусть X марковская цепь с пространством состояний E; E0 E класс несущественных состояний, Q подматрица переходных вероятностей внутри E0. Согласно классификации состояний марковской цепи (§ 8.1.) ее МВП в канонической форме (§ 8.2.) может быть представлена в виде

где подматрица P1 описывает поведение цепи после выхода из множества E0 несущественных состояний. Очевидно, что поведение цепи на множестве несущественных состояний совпадает с поведением обрывающейся цепи, полученной путем сужения исходной на свое множество несущественных состояний E0, а также с поведением до момента поглощения ее пополнения. Из сказанного следует, что для описания поведения цепи на множестве несущественных состояний достаточно

рассмотреть поведение поглощающей цепи с матрицей вероятностей переходов вида

~

где вектор p~ ? = R1 представляет собой вероятности перехода из различных несущественных состояний в поглощающее за 1 шаг. Вычисляя степени этой матрицы (см. упражнение 2) можно заметить, что они содержат в левом вернем углу соответствующие степени матрицы Q. Последнее означает, что поведение обрывающейся цепи совпадает с поведением ее пополнения на множестве несущественных состояний.

9.2.Фундаментальная матрица и ее свойства

Изучение поведения марковской цепи на подмножестве несущественных состояний начнем с анализа поведения степеней матрицы Q.

Теорема 9.1. Для подматрицы переходных вероятностей Q внутри класса несущественных состояний поглощающей марковской цепи X справедливо соотношение Qn ! 0 при n ! 1, где имеется в виду поэлементная и, следовательно, в силу конечности множества состояний равномерная сходимость матриц.

Доказательство. Для каждого состояния i 2 E0 найдется номер mi такой, что вероятность покинуть множество несущественных состояний, отправляясь из i за mi шагов положительна: p(i?mi) > 0. Поэтому для максимального из этих чисел, m = maxfmi : i 2 E0g, будет положительна минимальная из этих вероятностей:

q = minfp(i?m) : i 2 E0g > 0;

Следовательно, вероятность остаться в множестве несущественных состояний после m шагов будет строго меньше единицы для всех i 2 E0, и в силу конечности множества состояний также

щественных состояний за n = km шагов не превосходит величины (1 q) . Действительно, для всех i; j 2 E0,

Следовательно, Qn ! 0 при n ! 1 по подпоследовательности nk = km. Доказательство завершается замечанием о монотонности последовательности Qn,

Замечание 1. Очевидно, что maxfp(i?n); i 2 E0g ! 0 при n ! 1, так что Qn ! 0 означает равномерную сходимость к нулю всех элементов матрицы Qn.

Следствие 9.1. Существуют постоянные C > 0 и 0 < h < 1 такие, что

Другими словами, сходимость, доказанная в теореме 1 имеет место с геометрической скоростью.

Доказательство. Так как ряды с положительными членами ведут себя как абсолютно сходящиеся, то можно записать

Полезно рассмотреть другое доказательство этой теоремы. Пусть ij символ Кронекера и

P

j = 1j(Xn) число посещений состояния j, а nij его среднее значение при условии, что цепь

n 0

стартует из состояния i, определяемое формулой (9.8). Тогда

В матричной форме это равенство записывается в виде

N = I + QN;

откуда получаем

N = (I Q) 1;

Метод, примененный в последнем доказательстве, позволяет вычислить дисперсию числа посещений цепью состояния j 2 E0. Предварительно введем следующие обозначения: Ndg диагональная матрица с элементами главной дагонали, равными nii; i 2 E0, N2 = [n2ij]i;j2E0 матрица с элементами, равными квадратам соответствующих элементов матрицы N, dij = Di j; i; j 2 E0дисперсия числа посещений состояния j цепью, выходящей из состояния i и D = [dij]i;j2E0 матрица этих дисперсий.

Теорема 9.3. Дисперсия числа посещений несущественного состояния j цепью, выходящей из состояния i определяется формулой

применяя формулу полного математического ожидания, получаем

XX

Mi j2 = pik ij + pik Mk( ij + j)2 =

k2E1 k2E0

X

=pik Mk j2 + 2Mk j ij) + ij:

k2E0

Перейдем теперь к рассмотрению времени, проводимого цепью в множестве несущественных состояний.