Курс_лекций_по_теории_случайных_процессов

62 Глава 3. Цепи Маркова

Таким образом получается формула (9.10). Умножая обе части равенства (9.10) на zk и суммируя полученные равенства по k, получаем соотношение (9.11) для производящей функции.

Замечание 2. Для марковской цепи с матрицей вероятностей переходов общего вида (9.2) формулы (9.10) и (9.11) записываются в виде

соответственно.

Для вычисления безусловной вероятности времени пребывания в множестве несущественных состояний цепи, стартующей с заданным начальным распределением , необходимо умножить обе части равенства (9.10) слева на вектор-строку 0. В частности, для цепи, отправляющейся из состояния i 2 E0, имеет место равенство

Пусть A непустое подмножество несущественных состояний, QA подматрица вероятностей переходов внутри A. Записывая матрицу вероятностей переходов в виде

где R и P1 имеют очевидный смысл, получаем

Следствие 9.4. Распределение времени пребывания в подмножестве A несущественных состояний определяется формулой

9.4.Вероятности поглощения

Рассмотрим теперь вопрос о местонахождении поглощающей цепи после выхода из множества несущественных состояний. Если имеется единственный эргодический класс, то, как показывает теорема 9.4, цепь оказывается в нем с вероятностью единица, и вопрос можно считать исчерпанным, так как дальнейшее поведение внутри эргодического класса исследуется в следующем параграфе. Для цепи, имеющей несколько эргодических классов, мы найдем вероятности попадания в каждый из них после выхода из множества несущественных состояний. Начнем с самого простого случая, когда каждый эргодический класс состоит из единственного поглощающего состояния. Матрица вероятностей переходов такой цепи имеет вид

23

Обозначим через Aj событие, состоящее в том, что после выхода из множества несущественных состояний E0 цепь окажется в поглощающем состоянии j. Пусть ij(n) вероятность того, что событие Aj происходит на шаге n, при условии, что начальным состоянием является i; j(n) вектор (размерности той же, что и матрица Q), составленный из этих вероятностей. Очевидно,

что событие Aj происходит на n-м шаге тогда и только тогда, когда в течение n 1 шага цепь не выходит из множества несущественных состояний, после шага n 1 оказывается в состоянии k 2 E0 и на следующем шаге переходит в j. Следовательно,

ij(n) = X p(ikn 1)pkj

k2E0

или в матричной форме

~j(n) = Qn 1p~ j:

Суммируя по n, получаем:

~j = Np~ j:

Таким образом, доказана

Теорема 9.6. Вероятности поглощения каждым из r поглощающих состояний определяется вектором

В общем случае пусть E1; : : : ; Ek эргодические классы и МВП имеет вид

23

Пусть, далее Пm матрица, элементами которой ij(m) являются условные вероятности попадания в состояние j 2 Em в момент выхода из множества несущественных состояний, при условии, что цепь стартует в состоянии i 2 E0. Следующая теорема обобщает утверждение теоремы 9.6 и доказывается аналогично.

9.5.Возвращение и достижение

Рассмотрим вопросы, связанные с вероятностями возвращения цепи в несущественное состояние и достижения одного несущественного состояния из другого. Напомним, что введенные в разделе 8.3. вероятности lii(n) и lij(n) можно рассматривать как распределения вероятностей относительно вероятностной меры Pi марковского процесса, стартующего из состояния i, времени первого возвращения в это состояние и времени первого достижения состояния j. Для исследования распределения времени возвращения обозначим через Qi матрицу, получающуюся из Q вычеркиванием i-й строки и i-го стобца, p~i ; p~ i i-ые вектора строку и столбец соответственно исходной матрицы без i-го элемента, и представим матрицу Q в виде

Тогда для распределения flii(n); n 1g времени возвращения в состояние i имеет место следующее утверждение.

Теорема 9.8. Распределение flii(n); n 1g времени возвращения в состояние i 2 E0 определяется формулой

Доказательство. Пусть iE0 = E0 n fig. Рассмотрим поведение цепи, стартующей из состояния i 2 E0. Вероятность возвращения в i на первом шаге равна pii. Первое возвращение в состояние i на n-м (n 2) шаге происходит тогда и только тогда, когда цепь на первом шаге выйдет из i в iE0, затем совершит n 2 перехода внутри iE0, не покидая его, после чего перейдет в i. Вероятности выхода из iE0 на 1-м шаге равны координатам вектора p~i , вероятности переходов за n 2 шага внутри iE0 даются матрицей Qni 2, а вероятности перехода из iE0 в i - это координаты вектора p~ i. Таким образом получается формула (9.15), из которой следует формула (9.16) для производящей

Теорема 9.9. Вероятность возвращения в несущественное состояние меньше единицы, lii < 1 для любого i 2 E0.

Доказательство. Так как нас интересует вероятность возвращения в состояние i, т.е. поведение цепи до первого возвращения в это состояние, то модифицируем цепь таким образом, чтобы наряду с поглощающим состоянием ? поглощающим стало состояние i. Матрица вероятностей переходов такой модифицированной цепи принимает вид

23

По теореме 9.6 вероятности поглощения состояниями i и ? для такой цепи определяются соот-

где qi вероятность покинуть множество несущественных состояний, выходя из i, которая, по определению несущественного состояния, положительна, qi > 0. Отсюда следует утверждение теоремы.

9.6.Дополнения

Вопросы для контроля.

1.Дайте определение обрывающейся и поглощающей марковских цепей. Какова связь между этими цепями?

2.Дайте определение операций сужения и пополнения марковской цепи. Что представляет собой сужение неразложимой марковской цепи на собственное подмножество состояний?

3.Что называется фундаментальной матрицей поглощающей марковской цепи? Что представляют собой ее элементы?

4.Сходятся ли и к чему элементы степеней матрицы подмножества несущественных состояний? Какова скорость их сходимости?

5.Чему равно время пребывания марковской цепи в множестве своих несущественных состо-

яний?

6.С какой вероятностью марковская цепь покидает множестве своих несущественных состоя-

ний?

7.Как связано распределение времени пребывания в множестве несущественных состояний fi(k) = PifTE0 = kg с вероятностью li?k первого первого выхода из этого множества.

8.Как вычисляются вероятности поглощения?

9.Какими формулами задаются распределения времени возвращения марковской цепи в какоелибо из своих несущественных состояний?

10.Как вычислить вероятность достижения марковской цепью одного из своих несущественных состояний из другого?

Упражнения.

1.Докажите лемму 9.1

2.Вычислите степени матрицы Q.

3.Докажите, что вектор Np~ ? представляет собой вектор вероятностей выхода из множества несущественных состояний.

4.Докажите теорему 9.7.

Задачи.

В задачах 1 – 3 задана матрица P вероятностей перехода поглощающей цепи Маркова и начальное распределение .

(1) Пусть T время, проводимое цепью в множестве несущественных состояний. Найти M[T ]

и D[T ].

(2)Выяснить при каком начальном распределении математическое ожидание времени, проводимого в множестве несущественных состояний будет наибольшим и наименьшим.

(3)Вычислить вероятности fii возвращения в каждое из несущественных состояний.

(4)Вычислить вероятность поглощения в каждом из поглощающих состояний.

Библиографические замечания.

Изложение результатов этого параграфа в основном опирается на книгу [11]. В качестве дополнительной литературы можно использовать также курс теории вероятностей [8].

§ 10. Эргодические цепи

Проблематика исследования поведения эргодической цепи, или цепи на множестве существенных сообщающихся состояний, отлична от соответствующей проблематики для множества несущественных состояний. Дело в том, что, в отличие от несущественных состояний, в эргодическом множестве состояний цепь остается неограниченно долго. Поэтому основной интерес представляет частота посещений каждого из эргодических (существенных сообщающихся) состояний. Прежде всего заметим, что, как будет точно доказано ниже, любое из эргодических состояний возвратно, т.е. однажды попав в такое состояние цепь с вероятностью 1 возвращается в него и, более того, возвращается в него бесконечно часто. Отсюда следует, что распределение времени возвращения собственное. Оно будет вычислено далее вместе со своими характеристиками. Применим полученные в предыдущем параграфе результаты для вычисления распределения времени возвращения в любое из существенных состояний (для эргодических цепей).

10.1.Возвратность

Рассмотрим эргодическую марковскую цепь X = fXn; n = 0; 1; 2; : : : g с множеством состояний E и МВП P = [pij]i;j2E. Переходя к вопросу о возвращении в эргодические состояния обозначим как и в разделе 9.1. через iX сужение эргодической марковской цепи X на подмножество E n fig ее состояний с МВП iP , которая отличается от исходной тем, что у нее вычеркнуты i-ые строка и столбец. Эта матрица соответствует вероятностям переходов с запрещением и представляет собой матрицу переходных вероятностей некоторой обрывающейся цепи. Обозначим, кроме того, через p~i ; p~ i i-ые вектора строку и столбец, соответственно, исходной матрицы без i-го элемента, так что перестановкой i-ых строчки и столбца исходная матрица P может быть представлена в виде

Можно показать (см. упражнение 1), что если X эргодическая цепь, то iX обрывающаяся для любого i 2 E. Тогда, например, для распределения времени возвращения в i-ое состояние справедливо утверждение.

Теорема 10.1. Для распределения времени возвращения в i-е состояние эргодической цепи справедливы те же формулы (9.15), (9.16), что и для невозвратного состояния.

Доказательство полностью повторяет рассуждения аналогичной теоремы для поглощающих цепей. Действительно, сужение iX цепи X на собственное подмножество E n fig является согласно упражнению 1 в конце данного параграфа обрывающейся, а ее пополнение поглощающей цепями, решение аналогичного вопроса для которых содержится в следствии 9.5 к теореме 9.8. Таким образом, получаем искомое выражение и соответствующую производящую функцию.

В качестве следствия этой теоремы получим следующее утверждение.

Следствие 10.1. Всякое существенное состояние возвратно, т.е. вероятность возвращения в него равна 1.

Доказательство. Действительно, из соотношения (10.2) имеем при z = 1

lii = lii(1) = pii + pi (I i P ) 1p i = pii + pi iNp i =

Более того, в силу полученной в § 9 геометрической оценки для распределения времени пребывания в несущественных состояниях (см. следствие 9.1 к теореме 9.1) из предыдущих рассуждений следует конечность среднего времени возвращения.

Следствие 10.2. Среднее время возвращения mjj в любое существенное состояние конечно, mjj < 1.

Доказательство. Действительно, в силу оценки

ljj(n) = jp(jjn) maxf[jP n]ik; i; k 2 E n fjg

и геометрической скорости сходимости элементов степеней МПВ на множестве несущественных состояний имеем, что время возвращения мажорируется геометрическим распределением, откуда следует конечность его среднего значения.

Покажем теперь, что все состояния эргодического класса взаимно достижимы с вероятностью1, т.е. каждое состояние достижимо из каждого.

Следствие 10.3. Все состояния эргодического класса взаимно достижимы с вероятностью 1.

Доказательство. Действительно, из соотношения (10.2) рассуждениями, аналогичными проведенным при доказательства следствия 10.1 получим

Покажем, наконец, что цепь возвращается в каждое из своих эргодических состояний бесконечно часто.

Теорема 10.2. Конечная цепь посещает каждое из своих эргодических состояний бесконечно часто.

Доказательство. Рассмотрим событие Aj, состоящее в том, что последовательность fXng бесконечное число раз (б.ч.р.) возвращается в какое-либо из своих существенных состояний, скажем j,

Для марковской последовательности fXng события fXn = jg, вообще говоря, зависимы. Чтобы воспользоваться законом 0 или 1 Бореля, фиксируем состояние j и обозначим через k - момент k-го возвращения в состояние j, а через Bk событие, состоящее в том, что это возвращение произойдет, т.е., что цепь возвращается в состояние j по крайней мере k раз

Bk = fX k = j; Xi 6= j; k 1 < i < kg:

однако уже с помощью (статистически) независимых событий Bk, т.к. после каждого возвращения в некоторое (фиксированное) состояние j будущее не зависит от прошлого, а лишь от (фиксированного) настоящего. Следовательно, согласно закону 0 или 1 Бореля вероятность этого события

Наконец, все приведенные здесь результаты обобщаются на любое собственное подмножество состояний марковской цепи. Приведем здесь только результаты, касающиеся распределения времени пребывания в некотором собственном подмножестве состояний и времени достижения некоторого собственного подмножества состояний.

Для распределения времени пребывания в собственном подмножестве A состояний и времени достижения собственного подмножества состояний неразложимой (эргодической) цепи справедливы утверждения, аналогичные ее поведению на множестве несущественных состояний. Решение вопросов о времени пребывания в некотором собственном подмножестве и времени достижения некоторого собственного подмножества состояний, представляющих значительный интерес при исследовании различных прикладных вопросов (см. примеры), оказываются очень близкими. Поэтому мы рассмотрим их параллельно. Обозначим через A множество, время пребывания в котором нас интересует, а через B его дополнение. Тогда время пребывания в множестве A (если в начальный момент цепь находилась в этом множестве) и время первого достижения множества B (при тех же начальных условиях) отличаются на единицу. Другими словами, обозначая через TA и T B соответственно время пребывания в множестве A и время достижения множества B имеем

fTA = kg = fT B = k + 1g

и, следовательно, при i 2 A,

PifTA = kg = PifT B = k + 1g fi(k)

~ f 2 g

Обозначим через fA(k) = fi(k) i A вектор вероятностей длительности пребывания в множестве A и через PA; PB; PAB и PBA подматрицы переходов внутри подмножеств A и B соответственно и между этими подмножествами. Тогда исходную МВП можно представить в виде

Теорема 10.3. Для распределения времени пребывания в собственном подмножестве состояний и времени достижения собственного подмножества состояний эргодической марковской цепи справедливы формулы

Доказательство полностью совпадает с доказательством аналогичной теоремы для поглощающих цепей. Действительно, сужение AX цепи X на собственное подмножество A своих состояний является согласно упражнению 2 в конце данного параграфа обрывающейся, а ее пополнение поглощающей цепями, решение аналогичного вопроса для которых содержится в следствии 9.5 к теореме 9.8.

Вопрос о частоте посещений марковской цепью состояний замкнутого (эргодического) класса рассматривается далее наряду с эргодическими теоремами в разделе 10.4. В следующем разделе рассмотрим одну из наиболее важных характеристик неразложимых эргодических цепей, их инвариантные вероятности.

10.2.Инвариантные вероятности.

Одной из основных характеристик эргодической цепи являются ее инвариантные вероятности, которые играют важную роль при исследовании марковских цепей. Их значение определяется тем, что если начальным распределением цепи является инвариантное распределение, то соответствующая марковская цепь оказывается стационарной, что обеспечивает ей много интересных и полезных дополнительных свойств. Стационарные марковские цепи являются частным случаем стационарных последовательностей, которые представляют специальный раздел теории с.п. и

будут рассмотрены в отдельной части курса. Здесь будут приведены лишь необходимые определения.

Определение 10.1. Распределение = f i; i 2 Eg называется инвариантным, если

при этом система уравнений (10.5) называется системой уравнений равновесия (СУР) для инвариантного распределения вероятностей состояний марковской цепи.

В свете сказанного в начале настоящего раздела, вопрос о существовании и единственности инвариантных распределений представляется весьма существенным. В настоящем разделе вопрос о существовании инвариантного распределения будет решен конструктивно путем его непосредственного предъявления, а именно мы покажем что величины i = mii1 образуют инвариантное распределение вероятностей на эргодическом классе. Для этого докажем сначала одно важное их свойство, состоящее в том, что инвариантные вероятности пропорциональны числу посещений состояния i без захода в некоторое фиксированное состояние.

Определим величину enei как среднее число посещений состояния i цепью выходящей из состояний e до момента e первого возвращения в это состояние:

В силу следствия 10.2 предыдущего пункта эти величины конечны, причем

XX

i2E 1 n e

Покажем, что величины enei удовлетворяют СУР. Действительно, в силу соотношения (10.6) имеем

Последнее соотношение следует из того, что для эргодического состояния e lee = 1 и pej =e p(1)ej . Таким образом, величины fenei; i 2 Eg образуют инвариантную меру. Откуда легко следует

Теорема 10.4. Величины i = mee1 enei образуют инвариантное распределение вероятностей.

Доказательство сразу следует из того факта, что

XX

i2E 1 n e

Вопрос о единственности инвариантного распределения вероятностей не тривиален и помимо теоретического имеет сугубо практическое значение. Дело в том, что если инвариантное распределение единственно, то для его нахождения достаточно решить систему уравнений (10.5). Заметим, однако, что сама эта система, как однородная система алгебраических уравнений с вырожденной матрицей, имеет бесконечно много решений. Однако оказывается, что для эргодической цепи лишь одно из них обладает свойством вероятностного распределения.

Исследование инвариантных распределений продолжим опираясь на асимптотические свойства переходных вероятностей.

10.3.Предельные теоремы для переходных вероятностей

Свойства инвариантных вероятностей естественным образом и тесно связаны с асимптотическим поведением марковских цепей и, в частности, с поведением ее переходных вероятностей за n шагов P n при n ! 1. Здесь как раз и проявляется различие в поведении цепи на различных классах состояний.

Теорема 10.5. Для неразложимой конечной марковской цепи справедливы предельные соотношения

для всех r = 0; d 1.

Доказательство теоремы начнем с наиболее простого случая регулярной (или неразложимой апериодической) цепи, когда имеет место равномерная сходимость, P n ! . Заметим, прежде всего, что последовательность моментов Sn = Sn(e) возвращения в некоторое произвольное, но фиксированное состояние e, образует (дискретный) процесс восстановления (см. глава 2). Используя разложение по полной группе событий и формулу полной вероятности, полагая Tk = Sk Sk 1, имеем

p(ijn) = PifXn = jg =

X

= PifXn = j; S1 > ng + PifXn = j; Sk n < Sk+1g =

k 1

=e p(ijn) + X X PifXn = j; Sk n < Sk+1j Sk = rgPifSk = rg =

r 1 k 1

=e p(ijn) + X X PifSk = rgPefXn r = j; 0 < Tk+1g = r 1 k 1

=e p(ijn) + Xhr ep(ejn r);

r 1

где

XX

скачки функции восстановления дискретного процесса восстановления, образованного моментами возвращения в состояние e. Так как в силу конечности и неразложимости цепи первое слагаемое в правой части равномерно (по исходному состоянию i) сходится к нулю,

ep(ijn) PifS1 > ng ! 0;

среднее время между моментами возвращения в e конечно и распределение интервала между возвращениями дискретно, то в силу узловой теоремы Смита (для дискретного процесса восстановления) получим