2. Пояснительные примеры
а) Когда у цепи есть только два возможных
состояния
,
матрица переходных вероятностей с
необходимостью имеет вид
.
Подобная цепь могла бы быть реализована
в следующем мысленном эксперименте.
Частица движется вдоль оси
таким образом, что абсолютная величина
ее скорости остается постоянной, но
направление движения может меняться
на противоположное. Говорят, что система
находится в состоянии
,
если частица движется направо, и в
состоянии
,
если она движется налево. Тогда
– вероятность поворота, когда частица
движется направо, а
–
вероятность поворота при движении
налево.
б) Случайное блуждание с поглощающими
экранами. Пусть возможными состояниями
будут
;
рассмотрим матрицу переходных вероятностей
.
Из каждого “внутреннего” состояния
возможны переходы в правое и левое
соседние состояния (с вероятностями
и
).
Однако ни из
ни из
невозможны переходы в какое либо иное
состояние; система будет переходить из
одного состояния в другое, но коль скоро
будет достигнуто
или
система останется неизменной навсегда.
в) Отражающие экраны. Интересный
вариант предыдущего примера представляет
собой цепь с возможными состояниями
и переходными вероятностями
.
Эту цепь можно интерпретировать на
языке азартных игр, рассматривая двух
игроков, ведущих игру с единичными
ставками и с соглашением, что каждый
раз, когда один из игроков проигрывает
свой последний доллар, тот немедленно
возвращается ему его противником, так,
что игра может продолжаться бесконечно.
Мы предполагаем, что игроки вместе имеют
долларов, и мы говорим, что система
находится в состоянии
,
если их капиталы равны
и
соответственно. Тогда переходные
вероятности даются нашей матрицей
.
г) Рекуррентные события и остаточные
времена ожидания. Мы будем использовать
цепь с набором состояний
и переходными вероятностями
;
Вероятности
произвольны, за тем лишь исключением,
что в сумме они должны давать единицу.
Чтобы наглядно представить себе этот
процесс, предположим, что начальным
состоянием будет
.
Если первый шаг приводит в
,
то система обязана пройти последовательно
через состояния
и на
-м
шаге вернуться в
,
откуда процесс начнется сначала. Таким
образом, последовательные возвращения
в
представляют из себя возвратное
рекуррентное событие
с распределением
для времен возвращения. Состояние
системы в любой момент времени определяется
временем ожидания следующего прохождения
через
.
Данной марковской цепи соответствует модель, приведенная на рис. 1.
Рис. 1. Марковская модель
В большинстве конкретных реализаций рекуррентных событий время ожидания следующего осуществления события зависит от будущего, и, значит, наша цепь Маркова не имеет никакого практического значения. Однако эта цепь имеет смысл в том случае, когда можно представить себе, что одновременно с каждым осуществлением события производится случайный эксперимент, исход которого определяет величину следующего времени ожидания. Такие ситуации встречаются на практике. Например, в теории самовосстанавливающихся устройств иногда предполагается, что срок службы вновь установленного элемента зависит от выбора этого элемента, но вполне определен, коль скоро выбор уже сделан. С другой стороны, в теории массового обслуживания (в очередях к продавцу или на телефонных линиях) последовательные моменты начала обслуживания отдельных клиентов обычно соответствуют рекуррентным событиям. Предположим теперь, что имеется много типов клиентов, и для каждого из этих типов требуется обслуживание известной продолжительности. Тогда время ожидания между двумя последовательными моментами начала обслуживания определяются единственным образом с того момента, когда начинается обслуживание соответствующего клиента.
г) Другая цепь, связанная с рекуррентными событиями. Рассмотрим цепь с набором возможных состояний и переходными вероятностями
,
где
(рис. 2).
Рис. 2. Другая марковская модель
Для наглядности мы можем интерпретировать
состояние
как представляющее “возраст” системы.
По достижении системой возраста
процесс старения с вероятностью
продолжается, а с вероятностью
система “омолаживается”, и процесс
начинается заново – с нулевого возраста.
Последовательные прохождения через
состояние
здесь снова представляют рекуррентное
событие, и вероятность того, что время
возвращения равно
,
дается произведением
.
Можно подобрать
так,
чтобы получить заданное распределение
для
времен возвращения; достаточно положить
,
затем
и т.д. В общем виде
. (2.5)
Таким образом, произвольное рекуррентное
событие
с распределением
времен
возвращения соответствует цепи Маркова
с матрицей
,
определяемой вероятностями (2.5). После
-го
испытания система окажется в состоянии
тогда и только тогда, когда последним
было испытание с номером
(здесь
).
Номер этого состояния часто называется
“затраченным временем ожидания”.
д) Серии успехов. В качестве частного
случая предыдущего примера рассмотрим
последовательность испытаний Бернулли
и условимся, что при
-м
испытании система будет в состоянии
,
если последняя неудача наблюдалась
при испытании с номером
.
Здесь
,
и считается, что нулевое испытание
привело к неудаче. Иначе говоря, индекс
равен длине непрерывавшейся
последовательности успехов, оканчивающейся
-м
испытанием. Переходные вероятности
здесь те же, что и в предыдущем примере
с
и
.