10. Цепи Маркова

Результаты различных экспериментов или испытаний могут быть представлены в виде определенной последовательности букв или цифр, которые рассматриваются как процессы перехода от одного состояния в другое. Можно оценить вероятность такого перехода. Модель случайного процесса объединяет множество состояний и множество вероятностей перехода из одного состояния в другое.

Множество (пространство) состояний может быть конечным и бесконечным. Последовательность состояний образует цепь Маркова, если в отдельном испытании система принимает одно из возможных состояний, не зависящее от результатов ранее произведенных испытаний.

Вероятность , есть условная вероятность перехода случайного процесса из состоянияS_i в состояниеза один шаг. Так как она не зависит от номера испытания, то может обозначаться через. Первый индекс указывает номер предшествующего, а второй – последующего состояния. Если известны вероятности для любой пары состояния, то они могут быть представлены квадратной матрицей перехода.

_, где - элемент (вероятность), стоящий на пересеченииi-ой строки и j-го столбца.

(10.1)

Вероятность перехода процесса из состояния Sв состояние Sза n шагов обозначается , а квадратная матрица всех этих вероятностей обозначается. Вероятность перехода процесса из состоянияi в состояние j за два шага вычисляется по формуле полной вероятности.

или в матричной записи . (10.2)

Аналогично получается матрица перехода за три шага и заn – шагов . (10.3)

1Вероятности перехода за один шаг в цепи Маркова задаются матрицей:

а) б).

Найти число состояний системы. Построить граф, соответствующий матрице р.

2 Задана матрица вероятностей переходов

Каковы пределы изменений р и S?

3 В урне имеется 5 белых и черных шаров. Из урны случайно извлекается один шар, а обратно в урну возвращается один шар другого цвета. Опыт повто ряется неоднократно. Найти матрицу переходных вероятностей, состояниями которой является количество белых шаров в урне. Найти вероятности перехода за два шага.

4 Игральная кость перекладывается многократно с равной вероятностью

случайным образом с одной грани на любую из соседних четырех граней, независимо от исхода предыдущего испытания. К какому пределу стремится при вероятность того, что в момент времениt игральная кость лежит на грани «5», если в момент времени t=0, она находится в этом же положении?

5Имеется пять стульев, расположенных один возле другого. Человек пересаживается с одного стула на рядом стоящий, причем эти перемещения определяются бросанием правильной игральной кости. Стулья обозначены буквами А,В,С,Д,Е. Вначале он сидит на среднем стуле С. Если человек сидит на крайнем стуле, то: возвращается на стул С, когда выпадет четное число очков; остается на том же месте при выпадении нечетного числа очков.

Если он сидит не на крайнем стуле, то: перемещается налево при выпадении одного или двух очков; перемещается направо при выпадении трех или четырех очков; остается на том же месте при выпадении пяти или шести очков. Найти: а) матрицу вероятностей переходов за один шаг; б) вероятности следующих последовательностей: С,Д,Е,С,Д,А,С; С,В,Д,Е,Е,А; С,В,А,А,С,Д; С,Д,Е,С,Е,С; А,А,С,Д,Е,Е.

6 Студент, для получения профессионального образования, обучается в

колледже в течение трех лет. Ежегодно он сдает комплексный экзамен. Если студент успешно сдаст экзамен, то он переводится на следующий курс или заканчивает колледж с дипломом специалиста. Если студент экзамен не сдает, то он остается на соответствующем курсе второй год. Вероятность успешной сдачи экзамена на первом году обучения составляет 0,7; втором – 0,8; третьем – 0,9. Указать подходящее число состояний системы. Найти матрицу вероятностей перехода за один шаг для ежегодных передвижений студента по курсам (первый, второй, третий год обучения, окончание колледжа). Определить вероятность, что студент будет обучаться на третьем курсе после сдачи второго экзамена. Определить среднее число лет, которые студент проводит в колледже.