§ 3. Равенство Маркова

Обозначим через P,j(n) вероятность того, что в результате п шагов (испытаний) система перейдет из состояния i в состояние у. Например, Р_гъ (10) — вероят­ность перехода за 10 шагов из второго состояния в пятое. Подчеркнем, что при и = 1 получим переходные веро­ятности

Поставим перед собой задачу: зная переходные веро­ятности pij, найти вероятности Р,у(п) перехода системы из состояния i в состояние у за п шагов. С этой целью введем в рассмотрение промежуточное (между i и у) состояние г. Другими словами, будем считать, что из первоначального состояния i за т шагов система перей­дет в промежуточное состояние г с вероятностью P_ir(m), после чего за оставшиеся п—т шагов из промежуточного состояния г она перейдет в конечное состояние у с веро­ятностью P_rj(n—т).

По формуле полной вероятности,

Р_и (п) =^2 P_lr (m) P_rJ (n-m). (*)

формулу называют равенством Маркова. Пояснение. Введем обозначения: А — интересую­щее нас событие (за п шагов система перейдет из началь­ного состояния i в конечное состояние /), следовательно, ^р(А) = Р_и-(ft); B_r(r= I, 2, ..., k) — гипотезы (за т шагов ^Система перейдет из первоначального состояния i в про-^МеЖуточное состояние г), следовательно, Р (B_r) = P_tr(m);

383

P_Br{A) — условная вероятность наступления А при y_CJl вии, что имела место гипотеза В_г (за п — т шагов систем перейдет из промежуточного состояния г в конечно состояние /), следовательно, Р_Вг (Л) = P_rJ (п — т). ^е

По формуле полной вероятности,

или в принятых нами обозначениях

2 P_ir(m)P_rj(n-m),

Лу()2

Т—!

что совпадает с формулой (*) Маркова.

Покажем, что, зная все переходные вероятности р_{ .= = Р,у(1), т. е. зная матрицу 5\ перехода из состояния в состояние за один шаг, можно найти вероятности P_lf (2) перехода из состояния в состояние за два шага, следо­вательно, и саму матрицу перехода 3*_г\ по известной матрице 5% можно найти матрицу 5*₃ перехода из состоя­ния в состояние за 3 шага, и т. д.

Действительно, положив п = 2, пг = 1 в равенстве Маркова

k

P_/y(n)=S P_ir(m)P_rJ(n-m), получим

Л-/(2)=2]Л> (1)^/(2-1), или

Таким образом, по формуле (**) можно найти все вероятности Рц (2), следовательно, и саму матрицу 5Y Поскольку непосредственное использование формулы (**) оказывается утомительным, а матричное исчисление веде^т к цели быстрее, напишем вытекающее из (**) соотношс ние в матричной форме:

Положив n = 3, m = 2 в (*), аналогично получим

ея «а <а ел <&% ©а

384

В общем случае

и „ — j I. Пример. Задлна матрица перехода 9*i —(q' $ 0*7 ) ' ^айти мат-

Ре ш е н и е. Воспользуемся формулой 5*2 =

с* _/0,4 0,64 /0,4 0,6 •^У2~~\0,3 0,1) V0.3 0,7

Перемножив матрицы, окончательно получим

«а _/'0,34 0.66N ^²-~ 1.0,33 0,67J •

Задачи

1. Задана матрица перехода ^>₁=(₀'^ п'я ) • рнцу перехода д*_г.

итв. 3*2— I п ос п се I •

2. Задана матрица перехода ^^>1=(о'з О?) • ^айти матрицу перехода 5V

,244 0,7564

,252 0,748; '

ЧАСТЬ ПЯТАЯ СЛУЧАЙНЫЕ ФУНКЦИИ

Глава двадцать третья СЛУЧАЙНЫЕ ФУНКЦИИ