4.30. Эргодические цепи Маркова.
Теорией вероятности рассматривается целый класс процессов, обладающих одним общим свойством, которое определяет вероятности смены состояний процесса. Предполагается, что в момент t процесс находится в состоянии Si – это вектор. Делается предположение о том, что из Si за время ∆ процесс может перейти в некоторое множество смежных с Si состояний. Если множество смежных состояний счетно, говорят, что подобный процесс образует МАРКОВСКУЮ ЦЕПЬ.
Ч
асто
рассматриваются цепи с конечным
множеством состояний. Основным свойством
М. процесса является то, что вероятности
перехода в смежные состояния зависят
только от того, в каких состояниях до
этого был процесс. Т.о. для переходов на
рисунке мы можем вывести вероятности
πij(∆):
Если ∆ - непрерывная переменная, говорят о цепях М. с непрерывным временем, а если ∆ определяется дискретно, говорят о дискретных цепях М. Вероятности переходов могут зависеть от номера шага, тогда говорят, что М. цепи неоднородны.
Эргодические цепи
Предположим, задана
однородная цепь М. с общим числом N
состояний. Пусть существует такое n,
что для всех k>=n
справедливо 
Цепь с таким условием называется эргодической. Для таких цепей сущ. установившийся режим, т.е. можно найти такое Р, что
Написать эту систему – значит определить вероятности финальных состояний.
г
де
Р1
– вероятность попадания в состояние
1.
Система переопределена.
Надо вычеркнуть одно из уравнений и
заменить его на условие нормировки
4.31. Определение цепи Маркова
Теорией вероятности рассматривается целый класс процессов, обладающих одним общим свойством, которое определяет вероятности смены состояний процесса. Предполагается, что в момент t процесс находится в состоянии Si – это вектор. Делается предположение о том, что из Si за время ∆ процесс может перейти в некоторое множество смежных с Si состояний. Если множество смежных состояний счетно, говорят, что подобный процесс образует МАРКОВСКУЮ ЦЕПЬ.
Ч асто рассматриваются цепи с конечным множеством состояний. Основным свойством М. процесса является то, что вероятности перехода в смежные состояния зависят только от того, в каких состояниях до этого был процесс. Т.о. для переходов на рисунке мы можем вывести вероятности πij(∆):
Если ∆ - непрерывная переменная, говорят о цепях М. с непрерывным временем, а если ∆ определяется дискретно, говорят о дискретных цепях М. Вероятности переходов могут зависеть от номера шага, тогда говорят, что М. цепи неоднородны.
4.32. Однородные цепи Маркова
Теорией вероятности рассматривается целый класс процессов, обладающих одним общим свойством, которое определяет вероятности смены состояний процесса. Предполагается, что в момент t процесс находится в состоянии Si – это вектор. Делается предположение о том, что из Si за время ∆ процесс может перейти в некоторое множество смежных с Si состояний. Если множество смежных состояний счетно, говорят, что подобный процесс образует МАРКОВСКУЮ ЦЕПЬ.
Ч асто рассматриваются цепи с конечным множеством состояний. Основным свойством М. процесса является то, что вероятности перехода в смежные состояния зависят только от того, в каких состояниях до этого был процесс. Т.о. для переходов на рисунке мы можем вывести вероятности πij(∆):
Если ∆ - непрерывная переменная, говорят о цепях М. с непрерывным временем, а если ∆ определяется дискретно, говорят о дискретных цепях М. Вероятности переходов могут зависеть от номера шага, тогда говорят, что М. цепи неоднородны. Мы будем рассматривать ОДНОРОДНЫЕ Марковские цепи.
П
усть
после n-ного
шага процесс находится в состоянии k,
тогда вероятность того, что процесс в
результате первого перехода будет
находиться в состоянии m
задается вероятностью πm,k.
В общем случае на шаге n
k=1,2,3…N.
В связи с этим определяются вероятности
нахождения в k
после N
шагов. В силу того, что процесс может
находиться только в 1 из N
состояний, и это пребывание автоматически
подразумевает отсутствие других, значит:
Зная вероятность Рк(n) и матрицу переходов, запишем:
П
усть
вероятности Рк(n)
представлены в виде матрицы строки:
Тогда процесс переходов можно записать так:
