Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Специальные главы математики. Учебно-методическое пособие
.pdf
11
Переходные вероятности между состояниями
Из любого состояния si на n-м шаге система может с некоторыми вероятностями перейти в другие состояния или с определенной вероятностью остаться в
нем. Здесь могут быть два основных случая:
1. Вероятности состояний на n-м шаге не зависят от состояния на (n 1)-м
шаге. В этом случае говорят, что испытания независимы, так как в каждом испытании событие происходит с одной и той же вероятностью, которая не зависит от исхода на предыдущем шаге.
Пример независимых испытаний. При бросании игральной кости состояние
(выпадение числа от 1 до 6) при n-м бросании не зависит от того, какое состояние было при предыдущем, (n 1)-м бросании.
2. Вероятности состояний на n-м шаге зависят от состояния на предыдущем,
(n 1)-м шаге.
Марковская цепь относится к классу случайных процессов, вероятности со-
стояний которых на n-м шаге зависят от состояния на предыдущем шаге.
Непосредственные переходы между состояниями описываются переходны-
ми вероятностями.
Переходной вероятностью (вероятностью перехода) на n-м шаге называет-
ся условная вероятность непосредственного перехода si sj на n-м шаге при
условии, что на (n 1)-м шаге система находилась в состоянии si:
)(n
ij
p
= p[S(n) = sj / S(n 1) = si], i, j = 1, 2, 3, …,
где S(n) и S(n 1) – обозначение случайного состояния на n-м и (n 1)-м шаге
соответственно.
Понятие однородной цепи Маркова. Граф состояний
Однородной цепью Маркова называется случайный процесс с дискретными состояниями и с дискретным временем, вероятности состояний которого на
любом шаге определяются только состоянием на предыдущем шаге:
)(n
ij
p
= pij, i, j = 1, 2, 3, …
Смысл свойства однородности заключается в том, что переходные вероят-
ности не зависят ни от номера шага, ни от состояний на предшествовавших шагах. А это означает, что условия протекания процесса не изменяются с течением
времени.
12
Таким образом, вероятности pi1, pi2, pi3, … образуют распределение вероят-
ностей попадания из состояния si в состояния s1, s2, s3, … за один шаг. Это распределение не зависит от номера шага, на котором происходит переход.
Замечание. Если переходные вероятности зависят от номера шага, то такая
цепь будет неоднородной.
В случайном процессе с дискретными состояниями и с дискретным временем можно выделить три части: прошлое, настоящее и будущее относительно
некоторого шага n0:
прошлое (n n0)
настоящее (n0)
будущее (n n0)
Однородная марковская цепь обладает свойством независимости будуще-
го от прошлого при фиксированном настоящем. Будущее процесса (системы)
зависит только от настоящего и не зависит от прошлого, то есть не зависит от
того, каким путем система попала в настоящее. Таким образом, можно сказать,
что при фиксированном настоящем будущее и прошлое однородной цепи Маркова независимы.
Это свойство принято называть отсутствием последействия или марков-
ским свойством.
Марковское свойство может быть определено также следующим образом:
для любого шага n0 вероятность любого состояния системы в будущем (то есть
при n n0) зависит только от ее состояния в настоящем (то есть при n = n0) и не
зависит от того, когда и каким образом система пришла в это состояние.
Для наглядности и лучшего восприятия цепь Маркова изображают в виде
ориентированного графа, вершинами которого являются состояния, а ребрами
– события, обуславливающие непосредственные переходы между состояниями.
Каждому ребру приписывается переходная вероятность. Если ребро отсутствует, то переходная вероятность равна нулю. Возможные задержки в прежнем состоянии изображают стрелкой-петлей.
Пример. На рисунке приведен граф из трех состояний. Множество состоя-
ний системы = {s1, s2, s3}.
1/2 1/2 1/3
s1
1/2
s2
1/4
s3
2/3 1/4
Переходные вероятности: p11 = 1/2, p12 = 1/2, p21 = 1/4, p22 = 1/2, p23 = 1/4,
p31 = 2/3, p33 = 1/3.
13
Среднее число шагов нахождения в состоянии
p
ii
s
i
1 – p
ii
На рисунке приведена часть графа состояний, относящаяся к состоянию si.
Здесь указаны две вероятности: вероятность pii того, что состояние не изменится за один шаг, и вероятность 1 pii того, что состояние изменится за один
шаг (pii < 1).
После попадания в состояние si система будет находиться в нем случайное
число шагов, обозначенное через Ni. Найдем среднее число шагов (или математическое ожидание числа шагов) нахождения в состоянии si.
Обозначим через qii(n) вероятность того, что на n-м шаге система будет в со-
стоянии si при условии, что до n-го шага система не покидала это состояние.
Пусть процесс начинается также в состоянии si, то есть начальная вероятность
qii (0) = 1. Выпишем очевидные соотношения:
qii (0) = 1; qii (1) = qii (0)pii= pii; qii (2) = qii (1)pii=
2
ii
p
;
qii (3) = qii (2)pii=
3
ii
p
; … qii (n) = qii (n – 1)pii=
n
ii
p
.
Среднее число шагов нахождения в состоянии si до выхода из него опреде-
ляется суммой этих вероятностей, которая представляет собой сходящийся геометрический ряд (геометрическую прогрессию):
M(Ni) = 1 + pii +
2
ii
p
+
3
ii
p
+ … +
n
ii
p
+ … =
ii
p1
1
.
Таким образом, среднее число шагов нахождения в состоянии si до выхода
из него будет M(Ni) = 1/(1– pii).
Из этой формулы следует: чем больше вероятность pii, тем больше среднее
время нахождения в состоянии si. Эта зависимость иллюстрируется следующей
таблицей:
pii
0,01
0,1
0,5
0,9
0,99
M(Ni)
1,01
1,11
2,0
10,0
100,0
14
Классификация состояний
Рассмотрим следующие типы (классы) состояний: достижимые, сообщающиеся, несущественные и существенные, эргодическое множество и поглощающие состояния.
Состояние sj достижимо из состояния si, если за некоторое число шагов система переходит из si в sj, то есть существует такое n, что pij (n) > 0.
Смысл достижимости: если из si можно по стрелкам пройти в sj, то состояние sj достижимо из si.
Пример. На приведенном графе состояние s4 достижимо из состояния s1,
однако s1 не достижимо из s4:
s1 s2 s3 s4
Замечание. Здесь и далее на рисунках не указаны вероятности pii. Отсут-
ствие этих вероятностей на рисунках не меняет смысла приведенных иллюстраций.
Сообщающимися называются состояния si и sj, если они взаимно достижимы, то есть существуют такие m и n, что pij (m) > 0, pji (n) > 0.
Пример. На приведенном графе состояния s1 и s2 взаимно достижимы, то
есть они сообщаются:
s1 s2 s3 s4
Состояние si называется несущественным, если имеется такое состояние
sj и такое число шагов m, что pij (m) > 0, однако pji (n) = 0 при любом n. Состоя-
ние si называется существенным, если не имеется таких состояний sj, то есть
любое состояние, достижимое из si, сообщается с этим состоянием si.
Смысл этих состояний. Для несущественного состояния si имеется достижимое из него состояние sj, однако si не достижимо из sj. Иными словами, из
каждого несущественного состояния система каким-либо образом может уйти в
одно из существенных состояний и больше никогда в это несущественное состояние не вернется.
Несущественные и существенные состояния образуют соответственно множества несущественных и существенных состояний. Попав в множество существенных состояний, система никогда из него не выйдет.
15
Пример. На приведенном графе состояния s1 и s2 являются несущественны-
ми, а состояния s3, s4, s5 образуют множество существенных состояний.
несущественные состояния
s1
s2
s3 s4 s5
существенные состояния
Теорема. При n конечная цепь Маркова будет находиться только в су-
щественных состояниях.
Теорема приведена без доказательства.
Смысл теоремы: если начальным является несущественное состояние, то с
течением времени вероятность нахождения в несущественных состояниях
стремится к нулю, то есть при n конечная цепь Маркова будет находиться
только в существенных состояниях.
Эргодическое множество состояний – это множество существенных сообщающихся состояний.
Смысл эргодического множества: из любого состояния можно попасть в
любое другое состояние и из этого множества нельзя выйти (после попадания в
него), то есть система, попадающая в эргодическое множество, никогда его не
покидает.
Примеры эргодических множеств:
а)
s1 s2
б)
s1 s2 s3
Поглощающим называется состояние, если система после попадания в это
состояние из него не выходит. Если si – поглощающее состояние, то переходные
вероятности pii = 1 и pij = 0 для всех j i.
Цепь Маркова с поглощением – это цепь, множество состояний которой
содержит хотя бы одно поглощающее состояние.
Замечание. Поглощающее состояние можно рассматривать как частный случай эргодического множества, состоящего из одного состояния.
16
Матрица переходных вероятностей
Матрица переходных вероятностей является матричной характеристикой
переходов между состояниями марковской цепи:
P = pij .
Матрица переходных вероятностей является стохастической. Это значит,
что она обладает двумя свойствами:
1) свойством неотрицательности, pij 0;
2) свойством нормированности:
1
j
ij
p
для всех i или P·
e
=
e
, то есть сумма
элементов любой строки равна 1.
Каждая i-я строка представляет собой распределение условных вероятно-
стей перехода pi1, pi2, pi3, …
Если множество состояний является конечным, то матрица переходных вероятностей является квадратной.
Вероятности состояний однородной цепи Маркова
Вероятностью состояния на произвольном шаге называется вероятность
того, что на n-м шаге система будет в состоянии sj при условии, что состояние
si было начальным: pij (n) = p[S(n) = sj / S(0) = si], где S(0) – состояние системы
на начальном шаге.
Выведем рекуррентную формулу для вычисления этих вероятностей.
Пусть состояние si является начальным. На (n 1)-м шаге система будет
находиться в состоянии sk с вероятностью pik(n 1), из которого на n-м шаге она
попадает в состояние sj. Поэтому вероятность попадания в состояние sj через
состояние sk равна pik(n 1)pkj.
По формуле полной вероятности вероятность попадания в состояние sj на nм шаге
pij (n) =
k
kjik
pnp )1(
, n = 1, 2, 3, …
Замечание. Суммирование ведется по всему множеству состояний.
Для нахождения вероятностей состояний и других характеристик системы в
переходном и стационарном режимах целесообразно пользоваться методами
матричного исчисления. Будем записывать вероятности состояний цепи Марко-
ва pij(n) в виде матрицы:
P(n) = pij(n) .
17
Полученное выражение для вероятности pij(n) в матричном виде запишется
так:
P(n) = P(n 1)P.
Каждый элемент матрицы P(n) представляет собой произведение i-й строки
матрицы P(n 1) на j-й столбец матрицы P.
Замечания. 1. Получено прямое уравнение Колмогорова-Чепмена для мар-
ковской цепи в отличие от обратного уравнения: P(n) = PP(n 1).
2. Уравнение Колмогорова-Чепмена в более общем виде
а) в развернутой форме: pij (m + n) =
k
kjik
npmp )()(
;
б) в матричной форме: P(m + n) = P(m)P(n).
Для однородной марковской цепи матрицы вероятностей состояний на пер-
вом, втором и т.д. шагах: P(1) = P(0)P = EP = P; P(2) = P(1)P = P2;
P(3) = P(2)P = P3; P(4) = P(3)P = P4; … P(n) = P(n 1)P = Pn,
где P(0) = E единичная матрица.
Замечания. 1. Принято, что P(0) = P0 = E является единичной матрицей.
2. Матрица P(n) является стохастической.
На начальном шаге (n = 0) начальным может быть не одно, а несколько состояний. В этом случае задают начальные вероятности состояний.
Начальная вероятность pi(0) состояния si это вероятность того, что в начале процесса, то есть на начальном шаге, система находится в состоянии si:
pi(0) = p[S(0) = si]. Будем записывать начальные вероятности в виде распределения (строки): p(0) = p1(0) p2(0) p3(0) ….
Распределение начальных вероятностей состояний является стохастическим,
то есть оно обладает свойствами неотрицательности и нормированности:
pi(0) 0; p(0)
e
=
1)0(
i
i
p
для всех i, где
e
– столбец, все элементы которого равны 1.
Если начальным является одно определенное состояние si, то элемент, соответствующий этому состоянию, равен 1, то есть pi(0) =1, а остальные элементы
равны нулю. Например, если начальным является первое состояние, то
p
(0) = 1 0 0 0 ….
18
Распределение вероятностей состояний на n-м шаге будем записывать в виде сроки:
p
(n) = p1(n) p2(n) p3(n) ….
Очевидно, что j-й элемент этой строки равен произведению строки p(n 1)
на j-й столбец матрицы P, или
p
(n) = p(n 1)P.
Запишем эту рекуррентную формулу для n = 1, 2, 3, 4, … и для общего слу-
чая: p(1) = p(0)P ; p(2) =p(1)P =p(0)P2 ; p(3) = p(2)P =p(0)P3 ;
p
(4) = p(3)P =p(0)P4 ; … p(n) =p(n 1)P =p(0)Pn .
Замечание. Строка p(n) является стохастической.
Итак, получены распределения вероятностей состояний цепи Маркова на
произвольном шаге при фиксированном начальном состоянии и при заданном
начальном распределении. Эти распределения получены из соответствующих
рекуррентных формул:
Матрица вероятностей состояний цепи Маркова при начальных условиях P(0) = E
P(n) = Pn
Распределение вероятностей состояний цепи Маркова при заданном начальном распределении p(0)
p
(n) =p(0)Pn
Выводы. 1. Матрица P(n) вероятностей состояний на n-м шаге полностью
определяет вероятности состояний марковской цепи на любом шаге в будущем
при любом начальном состоянии.
2. Распределение p(n) вероятностей состояний марковской цепи на n-м ша-
ге полностью определяется заданным начальным распределением и номером
шага.
Предельные вероятности эргодической цепи Маркова
Эргодическая цепь Маркова – это такая цепь, множество состояний кото-
рой образует одно эргодическое множество.
Предельной вероятностью j состояния sj эргодической цепи Маркова
называется вероятность нахождения в этом состоянии при n , то есть в да-
леком будущем.
Синонимы: финальная вероятность, стационарная вероятность.
Смысл предельной вероятности: j есть средняя доля числа шагов нахожде-
ния в состоянии sj при бесконечном протекании процесса.
19
Теорема о существовании и единственности предельных вероятностей.
Для эргодической однородной цепи Маркова существует единственное предельное распределение вероятностей состояний, не зависящее от начального
состояния:
j =
)(lim np
ij
n
.
Теорема приведена без доказательства.
Смысл теоремы: предельные вероятности j существуют и не зависят от то-
го, каким было начальное состояние.
Замечания. 1. Другая возможная формулировка приведенной теоремы: Для
того чтобы существовали предельные вероятности, не зависящие от начального
состояния, необходимо и достаточно, чтобы цепь была эргодической.
2. Иногда эргодическую цепь определяют через существование предельных
вероятностей: цепь Маркова называется эргодической, если для нее существуют предельные вероятности, не зависящие от начального состояния.
Поскольку вероятности j не зависят от начального состояния, то они не зависят и от начального распределения, то есть
)(lim np
n
,
где = (1 2 3 …) предельное распределение вероятностей.
Следующая теорема связывает распределение и матрицу P.
Теорема о связи предельных и переходных вероятностей эргодической цепи.
Для эргодической марковской цепи выполняется условие:
= P.
Доказательство. Известно, что
Pnpnp )1()(
. Устремив n , получим:
)(lim np
n
,
)1(lim np
n
, то есть = P.
Теорема доказана.
Замечание. Распределение называют также финальным, стационарным,
предельным, инвариантным; иногда его называют еще неподвижным вектором
матрицы P.
Смысл теоремы. Матричное уравнение = P представляет собой одно-
родную систему линейных алгебраических уравнений относительно неизвест-
ных j. Число неизвестных равно числу уравнений.
Система уравнений является однородной, поэтому она совместна, однако ее
решение является неопределенным, то есть решений бесконечно много. Неопределенность системы обусловлена тем, что строки матрицы P являются линейно зависимыми: на них наложена одна связь, а именно, свойство нормированности стохастической матрицы (сумма элементов любой строки равна 1).
Поэтому ранг матрицы P на единицу меньше числа неизвестных.
20
Добавив линейно независимое уравнение 1 + 2 + 3 +…+ m = 1, получим
систему, ранг которой равен числу неизвестных. Эта система уравнений является неоднородной, ее решение является единственным. Полученную систему
уравнений можно решить известными методами, например, методом Гаусса.
Если из системы убрать любое линейно зависимое уравнение, то получим систему m уравнений с m неизвестными, и ее можно решить методом Крамера.
Приведем без вывода две формулы для вычисления предельных вероятностей.
Первая формула основана на вычислении определителей:
m
k
k
j
m
k
j
j
j
PE
PE
11
)det(
)det(
π
,
где Pj матрица, полученная из исходной матрицы P вычеркиванием j-й строки и j-го столбца; E единичная матрица; j = det(E Pj) определитель мат-
рицы E Pj.
По этой формуле предельную вероятность можно вычислить только после
вычисления всех определителей и нахождения их суммы.
Вторая формула основана на обращении матриц:
ePEp
j
j
j
1
)(1
1
π
,
где Pj и Е матрицы, определенные в первой формуле;
j
p
j-я строка матрицы
P без элемента pjj;
e
столбец, все элементы которого равны 1.
По этой формуле вычисление каждой предельной вероятности j связано с
вычислением обратной матрицы, порядок которой на единицу меньше порядка
исходной матрицы.
Замечания. 1. Размеры перемножаемых матриц согласованы.
2. На практике можно использовать комбинацию этих двух формул.
Вывод. Матрица переходных вероятностей P эргодической однородной
цепи Маркова достаточна для нахождения предельных вероятностей.
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]