25. Определение вероятности нахождения системы в том или ином состоянии. Классификация методик расчета.

О бозначим через вероятность пребывания процесса в состоянии j после осуществления n переходов:

Если известно состояние системы после n переходов, то вероятность пребывания системы в состоянии с номером j после n+1 переходов будет:

г де i=1,2,..,N.

Д ля всех состояний может быть получена матрица:

,

где .

Подставляя вместо n числа 0,1,2… получим:

В общем случае справедливо равенство:

Если , то это означает, что процесс начинается из состояния x₁.

Тогда будет первой строкой матрицы Pⁿ Элементы первой строки Pⁿ являются вероятностями того, что через n шагов процесс перейдет в соответствующее состояние в предположении, что начальным состоянием было x₁.

Существует большой класс систем, у которых после большого числа переходов вероятности стремятся к постоянным величинам , которые не зависят от начальных условий, таким образом:

Марковский процесс называется эргодическим, если:

• предельное распределение вероятностей состояний не зависит от начальных условий;

• из каждого состояния процесса можно попасть в любое другое состояние.

При большом числе переходов:

Вектор , удовлетворяющий этим условиям, называется вероятностным.

Пример 1:

Дана система с матрицей переходов:

Дерево состояний

Вероятность пребывания системы в том или ином состоянии после 1 перехода:

• Если система в начальный момент времени находится в состоянии 1, то ;

.

Вероятность пребывания системы в том или ином состоянии после 2-х переходов:

Сравнение вероятностей состояний при различных начальных состояниях системы:

Предельные вероятности:

Пример 2:

Определение частоты ошибок вычислительной системы

Вероятность ошибки на каждом цикле зависит от наличия или отсутствия ошибки в предшествующем цикле.

Пусть:

1. Состояние 1 – состояние, в котором ошибки отсутствуют;

2. Состояние 2 – состояние наличия ошибок;

3. - вероятность ошибки, если в предшествующем цикле ошибок не было;

4. - вероятность отсутствия ошибок, если в предшествующем цикле ошибки были.

Решение системы уравнений:

.

26. Невозвратные состояния, поглощающие состояния.

Если предельная вероятность состояния равна 0 – это невозвратное состояние.

После достаточно большого числа переходов попадание в невозвратное состояние невозможно.

Поглощающее состояние – это состояние, для которого = 1.

Пример:

Состояние 1 – невозвратное;

Состояние 2 – поглощающее.

Расчет вероятности нахождения системы в 1 или 2 состоянии:

Эргодический класс.

Эргодический класс – это множество сообщающихся состояний, внутри которого система будет бесконечно долго совершать переходы и никогда не сможет из него выйти.

Каждый марковский процесс должен по крайней мере обладать одним эргодическим классом. При наличии хотя бы единственного эргодического класса марковский процесс является эргодическим.

Пример:

Процесс с двумя эргодическими классами.

Невозвратное состояние