Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
vyshka.doc55.doc
Скачиваний:
1
Добавлен:
01.03.2025
Размер:
1.61 Mб
Скачать

56. Равенство Маркова. Расчет вероятностей состояния системы с использованием матрицы перехода.

.

Эту формулу называют равенством Маркова.

Зная все переходные вероятности , т.е. зная матрицу перехода из состояния в состояние за один шаг, можно найти вероятности перехода из состояния в состояние за два шага, а значит, и саму матрицу перехода , далее – по известной матрице – найти и т.д.

Действительно, полагая в равенстве Маркова n=2, m=1 получим:

или . В матричном виде это можно записать, как .

Полагая n=3, m=2, получим . В общем случае справедливо соотношение .

Если для однородной цепи Маркова заданы начальное распределение вероятностей и матрица перехода, то вероятности состояний системы на n-м шаге вычисляются по рекуррентной формуле:

.

57. Понятие о цепях Маркова с непрерывным временем.

Марковский случайный процесс называется цепью Маркова с непрерывным временем, если переходы системы из состояния в состояние происходят не в фиксированные, а в случайные моменты времени.

Требуется определить для любого момента времени вероятности состояний . При этом, очевидно, должно выполняться условие нормировки:

.

Для процесса с непрерывным временем вместо переходных вероятностей рассматриваются плотности вероятностей перехода , представляющие собой предел отношения вероятности перехода системы за время из состояния в состояние к величине :

, (1)

где – вероятность того, что система, пребывавшая в момент в состоянии , за время перейдет из него в состояние ; при этом всегда .

Если , то процесс называется однородным, если же , то – неоднородным.

При рассмотрении непрерывных марковских процессов принято считать, что переходы системы происходят под влиянием некоторых потоков событий.

Потоком событий называется последовательность событий, следующих одно за другим через какие-то случайные интервалы времени. Как правило, в графе состояний над стрелками проставляют соответствующие переходам интенсивности . Такой граф называют размеченным. (это такие кружочки с S1, S2…. Внутри и стрелками от одного к другому)

58. Уравнения Колмогорова. Финальные вероятности цепей Маркова с непрерывным временем.

В случае марковской системы с непрерывным временем и конечным числом состояний их вероятности могут быть найдены с помощью решения системы дифференциальных уравнений Колмогорова:

, (2)

где .

Величина называется потоком вероятности перехода из состояния в состояние .

Решение системы уравнений Колмогорова необходимо задать начальное распределение вероятностей . Уравнения Колмогорова составляют по размеченному графу состояний системы, пользуясь следующим правилом: производная вероятности каждого состояния равна сумме всех потоков вероятности, идущих из других состояний в данное состояние, минус сумма всех потоков вероятности, идущих из данного состояния в другие.

Если процесс, протекающий в системе, длится достаточно долго, то имеет смысл говорить о предельном поведении вероятностей при .

финальные (предельные) вероятности состояний:

, .,

не зависящие от того, в каком состоянии система находилась в начальный момент. Говорят, что в системе устанавливается предельный стационарный режим, при котором она переходит из состояния в состояние, но вероятности состояний уже не меняются во времени. Система, для которой существуют финальные состояния, называется эргодической, а соответствующий случайный процесс – эргодическим.

Финальные вероятности системы могут быть получены путем решения системы линейных алгебраических уравнений, которые получаются из дифференциальных уравнений Колмогорова.

состояния марковской системы с непрерывным временем существуют при следующих условиях:

  • плотности вероятности всех переходов не должны зависеть от времени ;

из любого состояния системы возможен переход в любое другое состояние за конечное число шагов.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]