Вопрос 13. Вывод дифференциальных уравнений Колмогорова. Составление уравнений Колмогорова с использованием графа состояний.

Ответ:

Пусть – Марковский процесс, причем для всех пар состояний и определены плотности вероятностей переходов и . Тогда вероятности состояний системы удовлетворяют системе уравнений Колмогорова:

Доказательство:

Используем равенство Колмогорова-Чепмена, а именно:

И используем определение интенсивности переходов, тогда

Учитывая, что , получим

Подставляя последние два условия, выделив слагаемое , имеем:

Переходя к пределу при , получим:

, iЕ, или

Полученные уравнения (1) называются дифференциальными уравнениями Колмогорова. Система (1) имеет решение при каждом p(0)=p₀(0),p₁(0), ….

Для практического составления уравнений Колмогорова удобно пользоваться графическим представлением процесса в виде стохастического графа.

Правило. Вершинами графа являются состояния процесса, стрелками указываются возможные переходы, а рядом с каждой стрелкой указывается соответствующая интенсивность перехода. В левой части каждого уравнения стоит дробь , в правой части столько слагаемых, сколько стрелок связано с состоянием i_k. Слагаемые берутся со знаком «+», если стрелка направлена к состоянию, и со знаком «-», если стрелка выходит из состояния i_k. Каждое слагаемое равно произведению интенсивности перехода, указанной на стрелке, на вероятность того состояния, из которого стрелка выходит.

i

j

Пример. Выписать уравнения Колмогорова по следующему графу.

Решение.

i₁

i₂

i₃

Вопрос 14. Эргодические свойства однородных марковских случайных процессов.

Ответ:

Марковский процесс X(t), t≥0 называется эргодическим, если для любого начального распределения вероятностей состояний {p_k(0), k } предельные вероятности , причем { не зависят от {p_k(0), k } и удовлетворяют условию: При этом распределение вероятностей { называется стационарным распределением процесса X(t).

Если выполнены условия, то распределение { существует и удовлетворяет уравнениям Колмогорова:

Система уравнений справедлива, если X(t) имеет конечное число сообщающихся состояний.

Вопрос 15. Определение предельных вероятностей состояний Марковского процесса для двух состояний.

Ответ:

Определим предельные вероятности состояний марковского процесса , в случае когда имеется 2 состояния .

i₁

i₂

Система уравнений Колмогорова примет вид:

Зададим начальное распределение , 01. Подставляя

p₁=1-p₂ в первое уравнение системы, получаем

Решим задачу Коши для линейного неоднородного уравнения.

.

В силу того, что при t, получаем по определению

. Аналогично получаем .

Замечание. Полученные результаты можно вывести, если воспользоваться не определением, а системой дифференциальных уравнений (2):

Решив систему, получим те же результаты.

Вопрос 16. Понятие пуассоновского процесса. Примеры.

Ответ:

Простейшим потоком событий называется целочисленный процесс, удовлетворяющий следующим условиям:

1) X(t) – однородный или стационарный процесс, т.е. его приращение зависит от величины приращения аргумента P{X(t+h) – X(t) = k} = P{X(h) = k}, ∀ t, h ≥0.

2) X(t) – ординарный процесс, т.е. события в потоке следуют строго одно за другим и не происходят вместе P{X(t+h) – X(t) = 1} = λh + 0(h), P{X(t+h) – X(t)> 1} = 0(h).

3) X(t) – процесс без последствий, т.е. случайные величины {X(t₁), X(t₂) – X(t₁), …} независимы в совокупности.

Ординарный процесс без последствий называется пуассоновским процессом.

Из св-ва 2 получим два важных следствия:

a) P{X(t+h) – X(t) = 0} = 1 – P{X(t+h) – X(t) ≥ 1} = 1 - λh + 0(h).

б) P {X (0) = 0} = 1.

Действительно, P{X(t+h) – X(t) = 0 = P{X(h) = 0} = 1 - λh + 0(h), если h = 0, то P {X (0 = 0} = 1.

Условие 2, 2а, 2б можно записать в виде:

*Граф пуассоновского процесса*(стр. 45)

Уравнения Колмогорова:

Начальные условия p(0) = (1;0;0; … 0) имеют вид, обусловленный следствием (б).

Для решения системы уравнений Колмогорова рассмотрим производящую функцию

Очевидно, что удовлетворяет условию уравнения

Получим

следовательно,

В полученном выражении X(t) = λt --- среднее число появления события за время (0;t).

Т.о., при каждом t случайная величина X(t) распределена по закону Пуассона с параметром λt.

Процесс Пуассона не имеет ни стационарного, ни предельного распределения, т.к

∀k, и, следовательно,