Уравнения Колмогорова для вероятностей состояния

При анализе случайных систем с дискретным временем очень важную роль играют вероятности состояния.

Обозначим через S(t) состояние системы в момент времени t. Вероятность i-ого состояния в момент времени t обозначим через . Очевидно, что для системы с дискретными состояниями . Для Пуассоновских системы вероятность состояний описывается системой дифференциальных уравнений Колмогорова.

Пусть в момент времени t система S находится в состоянии . Рассмотрим элементарный промежуток времени на оси t приникающий к моменту времени t. Найдем вероятность того, что за время система под действием потока интенсивностью перейдет из состояния в состояние . Поскольку поток ординарный то, как было показано ранее, эта вероятность равно .Вероятность перехода системы из состояния в состояние равна произведению интенсивности переводящего потока в момент времени t и длины промежутка времени . Это не точное значение, а приближенное.

Чтобы решить систему уравнений Колмогорова мы должны знать начальное состояние системы. Уравнения Колмогорова удобно решать, пользуясь размеченным графиком и следующим математическим правилом: Производная вероятности каждого состояния равна сумме произведений вероятностей всех состояний, из которых идут стрелки в данное состояние на интенсивности соответствующих потоков минус суммарная интенсивность соответствующих потоков выводящих систему из данного состояния на вероятность данного состояния.

Замечание: Если процессы в системе не являются Марковскими, то дифференциальные уравнения Колмогорова для вероятностных состояний составить нельзя.

31.

Эргодические Марковские случайные процессы. Стационарный режим работы системы.

Во многих задачах, когда процесс длится длительное время теорема о предельном поведении вероятности . Если все потоки, протекающие в системе, простейшие, то в некоторых случаях существуют предельные (финальные) вероятности, т.е.

, не зависящие от того, в каком состоянии система S находилась в начальный момент времени. Это говорит о том, что с течением времени в системе устанавливается стационарный режим, т.е. система работает, а вероятности нахождения системы в каждом из состояний постоянны и не зависят от времени. В этом предельном режиме финальная вероятность можно определить как среднее время пребывания системы в каждом из состояний.

Эргодические системы – системы, для которых существуют финальные вероятности.

Эргодические процессы – процессы в эргодических системах.

Для существования финальных вероятностей требуется выполнение некоторых условий, проверить которые можно про графику состояния.

Т ранзитивный процесс – процесс в системе, в которой нет ни одного состояния или группы состояний без выхода и входа, т.е. из любого состояния можно указать такой путь, по которому система переходит в состояние , и указать обратный путь, т.е. нет таких состояний, в которые можно войти и назад не возвратиться.

Транзитивность процесса является необходимым условием, но не достаточным. Если процесс не транзитивный, то по истечении некоторого времени система попадает в одно или группу состояний, откуда она больше не возвращается.

Пример:

Попадание системы в состояние .

Для того чтобы процесс был эргодическим нужно еще, чтобы процесс по времени протекал однородно, т.е. чтобы вероятности перехода из состояния в состояние не зависели от того, какой момент времени система находилась в состоянии , а зависели только лишь от длины промежутков времени.

Система должна быть стационарна, для того чтобы Марковский однородный процесс был однородным, т.е. чтобы все потоки, переводящие систему из состояния в состояние, были простейшими (стационарными Пуассоновскими потоками).

Теорема Маркова: любой транзитивный однородный Марковский процесс с конечным числом состояний обладает эргодическими свойствами, т.е. существует финальная вероятность.

Все время работы эргодической системы можно разбить на два интервала: