Непрерывные марковские цепи

На практике часто встречаются ситуации, когда система имеет конечное число дискретных состояний, а переходы между состояниями происходят в произвольные моменты времени. Например, отказы аппаратуры могут произойти в любой случайный момент времени.

Случайный процесс с непрерывным временем называется непрерывной марковской цепью, если поведение системы после произвольного момента времениtзависит только от состояния в этот момент времени и не зависит от истории процесса, предшествующей моментуt(соблюдается принцип отсутствия последействия).

Очень часто на практике интервалы времени между двумя переходами между состояниями системы подчинены показательному закону распределения

Для непрерывной марковской цепи определим вероятности всех состояний системы для любого момента времени p_i(t), i=1, 2,…, N. Так как для любого моментаtвсе состояния образуют полную группу событий, то

Пусть система в момент времени tнаходится в состоянииS_i. Рассмотрим элементарный промежуток времениt, примыкающий к моменту времениt. Вероятность перехода из состоянияS_iвS_jза промежутокtобозначимp_ij(t). Назовемплотностью вероятности переходавеличину_ij, определяемую так:

,

то есть, при малых t вероятность переходаp_ij(t)  _ij(t) t.

Если все плотности вероятностей перехода не зависят от t, то такой марковский процесс называетсяоднородным:_ij(t) = _ij = const(инеоднородным– в противном случае). При этом для случая, когда интервал времени между переходами системы распределен по показательному закону, плотность вероятности перехода равна параметру показательного закона.

Пусть известны плотности вероятностей переходов _ij для всех пар состоянийS_iиS_j. Определим вероятности состояний системыp_i(t). Для момента времениt+tсправедливо соотношение:

.

Из свойства матрицы переходных вероятностей (сумма вероятностей по строке равна 1) следует:

.

Подставив это в предыдущее выражение, получим:

,

.

Разделим обе части равенства на tи устремим его к нулю, получаем:

.

Получили систему дифференциальных уравнений А.Н.Колмогорова:

,.

Интегрирование этой системы по времени позволит вычислить функции p_i(t). При этом должно соблюдаться условие нормировки.

Колмогоров Андрей Николаевич (1903 - 1987).Великий русский ученый, один из крупнейших математиков XX столетия, член Национальной Академии наук США и американской Академии искусств и наук, член Нидерландской Королевской академии наук, Академии наук Финляндии, Академии наук Франции, Германской академии естествоиспытателей "Леопольдина", Международной академии истории наук и национальных академий Румынии, Венгрии и Польши, почетный член Королевского статистического общества Великобритании, Лондонского математи­ческого общества, Международного статистического института и Математического общества Индии, иностранный член Американского философского общества, Американского метеорологического общества, лауреат самых почетных научных премий: премии П.Л.Чебышева и Н.И.Лобачевского АН СССР, Международной премии фонда Больцано и Международной премии фонда Вольфа, а также государственной и Ленинской премии, награжденный 7-ю орденами Ленина, медалью "Золотая Звезда" Герой Социалистического труда академик Андрей Николаевич Колмогоров сам себя всегда называл "просто профессор Московского университета". На протяжении почти полувека А.Н.Колмогоров был общепризнанным лидером в теории вероятностей. Вместе с А.Я. Хинчиным и многими своими учениками он внес значительный вклад в развитие теории информации. К середине 50-х гг. именно А.Н.Колмогоров предложил наиболее общее определение количества информации в вероятностном смысле, а в дальнейшем развил и другой подход, так называемую алгоритмическую теорию информации, в котором под энтропией понималась сложность объекта, равная сложности алгоритма, описывающего объект.

В эргодических марковских цепях существует установившийся режим, при котором вероятности не меняются с течением времени. Следовательно, p_i(t)=p_i. Производные в системе дифференциальных уравнений Колмогорова при этом равны0и система Колмогорова становится сходной с системой для нахождения стационарных вероятностей для дискретных систем.