1. Введение.

Задачи оптимального управления очень сложны для формализации и аналитического исследования. Системы марковского типа представляют из себя простейший пример управляемого объекта. Ограничения, накладываемые на исследуемый процесс в этом случае достаточно жесткие и для большинства реальных систем не выполняются. Тем не менее выводы, которые следуют из теории оптимального управления в марковских системах имеют большое значение для теории оптимального управления в целом, так как являются основой разработки вычислительных алгоритмов управления для более сложных объектов и позволяют определить основные тенденции оптимального управления конкретной системой.

2. Основные понятия теории марковских процессов.

Рассмотрим дискретные моменты времени {t_k}, k = 1, 2, ... . Пусть - случайные величины (СВ), характеризующее состояние системы в момент времени t_k . Семейство СВ { }, k=1, 2,... образует стохастический процесс (случайный процесс). Состояния системы, в которых она может находиться в момент t_k, то есть допустимые значения случайных величин , образуют полную группу несовместных событий. Число состояний системы может быть конечным или бесконечным.

Система, состояние которой описывается стохастическим процессом, называется стохастической.

Марковский процесс описывает поведение стохастической системы, в которой наступление некоторого состояния зависит только от непосредственно предшествующего состояния и не зависит от других предшествующих состояний. Если t₀ < t₁ < ... < t_n - моменты времени, то семейство случайных величин { } является марковским процессом, при условии, что оно обладает следующим марковским свойством:

при всех возможных значениях .

Вероятность называется переходной вероятностью. Она представляет собой условную вероятность того, что система находится в состоянии x_n в момент времени t_n , если известно, что в момент t_n-1 она находилась в состоянии x_n-1 . Эту вероятность еще называют одношаговой переходной вероятностью, так как она описывает изменение состояния системы между соседними моментами времени.

Аналогично, m - шаговая переходная вероятность определяется следующим образом:

.

Пусть E₁ , ... , E_j , ... , E_N представляют собой полную группу несовместных событий и обозначают возможные состояния системы в любой момент времени. В момент t₀ система может находится в любом из состояний E_j . Обозначим - вероятность того, что в начальный момент времени t₀ система находится в состоянии E_j. Пусть данная система является марковской. Для упрощения дальнейших преобразований будем для обозначения состояния E_j использовать обозначение j. Определим вероятность:

как одношаговую вероятность перехода из состояния i в момент времени t_n-1 в состояние j в момент t_n . Будем считать вероятности p_ij стационарным по времени. Вероятности p_ij можно представить в виде матрицы:

Матрица Р называется матрицей переходных вероятностей (стохастической матрицей).

Вероятности p_ij должны удовлетворять условиям:

, p_ij ³ 0 для любых i и j.

Определение: матрица переходных вероятностей P совместно с исходными вероятностями полностью задает марковскую цепь, то есть процесс перехода системы из начальных состояний в последующие.

Обозначим - полные вероятности состояний системы после n переходов, то есть в момент t_n. Величины вычисляется следующим образом:

- по формуле полной вероятности;

где - двухшаговая вероятность или вероятность второго порядка (вероятность перехода из состояния k в состояние i за 2 шага).

Аналогично, по индукции можно показать, что:

где - есть n-шаговая переходная вероятность, определяемая рекуррентной формулой:

.

В общем виде для перехода из состояния i на шаге m в состояние j на шаге n используются уравнения:

,

называемые уравнениями Колмогорова-Чепмена.

Если вероятности рассматривать как элементы матриц перехода высших порядков { }, то матрица перехода второго порядка вычисляется по формуле:

или в общем виде:

,

то есть переходные вероятности можно определить, возводя в соответствующую степень одношаговую матрицу переходных вероятностей.

Если полные вероятности определены в векторной форме:

,

то для их вычисления используется формула:

.

Рассмотрим следующую марковскую цепь с двумя состояниями:

с вектором начальных вероятностей состояний системы:

.

Определим полные вероятности состояний системы .

Предварительно вычислим соответствующие матрицы переходных вероятностей:

Тогда полные вероятности состояний системы будут равны:

В матрице Р⁸ строки незначительно отличаются друг от друга и соответствующих элементов вектора . Это общий результат марковских цепей: долгосрочные полные вероятности не зависят от начального состояния (то есть от вектора ). Эти вероятности называются установившимися.