7.5. Методы переменных состояния. Случайные марковские модели

Среди наиболее конструктивных стохастических моделей являются модели диффузионного типа, в частности модели марковских процессов. В отличие от теории марковских цепей, где рассматривается математические модели в виде функций или плотностей распределения вероятностей в теории марковских процессов модели представляют сами состояния. Такой марковский процесс, включающий случайную и детерминированную компоненты, представим в виде

, (7.17)

где  регулярная постоянная составляющая;

 регулярно изменяемая (например – синусоидальная) компонента, описываемая обычным интегралом Лебега;

 случайно изменяемая компонента, порожденная винеровским процессом , описываемая интегралами Ито или Стратоновича.

Кроме такого интегрального, часто используется и представление дифференциальным уравнением состояния:

, (7.18)

где  коэффициент состояния процесса численно равный обратной величине интервала корреляции этого процесса ;

 коэффициент генерации, , определяющий уровень случайно изменяющейся компоненты;

 гауссов белый шум (ГБШ), (порождающий процесс). Стандартный ГБШ является -коррелированным процессом с нулевым средним и единичной спектральной плотностью мощности (СПМ).

Для случайного поля состояние становится -размерным вектором, а коэффициенты и  матрицы, недиагональные элементы которых определяют уровни взаимных связей между компонентами системы .

В рассматриваемом методе моделирования динамических систем называемом методом переменных состояния, не исключается, наоборот, широко используются также результаты теории вероятностей и математической статистики. Так, два состояния марковского процесса и связаны между собой переходной плотностью вероятностью:

(7.19)

где  вероятность перехода из состояния в момент времени , в состояние момента , .

В соответствии с теоремой Дуба случайный процесс, представимый уравнением состояния (7.18), относится к классу марковских. Часто уравнение (7.18) называют уравнением формирующего фильтра.

На основе уравнения состояния (7.18) может быть составлен алгоритм формирования процесса . Источником, генератором процесса является более стандартный процесс типа белого гауссового шума (рис. 7.5).

Рис. 7.5. Алгоритм формирования процесса из стандартного белого гауссовго шума

Т

акой алгоритм (формирующий фильтр) может быть представлен и в дискретном виде, что является более естественно для практической реализации на ЭВМ, где имеется стандартная процедура получения гауссового белого шума:

(7.20)

На рисунке 7.6 представлена структура данного алгоритма.

Рис.7.6. Алгоритм формирования дискретного процесса

Данная схема алгоритма будет использоваться при проведении лабораторных работ № 1,2 и 3. На основе реализации представления эргодического стандартного процесса в пространстве состояний может быть построена функция или плотность распределения вероятностей (рис. 7.7.). Если представить дискретные реализации процесса , то последовательность можно рассматривать как статическую выборку. По данной выборке можно построить гистограмму и аппроксимировать е кривой плотности распределения.

Рис. 7.7. Представление процесса в пространстве состояний а) и плотностью распределения б)

Процесс является стационарным, если коэффициенты и не зависят от времени, и наоборот: для нестационарного процесса эти коэффициенты являются функциями времени (7.18). Динамика, в том числе нестационарная, адекватно моделируется дифференциальными или разностными уравнениями в пространстве состояний, в то время как при представлении плотности распределения – проблематично.

Перечисленные и многие другие представления оказываются полезными для решения тех или иных стохастических систем. В то же время модели в пространстве состояний несомненно являются более общими, полными и адекватными представлениями, поскольку отображают состояние всей системы, а не только ее части в виде вероятностных характеристик и позволяет получать адекватные конструктивные модели не только случайных процессов и полей, но и величин.

При решении реальных задач, где свойства динамического процесса не важны, обычно используют предположения о стационарности и эргодичности, что позволяет применять результаты теории вероятностей, а сам процесс – редуцировать к случайной величине. В тех же задачах, где динамика процесса принципиально слажена (управление, сопровождение, переходные явления и др.) гипотеза эргодичности не работает. На практике широко используется предположение о марковости процесса (7.19). Важным достоинством марковских моделей (7.17) и (7.18) является возможность получения адекватных моделей для динамических, в том числе нестационарных, случайных объектов. Достаточно хорошо разработанная прикладная математика для марковских процессов позволяет получать оптимальные оценки , используя фильтры Калмана или Стратоновича, находить оптимальные алгоритмы управления, используя принцип двойственности с алгоритмами оценки и теорему о разделении алгоритмов стохастического управления; синтезировать различные процедуры обработки случайных сигналов, аппроксимируемых широким спектром моделей: случайных величин, процессов или полей. Так, для случайной величины уравнение состояния (7.18) вырождается:

. (7.21)

Очевидно состояние системы, определяемой уравнением (7.18), постоянно во времени. Случайность такой системы состоит в неизвестном значении самого состояния и наличии шумов наблюдения (измерения) , входящих в уравнение наблюдения

, (7.22)

где  матричный коэффициент, элементы которого являются ничем иным, как переходными влияниями при измерениях. Кроме того они определяют сдвиг и масштаб наблюдаемого процесса .

Уравнение наблюдения можно интерпретировать как самостоятельную модель типа «вход/выход» или «черный ящик» (рис. 7.8). Что же касается модели состояния (7.19), то она уже не укладывается в рамки черного ящика из-за различий в конкретизации внутренней структуры самой системы, возможной нелинейности, нестационарности, распределенности. Следует заметить, что адекватной моделью ТКС может быть только -мерное случайное поле , где взаимные связи определяют главные свойства (целостность, эмерджентность) этой сложной организационно-технической системы. При этом указанные взаимные связи в этой системе могут носить как вероятностный (корреляционный), так и регулярный, функциональный характер. Взаимная связь между компонентами и образованная в силу зависимых измерений, например при наличии переходных влияний, которые учитываются недиагональными элементами , к внутренним свойствам системы не относится. Она носит скорее мешающий характер и часто ее тем или иным методом устраняют.

Рис. 7.8. Структура модели наблюдения

Учитывая то, что ТКС представляет собой сложную организационно-техническую систему, для нее не удается подобрать какой-либо одной общей математической модели. Множество моделей отображает различные функциональные свойства на уровне элементов, сети, предоставления услуг, бизнес-процессов. Целенаправленность ТКС определяется управлениями на каждом из уровней в соответствии с принятыми критериями оптимальности или же критериями достижимости (например, достижимости уровня качества обслуживания).

На практике редко встречаются чисто детерминированные или чисто случайные системы. Детерминированные модели весьма удобные для анализа и синтеза: здесь широко разработанный и относительно простой математический аппарат, имеется возможность представлений во временной и в частотной областях для линейных моделей. При использовании стохастических моделей – иная процедура дифференциальных и интегральных преобразований, кроме того необходимо четко определиться: какой конкретно моделью следует аппроксимировать данную систему – случайным процессом или случайной величиной.