Марковські процеси

Часто розподіли сигналів і завад є суттєво негаусівськими. Атмосферні, промислові, активні завади, які виникають внаслідок випадкової модуляції високочастотного коливання шумом, імпульсні та інші види завад потребують розробки негаусівських моделей. З розвитком техніки негаусівські моделі набувають все більшого значення i в багатьох задачах обробки сигналів стають основними.

Великі можливості моделювання випадкових процесів з негаусівським розподілом надає використання марківськіх процесів. До класу марківських моделей входять гаусівські (марківські) і негаусівські, корельовані і, як окремий випадок, некорельовані неперервні та імпульсні сигнали і завади.

Як вироджені випадки сюди входять також квазідетерміновані процеси. Важливою обставиною є збіжність за певних умов немарковського процесу з марковським і можливість апроксимації реальних процесів марківськими. Марківські моделі широко використовують в задачах виявлення сигналів.

Марковський ланцюг

Розглянемо процес X(t_i) , що зветься дискретною випадковою послідовністю. У кожний момент часу t=t_i він набуває одного з дискретних значень ₁,...,_k і зберігає його до майбутнього моменту. Якщо в попередній момент t=t_i-1 процес мав значення _l, то в момент t=t_i він може лишитися в тому ж значенні чи набути будь-якого іншого, що зображена на рис.1.1.

Рис.1.1.Реалізація марковського ланцюга

Повне імовірнісне описання процесу дає скінченно-вимірна ймовірність

P_m = P{X(t₁)=_k1, X(t₂)=_k2,..., X(t_m)=_km},

визначена для різних значень m, k. На основі теореми добутку імовірностей можна записати

. (1.9)

Тобто безумовну ймовірність реалізації m значень дискретної випадкової послідовності записано у вигляді добутку безумовної ймовірності послідовності m-1 значень на умовну ймовірність m-го значення _m, що має назву ймовірності переходу на m  1-му кроці.

Якщо таким же способом запиcати безумовну ймовірність

,

і так далі до P₂ включно, то отримаємо:

(1.10)

Формула (1.10) справедлива для будь-якої дискретної випадкової послідовності. Для обчислення сумісних імовірностей P_m треба задати ймовірність початкового стану P₁(_k1) і вказати фізичний механізм переходу процесу від одного стану до іншого, що дозволить обчислити ймовірності переходу {_}. Можна вказати такі окремі випадки дискретних послідовностей.

1. Імовірність переходу між станами на -у кроці (-й момент часу) не залежить від того, яких значень набував процес у попередні моменти часу:

,

то формула (1.10) набуває виду:

Як відомо, такою формулою описується послідовність незалежних подій або послідовність незалежних значень випадкового процесу, яка утворює окремий (вироджений) випадок ланцюга Маркова.

2. Імовірність переходу від одного стану до іншого на -му кроці залежить лише від того, яке значення мав процес на (-1)-му кроці, і не залежить від значень, яких набував процес у попередні -2 моменти часу:

Процеси, які мають таку властивість, називаються простими ланцюгами Маркова або процесами без післядії, а формула (1.10) змінюється до:

. (1.11)

Визначено, що для двох кроків (m=2) співвідношення (1.11) витікає з теореми добутку ймовірностей і може бути записане завжди. Але вже для трьох кроків марковська властивість накладає суттєві обмеження на вид можливих сумісних імовірностей.

У тому випадку, коли перехідні ймовірності не залежать від моменту часу, марковський ланцюг називається однорідним. Для однорідного марковського ланцюга введемо такі позначення ймовірностей переходу:

,

що прийнято записувати як квадратну матрицю з невід’ємними елементами

(1.12)

яка має назву матриці переходу. Її особливістю є те, що в кожному рядку записані ймовірності всіх можливих переходів із вибраного стану в усі інші можливі стани. Ці переходи утворюють повну групу подій так, що сума ймовірностей у кожному рядку дорівнює одиниці. Матриці такого роду в літературі називаються стохастичними.

Матриця переходу (1.12) дає повну інформацію про ймовірності переходу за один крок. Якщо треба обчислити ймовірність переходу однорідного марковського ланцюга з і-го стану в j-й стан за два кроки, то це можна зробити скориставшись формулою:

. (1.13)

Сукупність ймовірностей переходу за два кроки утворює матрицю переходу за два кроки

У загальному випадку матриця переходу за n кроків обчислюється як n-й ступінь матриці переходу за один крок

Для обчислення розподілу ймовірностей станів марковського ланцюга на n-му кроці треба знати матрицю-рядок ймовірностей початкових станів

де P_i(0)=P{X(0)=_i}, i=1,...,k  імовірність того, що процес почнеться з i-го стану. Тоді розподіл імовірностей на n-му кроці обчислюється за формулою

.

Перехід процесу із стану _i в стан _j за кілька кроків може відбуватися кількома шляхами. Якщо розглядати перехід за n кроків і визначити будь-який S-й момент (1Sn), то для обчислення імовірностей _ij(n) необхідно знати матриці переходу П(S) і П(nS). Тоді

або у матричному вигляді

. (1.14)

Співвідношення (1.14) виконується для будь-якого S (1Sn), воно має фундаментальний характер в теорії марківських ланцюгів і виражає зв’язок між ймовірностями переходу для будь-яких трьох послідовних моментів часу. Його називають рівнянням Колмогорова Чепмена.