Вопрос 5. Понятие дискретной цепи Маркова и ее вероятностных характеристик.

Ответ:

Марковским случайным процессом с дискретным временем называется такой процесс, у которого переходы из одного состояния в другое возможны в строго определённые заранее заданные моменты времени называемые шагами процесса.

Такой процесс называется цепью Маркова или процессом с дискретным параметром Т, который может быть процессом с конечным или бесконечным множеством состояний.

Пусть – некоторое конечное или счетное множество. Последовательность случайных величин , принимающие значения из заданного множества с вероятностями Таким образом, – случайная величина с дискретным (конечным или счетным) множеством состояний . Случайную последовательность указанного типа называют дискретной цепью.

Случайная последовательность называется дискретной цепью Маркова, если она является дискретной цепью и обладает марковским свойством, т.е. для любых и любых элементов множества выполнено .

Определение. Вероятность случайной величины попасть в состояние , если известно, что находится в состоянии , называется одношаговой переходной вероятностью и обозначается .

Определение. Матрица , элементами которой являются вероятности перехода , называется переходной матрицей цепи маркова за один шаг.

Определение. Цепь маркова называется однородной, если для всех переходные вероятности не зависят от номера испытания (шага), т.е. остаются постоянными в ходе процесса .

Определение. Вероятность называется вероятностью состояния в момент времени . Вектор называется распределением вероятностей состояний цепи Маркова в момент .

удовлетворяет при каждом условию нормировки: . Компоненты векторы показывают, какие из возможных состояний цепи Маркова в момент являются наиболее вероятными, а какие – нет.

Пара полностью описывает вероятностную структуру однородной цепи Маркова.

Вопрос 6. Вероятностная структура однородной цепи маркова (вывод формулы ).

Ответ:

Цепь Маркова называется однородной, если для всех n ≥1 переходные вероятности не зависят от номера испытаний, т.е. остаются постоянными в ходе процесса: p_ij(n) = p_ij.

Вероятность p_k(n) = P {X_n = e_k}, e_k ∈ E называется вероятностью состояния e_k в момент времени n ≥0. Вектор p(n) = (p₀(n), p₁(n), …) называется распределением вероятностей состояний цепи Маркова X_n в момент n ≥0.

Компоненты вектора p(n) показывают, какие из возможных состояний цепи Маркова в момент n являются наиболее вероятными, а какие нет. Процесс полностью определен, если задана матрица переходных вероятностей и вероятности начальных состояний.

Теорема. Пара (P, p(0)) полностью описывает вероятностную структуру однородной цепи Маркова.

Доказательство. По определению условной вероятности имеем:

P{X₀ = e₀, X₁ = e₁, … , X_n = e_n} = P{X_n = e_n/ X₀ = e₀, X₁ = e₁, … X_n-1 = e_n-1} × P{X₀ = e₀, X₁ = e₁, … , X_n-1 = e_n-1}.

Но по определению марковского процесса:

P{X_n = e_n/ X₀ = e₀, X₁ = e₁, … X_n-1 = e_n-1} = P{X_n = e_n/ X_n-1 = e_n-1} = .

Используя последние два неравенства, получим:

P{X₀ = e₀, X₁ = e₁, … , X_n = e_n} = P{X_n = e_n/ X₀ = e₀, X₁ = e₁, … X_n-1 = e_n-1}• .

Используя индукцию, окончательно имеем:

P{X₀ = e₀, X₁ = e₁, … , X_n = e_n} = p_i0

Или в векторной форме: p(n) = p(0)Pⁿ.