Глава V.

{

I ПРИМЕНЕНИЕ ТЕОРИИ МАРКОВСКИХ СЛУЧАЙНЫХ ПРОЦЕССОВ

ДЛЯ ОПРЕДЕЛЕНИЯ ОПТИМАЛЬНЫХ РЕШЕНИЙ

§15. Общие сведения

Среди случайных процессов важное значение имеет так называемый марковский процесс, названный так в честь известного русского ученого Маркова А.А. (1856-1922).

| Теория марковских случайных процессов впервые была изложена в книге академи— , ка Колмогорова А.Н. "Основные положения теории вероятностей", М., "Наука", 1936г. ! Случайный процесс называется марковским в том случае, если вероятность | будущего состояния системы, отвечающей данному процессу, зависит только от ео | состояния в настоящий момент времени и не зависит от того, в каких состояниях она I была в прошлом. В связи с этим, марковские процессы называются процессами без последствия.

Марковский процесс называется процессом с дискретными состояниями, если пе— ! реход системы из состояния в состояние совершается скачком, т.е. мгновенно. Ти­пичным примером марковского случайного процесса с дискретными состояниями яв­ляется работа АТС. Марковские процессы с дискретными состояниями графически | изображаются графом состояний. Так, например, если АТС имеет две линии, го граф | ее состояний можно представить рис. 11.

На рис. 11 обозначено:

Х_о — состояние системы, когда обе линии свободны; вероятность этого сост ния обозначается г^ ; г

ЭС-) — состояние системы, когда занята одна линия; вероятность этого coctos,₍

ния обозначается R) ; Х^ — состояние системы, когда заняты обе линии; вероятность этого состоЯ|

ния обозначается Р^ ; rjj — вероятность перехода системы из состояния в состояние (см. [6], [12

и др.

Состояние системы характеризуется вектором состояний. Применительно к рис, состояние системы в начальный момент времени при "С - 0 запишется так _;

Это значит, что в начальный момент времени система находится в состоянии Х_о вероятностью,равной единице.

Примечание. Как будет показано ниже, на основе вероятностей состояний систеь определяются такие характеристики, как математическое ожидание числа занятых к налов, математическое ожидание длины очереди, математическое ожидание времени простоя в очереди и т.п., которые характеризуют эффективность функционирования системы в целом.

Заметим, что стрелками на рис. 11 показаны возможные переходы системы из ее стояния в состояние. Каждому переходу отвечает соответствующая вероятность P_Lj . Граф состояний,у которого нанесены численные значения вероятностей перех да, называется размеченным графом состояний системы.

Применительно к рис. 11 вероятности перехода системы из состояния в состояни могут быть представлены с помощью следующей матрицы

Очевидно, что сумма вероятностей перехода в каждой строке равна единице. Момент! перехода системы из состояния в состояние называют "шагами" процесса. Номер ша'

га обозначают "К (К = 0,1,23, •^|а)- ^

Последовательность состоянии системы ОС., , Х_г,Х^,...,Хп, называют Марков "~

ской цепью, названной так по имени известного русского ученого Маркова А.А.

Марковская цепь называется однородной, если вероятности перехода Pji не за­висят от номера шага. В противном случае марковская цепь называется неоднородно!

Марковский процесс называется процессом с дискретным временем, если nepexo-g ды системы из состояния в состояние совершаются в строго определенные, заранее фиксированные моменты времени.

Марковский процесс называется процессом с непрерывным временем, если перехо системы из состояния в состояние возможен в любой, наперед неизвестный, случайш момент времени.