М Занятие №4арковские случайные процессы.

Начнем заниматься задачами исследования операций в условиях неопределенности. Рассмотрим сравнительно благоприятный случай «стохастической» неопределенности, когда неопределенные факторы, входящие в задачу, представляют случайные величины (или функции), вероятностные характеристики которых либо известны, либо могут быть получены из опыта. Будем, заниматься, главным образом, прямыми задачами исследования операций, т.е. построением математических моделей некоторых случайных явлений, иногда останавливаясь на обратных задачах (оптимизации решений) в силу их сложности. В стохастических задачах исследования операций часто затруднительно даже построение математической модели, уже не говоря об оптимизации. В большинстве случаев не удается построить простую математическую модель, позволяющую в явном (аналитическом) виде найти интересующие нас величины (показатели эффективности) в зависимости от условий операции а и элементов решения х. Однако в некоторых особых случаях такую математическую модель удается построить, если исследуемая операция представляет (точно или приближенно) марковский случайный процесс. Сначала рассмотрим вообще случайный процесс.

Пусть имеется некоторая физическая система S, которая с течением времени меняет свое состояние, причем случайным образом, т.е. в системе S протекает случайный процесс. Под «физической системой» можно понимать: техническое устройство, группу таких устройств, предприятие, отрасль промышленности, живой организм, популяцию и т.д. Большинству процессов, протекающих в реальных системах, свойственны, в той или иной мере, черты случайности, неопределенности.

Например, система S – космический корабль, выводимый на заданную орбиту. Процесс вывода неизбежно сопровождается случайными ошибками, отклонениями от заданного режима, на которые приходится вводить коррекцию (т.е. вывод на орбиту – случайный процесс).

Или, система S – обыкновенный самолет, совершающий рейс на заданной высоте, по определенному маршруту. Является ли этот процесс случайным? Да, так как он в силу турбулентности атмосферы и других факторов сопровождается случайными возмущениями, колебаниями (например, "болтанка" или нарушение графика полетов).

Еще пример: система S – техническое устройство, состоящее из ряда узлов, которые время от времени, выходят из строя, заменяются или восстанавливаются. Процесс, протекающий в этой системе, безусловно, случаен. Труднее привести пример неслучайного процесса, чем случайного. Выходит все процессы в природе случайны? Строго говоря, да. Но до тех пор, пока эти возмущения несущественны, мало влияют на интересующие нас параметры, мы можем ими пренебречь и рассматривать процесс как детерминированный, неслучайный.

Необходимость учета случайностей возникает тогда, когда они прямо касаются нашей задачи. Например, составляя расписание самолетов, можно пренебречь случайными колебаниями самолета вокруг центра массы, а проектируя автопилот – безусловно нет. Большинство процессов, которые мы изучаем в физике, технике, по существу являются случайными, но только некоторые из них мы изучаем как случайные.

Дадим определение "марковского случайного процесса".

Случайный процесс, протекающий в системе, называетсямарковским, если для любого момента времени t₀ вероятностные характеристики процесса в будущем зависят только от его состояния в данный момент t₀ и не зависят от того, когда и как система пришла в это состояние.

Пусть в настоящий момент t₀ (рис. 4.1) система находится в определенном состоянии S₀, т.е. t₀, S₀ и предыстория процесса при t<t₀ нам известно. Можем ли мы предсказать будущее (t>t₀) в точности? Нет (наш процесс случайный), но какие-то вероятностные характеристики процесса в будущем мы найти можем. Например, вероятность того, что через некоторое время τ система S окажется в состоянии S₁, или сохранит состояние S₀, и т.д.

Итак, для марковского случайного процесса такое "вероятностное предсказание" оказывается гораздо проще, чем для немарковского, т.к. мы можем учитывая "настоящее" системы S₀ забыть о его "прошлом", как только оно достигнуто. Иначе говоря, в марковском процессе "будущее зависит от прошлого только через настоящее".

Пример марковского процесса: система S – счетчик Гейгера, на который время от времени попадают частицы излучения; состояние системы в момент t характеризуется показанием счетчика – числом частиц, пришедших до данного момента. Пусть в момент t₀ счетчик показывает S₀. Вероятность того, что в момент t>t₀ счетчик покажет число частиц S₁ (или не менее S₁), разумеется зависит от S₀, но не зависит от того, в какие именно моменты приходили частицы до момента t₀.

Или, пример близкого к марковскому процессу: система S – группа самолетов, участвующих в воздушном бою. Состояние системы характеризуется числом самолетов "наших" – х и "противника" – у, сохранившихся (не сбитых) к какому-то моменту. В момент t₀ нам известны численности сторон – х₀ и у₀. Нас интересует вероятность того, что в какой-то момент t₀+τ численный перевес будет на нашей стороне. Эта вероятность зависит от того, в каком состоянии находится система в данный момент t₀, а не от того, когда и в какой последовательности погибали сбитые до t₀ самолеты.

Говоря о марковском процессе, будем подразумевать его простым, с небольшим числом параметров, определяющих "настоящее". На практике марковские процессы в чистом виде обычно не встречаются, но нередко приходится иметь дело с процессами, для которых влиянием "предыстории" можно пренебречь. При изучении таких процессов можно успешно применять марковские модели.

Марковские процессы делятся на классы по некоторым признакам, в зависимости от того, как и в какие моменты времени система S может менять свои состояния: марковские случайные процессы с дискретными состояниями и марковские случайные процессы с непрерывными состояниями (процесс изменения напряжения в осветительной сети, т.е. плавный переход из состояния в состояние).

Процесс называется процессом с дискретным состоянием, если его возможные состояния S₁, S₂, … можно заранее перечислить, и переход системы из состояния в состояние происходит "скачком", практически мгновенно. Процесс называется с непрерывным временем, если моменты перехода из состояния S_i в состояние S_j не фиксированы заранее, а случайны, и переход может осуществится в любой момент. Мы будем рассматривать только процессы с дискретными состояниями и непрерывным временем.

Пример, такого процесса: техническое устройство S состоит из двух узлов, каждый из которых в случайный момент времени может выйти из строя, после чего мгновенно начинается ремонт узла, продолжающийся заранее неизвестное, случайное время.

Возможные состояния системы можно перечислить:

S₀ – оба узла исправны,

S₁ – первый узел ремонтируется, второй исправен,

S₂ – второй узел ремонтируется, первый исправен,

S₃ – оба узла ремонтируются.

Переходы системыS из состояния в состояние происходят практически мгновенно, в случайные моменты выхода из строя узлов или окончания ремонта. При анализе таких систем удобно пользоваться геометрической схемой, называемой графом состояний. Состояния системы изображаются прямоугольниками (кругами или точками), а возможные переходы между состояниями – стрелками, соединяющими состояния. Построим граф состояний для нашего примера (рис. 4.2). Стрелка, направленная из S₀ в S₁, означает переход в момент отказа первого узла, стрелка; стрелка, направленная обратно, из S₁ в S₀ – переход в момент окончания ремонта этого узла. Остальные стрелки объясняются аналогично (при этом мы пренебрегаем вероятностью выхода из строя одновременно двух узлов, поэтому нет стрелки из S₀ в S₃). Перед тем, как построить математическую модель марковского процесса, познакомимся с важным понятием теории вероятности – понятием "потока событий".