8.1. Классификация марковских процессов

Марковские случайные процессы делятся на классы. Первый классификационный признак – характер спектра состояний. Случайный процесс (СП) называется процессом с дискретными состояниями, если возможные состояния системы S₁, S₂, S₃…можно перечислить, а сам процесс состоит в том, что время от времени система S скачком (мгновенно) перескакивает из одного состояния в другое.

Пример. Техническое устройство состоит из двух узлов I и II, каждый из которых может выйти из строя. Состояния: S₁ – оба узла работают; S₂ – первый узел отказал, второй рабочий; S₃ – второй узел отказал, первый рабочий; S₄ – оба узла отказали.

Существуют процессы с непрерывными состояниями (плавный переход из состояния в состояние), например, изменение напряжения в осветительной сети. Будем рассматривать только СП с дискретными состояниями. В этом случае удобно пользоваться графом состояний, в котором возможные состояния системы обозначаются узлами, а возможные переходы - дугами.

Второй классификационный признак – характер функционирования во времени. СП называется процессом с дискретным временем, если переходы системы из состояния в состояние возможны только в строго определенные, заранее фиксированные моменты времени: t₁, t₂… . Если переход системы из состояния в состояние возможен в любой наперед неизвестный случайный момент, то говорят о СП с непрерывным временем.

Билет №13

Расчет марковской цепи с дискретным временем.

Пусть имеется физическая система S с дискретными состояниями S₁, S₂, … S_n и дискретным временем t₁, t₂, … , t_k, … (шаги, этапы процесса, СП можно рассматривать как функцию аргумента (номера шага)). В общем случае СП состоит в том, что происходят переходы S_1 S_{1 } S_2 S_3 S_4 S_1 … в моменты t₁, t₂, t₃ ….

Будем обозначать событие, состоящее в том, что после k – шагов система находится в состоянии S_i. При любом k события образуют полную группу и несовместны. СП, происходящий в системе, можно представить как последовательность событий .

Такая случайная последовательность событий называется марковской цепью. Будем описывать марковскую цепь (МЦ) с помощью вероятностей состояний. Пусть – вероятность того, что после k - шагов система находится в состоянии S_i. Легко видеть, что k . Поставим задачу: найти вероятности состояний системы для любого k.

Для любого шага (момента времени t₁, t₂, … , t_k) существуют какие-то вероятности перехода системы из любого состояния в любое другое (некоторые из них равны нулю, если непосредственный переход за один шаг невозможен), а также вероятности задержки системы в одном состоянии. Будем их называть переходными вероятностями МЦ. Марковская цепь называется однородной, если переходные вероятности не зависят от номера шага, в противном случае - неоднородная МЦ. Рассмотрим однородную МЦ.

Пусть S= S₁, S₂, … S_n. Обозначим переходные вероятности через P_ij. Пусть известна матрица

.

Пользуюсь введенными выше событиями , переходные вероятности можно написать как условные вероятности: . Сумма членов в каждой строке матрицы должна быть равна 1. Вместо матрицы переходных вероятностей часто используют размеченный граф состояний (обозначают на дугах ненулевые вероятности переходов, вероятности задержки не требуются, поскольку они легко вычисляются, например P₁₁=1-(P₁₂+P₁₃)). Имея в распоряжении размеченный граф состояний (или матрицу переходных вероятностей) и зная начальное состояние системы, можно найти вероятности состояний p₁(k),p₂(k),…p_n(k) k.

Пусть начальное состояние системы S_m, тогда

p₁(0)=0 p₂(0)=0… p_m(0)=1… p_n(0)=0.

Первый шаг:

p₁(1)=P_m1, p₂(1)=P_m2,…p_m(1)=P_mm,… ,p_n(1)=P_mn.

После второго шага по формуле полной вероятности получим:

p₁(2)=p₁(1)P₁₁+p₂(1)P₂₁+…p_n(1)P_n1,

p_i(2)=p₁(1)P_1i+p₂(1)P_2i+…p_n(1)P_ni или .

Для произвольного шага k получаем:

(i=1,2,..n).

Для неоднородной МЦ переходные вероятности зависят от номера шага. Обозначим переходные вероятности для шага k через .

Тогда формула для расчета вероятностей состояний приобретает вид:

.

Билет №14

Марковские цепи с непрерывным временем. Уравнения Колмогорова.

На практике значительно чаще встречаются ситуации, когда переходы системы из состояния в состояние происходит в случайные моменты времени, которые заранее указать невозможно: например, выход из строя любого элемента аппаратуры, окончание ремонта (восстановление) этого элемента. Для описания таких процессов в ряде случаев может быть с успехом применена схема марковского случайного процесса с дискретными состояниями и непрерывным временем – непрерывная цепь Маркова. Покажем, как выражаются вероятности состояний для такого процесса. Пусть S={S₁,S₂,…S_n}. Обозначим через p_i(t) - вероятность того, что в момент t система S будет находиться в состоянии ). Очевидно . Поставим задачу – определить для любого t p_i(t). Вместо переходных вероятностей P_ij введем в рассмотрение плотности вероятностей перехода

.

Если не зависит от t, говорят об однородной цепи, иначе - о неоднородной. Пусть нам известны для всех пар состояний (задан размеченный граф состояний). Оказывается, зная размеченный граф состояний можно определить p₁(t),p₂(t)..p_n(t) как функции времени. Эти вероятности удовлетворяют определенного вида дифференциальным уравнениям, (уравнения Колмогорова).

Интегрирование этих уравнений при известном начальном состоянии системы даст искомые вероятности состояний как функции времени. Заметим, что p₁+p₂+p₃+p₄=1 и можно обойтись тремя уравнениями.

Правила составления уравнений Колмогорова. В левой части каждого уравнения стоит производная вероятности состояния, а правая часть содержит столько членов, сколько стрелок связано с данным состоянием. Если стрелка направлена из состояния, соответствующий член имеет знак минус, если в состояние - знак плюс. Каждый член равен произведению плотности вероятности перехода, соответствующего данной стрелке, умноженной на вероятность того состояния, из которого исходит стрелка.

Билет №15

Поток событий. Простейший поток и его свойства.

При рассмотрении процессов, протекающих в системе с дискретными состояниями и непрерывным временем, часто бывает удобно представить себе процесс так, как будто переходы системы из состояния в состояние происходят под действием каких-то потоков событий. Потоком событий называется последовательность однородных событий, следующих одно за другим в какие-то, вообще говоря, случайные моменты времени. (Поток вызовов на телефонной станции; поток неисправностей (сбоев) ЭВМ; поток грузовых составов, поступающих на станцию; поток посетителей; поток выстрелов, направленных на цель). Будем изображать поток событий последовательностью точек на оси времени ot. Положение каждой точки на оси случайно. Поток событий называется регулярным, если события следуют одно за другим через строго определенные промежутки времени (редко встречается на практике). Рассмотрим специального типа потоки, для этого введем ряд определений. 1. Поток событий называется стационарным, если вероятность попадания того или иного числа событий на участок времени длиной зависит только от длины участка и не зависит от того, где именно на оси ot расположен этот участок (однородность по времени) – вероятностные характеристики такого потока не должны меняться от времени. В частности, так называемая интенсивность (или плотность) потока событий (среднее число событий в единицу времени) постоянна.

2. Поток событий называется потоком без последствия, если для любых непересекающихся участков времени число событий, попадающих на один из них, не зависит от того, сколько событий попало на другой (или другие, если рассматривается больше двух участков). Отсутствие последствия в потоке означает, что события, образующие поток, появляются в последовательные моменты времени независимо друг от друга.

3. Поток событий называется ординарным, если вероятность попадания на элементарный участок двух или более событий пренебрежительно мала по сравнению с вероятностью попадания одного события (события в потоке приходят поодиночке, а не парами, тройками и т.д.).

Поток событий, обладающий всеми тремя свойствами, называется простейшим (или стационарным пуассоновским). Нестационарный пуассоновский поток обладает только свойствами 2 и 3. Пуассоновский поток событий (как стационарный, так и нестационарный) тесно связан с известным распределением Пуассона. А именно, число событий потока, попадающих на любой участок, распределено по закону Пуассона. Поясним это подробнее.

Рассмотрим на оси оt, где наблюдается поток событий, некоторый участок длины , начинающийся в момент t₀ и заканчивающийся в момент t₀+. Нетрудно доказать (доказательство дается во всех курсах теории вероятности), что вероятность попадания на этот участок ровно m событий выражается формулой:

(m=0,1…),

где а – среднее число событий, приходящееся на участок .

Для стационарного (простейшего) пуассоновского потока а=, т.е. не зависит от того, где на оси ot взят участок . Для нестационарного пуассоновского потока величина а выражается формулой

и значит, зависит от того, в какой точке t₀ начинается участок .

Рассмотрим на оси ot простейший поток событий с постоянной интенсивностью . Нас будет интересовать интервал времени T между событиями в этом потоке. Пусть  - интенсивность (среднее число событий в 1 времени) потока. Плотность распределения f(t) случайной величины Т (интервал времени между соседними событиями в потоке) f(t)=e^-t (t0). Закон распределения с такой плотностью называется показательным (экспоненциальным). Найдем численные значения случайной величины Т: математическое ожидание (среднее значение) и дисперсию .

Промежуток времени Т между соседними событиями в простейшем потоке распределен по показательному закону; его среднее значение и среднее квадратичное отклонение равны , где  - интенсивность потока. Для такого потока вероятность появления на элементарном участке времени ∆t ровно одного события потока выражается как . Эту вероятность мы будем называть «элементом вероятности появления события».

Для нестационарного пуассоновского потока закон распределения промежутка Т уже не будет показательным. Вид этого закона будет зависеть, во первых, от того, где на оси ot расположено первое из событий, во вторых, от вида зависимости . Однако, если меняется сравнительно медленно и его изменение за время между двумя событиями невелико, то закон распределения промежутка времени между событиями можно приближенно считать показательным, полагая в этой формуле величину равной среднему значению на том участке, который нас интересует.

Билет №16

Пуассоновские потоки событий и непрерывные марковские цепи.

Рассмотрим некоторую физическую систему S={S₁,S₂,…S_n}, которая переходит из состояния в состояние под влиянием каких-то случайных событий (вызовы, отказы, выстрелы). Будем себе это представлять так, будто события, переводящие систему из состояния в состояние, представляют собой какие-то потоки событий.

Пусть система S в момент времени t находится в состоянии S_i и может перейти из него в состояние S_j под влиянием какого-то пуассоновского потока событий с интенсивностью _ij: как только появляется первое событие этого потока, система мгновенно переходит из S_i в S_j . Как мы знаем, вероятность этого перехода за элементарный промежуток времени (элемент вероятности перехода) равна , отсюда вытекает, что плотность вероятности перехода _ij в непрерывной цепи Маркова представляет собой не что иное, как интенсивность потока событий, переводящих систему по соответствующей стрелке. Если все потоки событий, переводящие систему S из состояния в состояние пуассоновские, то процесс, протекающий в системе, будет марковским.

Проставим интенсивности пуассоновских потоков (плотности вероятностей переходов) на графе состояний системы у соответствующих стрелок. Получим размеченный граф состояний. На его основе можно написать уравнения Колмогорова и вычислить вероятности состояний.

Пример. Техническая система S состоит из двух узлов I и II, каждый из которых независимо от другого может отказывать. Поток отказов первого узла пуассоновский с интенсивностью _I, второго также пуассоновский с интенсивностью _II. Каждый узел сразу после отказа начинает ремонтироваться (восстанавливаться). Поток восстановлений (окончаний ремонта узла) для обоих узлов – пуассоновский с интенсивностью . Составить граф состояний системы и написать уравнение Колмогорова. Состояния системы: S₁₁ - оба узла исправны; S₂₁ – первый узел ремонтируется, второй исправен; S_12, S₂₂.

t=0 p₁₁=1 p₂₁=p₂₂=p₁₂=0

p₁₁+p₁₂+p₂₁+p₂₂=1.

Билет №17

Предельные вероятности состояний для непрерывной марковской цепи.

Пусть имеется физическая система S={S₁,S₂,…S_n}, в которой протекает марковский случайный процесс с непрерывным временем (непрерывная цепь Маркова). Предположим, что _ij=const, т.е. все потоки событий простейшие (стационарные пуассоновские). Записав систему дифференциальных уравнений Колмогорова для вероятностей состояний и проинтегрировав эти уравнения при заданных начальных условиях, мы получим p₁(t), p₂(t),… p_n(t), при любом t. Поставим следующий вопрос, что будет происходить с системой S при t. Будут ли функции p_i(t) стремиться к каким-то пределам? Эти пределы, если они существуют, называются предельными вероятностями состояний. Можно доказать теорему: если число состояний S конечно и из каждого состояния можно перейти (за то или иное число шагов) в каждое другое, то предельные вероятности состояний существуют и не зависят от начального состояния системы. Предположим, что поставленное условие выполнено и предельные вероятности существуют (i=1,2,…n), .

Таким образом, при t в системе S устанавливается некоторый предельный стационарный режим. Смысл этой вероятности: она представляет собой не что иное, как среднее относительное время пребывания системы в данном состоянии. Для вычисления p_i в системе уравнений Колмогорова, описывающих вероятности состояний, нужно положить все левые части (производные) равными 0. Систему получающихся линейных алгебраических уравнений надо решать совместно с уравнением .

Билет №18

Задачи теории массового обслуживания. Классификация систем массового обслуживания и их основные характеристики.

При исследовании операций часто приходится сталкиваться с работой своеобразных систем, называемых системами массового обслуживания (СМО). Примерами таких систем могут служить: телефонные станции, ремонтные мастерские, билетные кассы, справочные бюро, магазины, парикмахерские и т. п. Каждая СМО состоит из какого-то числа обслуживающих единиц (или «приборов»), которые мы будем называть каналами обслуживания. Каналами могут быть: линии связи, рабочие точки, кассиры, продавцы, лифты, автомашины и др. СМО могут быть одноканальными и многоканальными.

Всякая СМО предназначена для обслуживания какого-то потока заявок (или «требований»), поступающих в какие-то случайные моменты времени. Обслуживание заявки продолжается какое-то, вообще говоря, случайное время Т_об, после чего канал освобождается и готов к приему следующей заявки. Случайный характер потока заявок и времен обслуживания приводит к тому, что в какие-то периоды времени на входе СМО скапливается излишне большое число заявок (они либо становятся в очередь, либо покидают СМО необслуженными); в другие же периоды СМО будет работать с недогрузкой или вообще простаивать.

В СМО происходит какой-то СП с дискретными состояниями и непрерывным временем; состояние СМО меняется скачком в моменты появления каких-то событий (или прихода новой заявки, или окончания обслуживания, или момента, когда заявка, которой надоело ждать, покидает очередь). Чтобы дать рекомендации по рациональной организации этого процесса и предъявить разумные требования к СМО, необходимо изучить СП, описать его математически. Этим и занимается теория МО.

Предмет теории массового обслуживания — построение математических моделей, связывающих заданные условия работы СМО (число каналов, их производительность, правила работы, характер потока заявок) с интересующими нас характеристиками — показателями эффективности СМО, описывающими, с той или другой точки зрения, ее способность справляться с потоком заявок. В качестве таких показателей (в зависимости от обстановки и целей исследования) могут применяться разные величины, например: среднее число заявок, обслуживаемых СМО в единицу времени; среднее число занятых каналов; среднее число заявок в очереди и среднее время ожидания обслуживания; вероятность того, что число заявок в очереди превысит какое-то значение, и т. д. Область применения математических методов теории МО непрерывно расширяется и все больше выходит за пределы задач, связанных с «обслуживающими организациями» в буквальном смысле слова. Как своеобразные СМО могут рассматриваться: ЭВМ, системы сбора и обработки информации, автоматизированные производственные цеха, поточные линии, транспортные системы, системы ПВО и т.п.

Математический анализ работы СМО очень облегчается, если процесс этой работы — марковский. Для этого достаточно, чтобы все потоки событий, переводящие систему из состояния в состояние (потоки заявок, потоки «обслуживаний»), были простейшими. Если это свойство нарушается, то математическое описание процесса становится гораздо сложнее и довести его до явных, аналитических формул удается лишь в редких случаях. Однако все же аппарат простейшей, марковской теории массового обслуживания может пригодиться для приближенного описания работы СМО даже в тех случаях, когда потоки событий — не простейшие. Во многих случаях для принятия разумного решения по организации работы СМО вовсе и не требуется точного знания всех ее характеристик — зачастую достаточно и приближенного, ориентировочного. Причем, чем сложнее СМО, чем больше в ней каналов обслуживания, тем точнее оказываются эти приближенные формулы.