57. Марковские процессы. Конечные цепи Маркова.

Ма́рковский проце́сс — случайный процесс, эволюция которого после любого заданного значения временно́го параметра   не зависит от эволюции, предшествовавшей  , при условии, что значение процесса в этот момент фиксировано («будущее» процесса не зависит от «прошлого» при известном «настоящем»; другая трактовка (Вентцель): «будущее» процесса зависит от «прошлого» лишь через «настоящее»).

Отличие Марковского процесса от Марковской цепи

Марковская цепь с дискретным временем — время дискретно, пространство состояний дискретно.

Марковская цепь с непрерывным временем — время непрерывно, пространство состояний дискретно

Марковский процесс — и время и пространство состояний непрерывно.

Конечной цепью Маркова называется конечный марковский процесс, для которого переходные вероятности p_ij(n) не зависят от n.

Здесь уместно напомнить, что переходные вероятности на n –ом шаге, которые обычно обозначаются как p_ij(n), этоp_ij(n) = P[f_n= s_j | f_n-1= s_i ].Марковскую цепь можно представить себе как процесс, который движется из состояния в состояние. Он начинается с вероятностью p_ij(0) в s_i. Если в какой-то момент он находится в состоянии  s_i , то на следующем «шаге» он попадает в s_i  с вероятностью p_ij . Начальные вероятности можно понимать как вероятности того или иного возможного «старта».Вектор начальных вероятностей вместе с переходной матрицей полностью определяют цепь Маркова какстохастический процесс, так как их достаточно для построения полной меры на дереве (ветвление исходов)[2].Поэтому, если заданы некоторый вероятностный вектор π₀ и некоторая вероятностная матрица Р, то найдется единственная цепь Маркова (с точностью до преобразования состояний), для которой π₀ – начальное распределение, а Р – переходная матрица.

58. Потоки событий. Простейший поток.

При рассмотрении случайных процессов, протекающих в системах с дискретными состояниями и непрерывным временем, часто приходится встречаться с так называемыми «потоками событий».

Поток событий

Потоком событий называется последовательность однородных событий, следующих одно за другим в случайные моменты времени.

Примерами могут быть:

- поток вызовов на телефонной станции;

- поток включений приборов в бытовой электросети;

- поток грузовых составов, поступающих на железнодорожную станцию;

- поток неисправностей (сбоев) вычислительной машины;

- поток выстрелов, направляемых на цель, и т. д.

При рассмотрении процессов, протекающих в системе с дискретными состояниями и непрерывным временем, часто целесообразно представлять процесс так, как будто изменения состояний системы происходят под действием каких-то потоков событий (поток вызовов, поток неисправностей, поток заявок на обслуживание, поток посетителей и т. д.) Поэтому имеет смысл рассмотреть подробнее потоки событий и их свойства,

Поток событий можно изобразить последовательностью точек на оси времени 0—7 (рис. 5.3, а), каждая из которых имеет определенную координату.

Поток событий называется регулярным, если события следуют одно за другим через строго определенные промежутки времени. Такой поток сравнительно редко встречается на практике, но представляет определенный интерес как предельный случай. Чаще приходится встречаться с потоками событий, для которых и моменты наступления событий, и промежутки времени между ними случайны. Простейший поток есть частный случай потока Пальма: в нем расстояния  представляют собой случайные величины, распределенные по одному и тому же показательному закону; их независимость следует из того, что простейший поток есть поток без последействия, и расстояние по времени между любыми двумя событиями не зависит от того, каковы расстояния между другими.

Многие потоки событий, встречающиеся на практике, хотя и не являются в точности потоками Пальма, но могут быть ими приближенно заменены.

Важными для практики образцами потоков Пальма являются так называемые потоки Эрланга. Эти потоки образуются в результате «просеивания» простейших потоков.

59. Марковский процесс с дискретным числом состояний и непрерывным временем. Уравнения Чепмена-Колмогорова. Ранее были рассмотрены марковские цепи, т. е. случайные процессы, описывающие системы, которые случайным образом могут переходить из состояния в состояние только в некоторые заранее определенные, фиксированные моменты времени.

На практике встречаются ситуации, когда переходы системы из состояния в состояние происходят не в фиксированные, а в случайные моменты времени, которые заранее указать невозможно — переход может осуществиться в любой момент. Например, выход из строя (отказ) любого элемента аппаратуры может произойти в любой момент времени; окончание ремонта (восстановление) этого элемента также может произойти в заранее не зафиксированный момент и т. д.

Для описания таких процессов может быть применена схема марковского случайного процесса с дискретными состояниями и непрерывным временем. Такого типа процессы известны как непрерывные цепи Маркова [7].

Непрерывные цепи Маркова

Здесь, как обычно, рассматривается ряд дискретных состояний: однако переход системы S из состояния в состояние может осуществляться в любой момент времени.

Обозначим  — вероятность того, что в момент t система S будет находиться в состоянии . Очевидно, для любого момента t сумма вероятностей состояний равна единице:

 (5.11)

так как события, состоящие в том, что в момент t система находится в состояниях несовместны.

Необходимо определить для любого t вероятности состояний (см. также 5.1):

 (5.12)

Для того чтобы найти эти вероятности, необходимо знать характеристики процесса, аналогичные переходным вероятностям для марковской цепи. В случае процесса с непрерывным временем вместо переходных вероятностей рассматриваются плотности вероятностей перехода  (поскольку вероятность перехода системы из состояния в состояние точно в момент t будет равна нулю, так же как вероятность любого отдельного значения непрерывной случайной величины).

Пусть система S в момент t находится в состоянии Рассмотрим элементарный промежуток времени  , примыкающий к моменту t. Назовем плотностью вероятности перехода предел отношения вероятности перехода системы за время из состояния в состояние к длине промежутка :

 (5.13)

где — вероятность того, что система, находившаяся в мо-

мент t в состоянии за время перейдет из него в состояние (плотность вероятностей перехода определяется только для  ). Из (5.13) следует, что при малом вероятность перехода (с точностью до бесконечно малых высших порядков) равна:

Как и ранее, если все плотности вероятностей перехода  не зависят от t (от того, в какой момент начинается элементарный участок ), марковский процесс называется однородным, а если эти плотности зависят от времени, то он является неоднородным. Предположим, что известны плотности вероятностей перехода для всех пар состояний ГСП системы с проставленными у стрелок плотностями вероятностей перехода называется размеченным графом состояний (рис. 5.2, б), на основании которого можно определить вероятности состояний (5.12) как функции времени.

60. Марковский процесс с дискретным числом состояний и непрерывным временем. Уравнения для стационарных вероятностей. Число возможных состояний (пространство состояний) случайного процесса может быть конечным или бесконечным. Если число возможных состояний конечно или счетно (всем возможным состояниям могут быть присвоены порядковые номера), то случайный процесс называется процессом с дискретными состояниями. Например, число покупателей в магазине, число клиентов в банке в течение дня описываются случайными процессами с дискретными состояниями. Если переменные, описывающие случайный процесс, могут принимать любые значения из конечного или бесконечного непрерывного интервала, а, значит, число состояний несчетно, то случайный процесс называется процессом с непрерывными состояниями. Например, температура воздуха в течение суток является случайным процессом с непрерывными состояниями. Для случайных процессов с дискретными состояниями характерны скачкообразные переходы из одного состояния в другое, тогда, как в процессах с непрерывными состояниями переходы являются плавными. Далее будем рассматривать только процессы с дискретными состояниями, которых часто называют цепями. Случайный процесс g(t) называется процессом с дискретным временем, если переходы процесса из состояния в состояние возможны только в строго определенные, заранее фиксированные моменты времени t₀, t₁, t₂, …. Если переход процесса из состояния в состояние возможен в любой, заранее неизвестный момент времени, то случайный процесс называется процессом с непрерывным временем. В первом случае, очевидно, что интервалы времени между переходами являются детерминированными, а во втором - случайными величинами. Процесс с дискретным временем имеет место либо, когда структура системы, которая описывается этим процессом, такова, что ее состояния могут изменяться только в заранее определенные моменты времени, либо когда предполагается, что для описания процесса (системы) достаточно знать состояния в определенные моменты времени. Тогда эти моменты можно пронумеровать и говорить о состоянии E_i в момент времени t_i. 

Сформулируем теперь правило составления уравнений для стационарных вероятностей состояний марковского процесса с дискретным временем по графу переходов. Для каждого состояния уравнение составляется следующим образом. В левой части уравнения записывается стационарная вероятность рассматриваемого состояния. Правая часть представляет собой сумму членов, число которых равно числу дуг, входящих в рассматриваемое состояние. Каждый член представляет собой произведение вероятности перехода, соответствующей данной дуге, на вероятность состояния, из которого исходит эта дуга. Сформулированное правило позволяет чисто механически записывать уравнения для стационарных вероятностей состояний непосредственно по графу переходов.

1. Исследование; цели, типовые задачи, общенаучные методы исследования. 2. Моделирование как метод исследования СЭП. Виды (группы методов) формализации СЭП. 3. Графическая формализация. 4. Структурная формализация. 5. Структурно-параметриu001fческая формализация. 6. Параметрическая формализация. Классификация параметриu001fческих моделей. 7. Выбор факторов и характеристик, учитываемых в модели. Модели экстраполяции, «вход-выход» и общая модель динамики. 8. Кусочно-линейная интерполяция и экстраполяция 9. Квадратичная интерполяция и экстраполяция 10. Линейная аппроксимация. Метод наименьших квадратов. 11. Классификация моделей по временному промежутку, для которого осуществляется моделирование. Модели жизненного цикла и эволюции. 12. Конечные разности первого и второго порядка. 13. Рекуррентные последовательности и их задание с помощью конечных разностей. 14. Разностные уравнения и их виды. Решение разностного уравнения.

15. Линейные возвратные уравнения. Вид решения однородного и неоднородного возвратного уравнения. 16. Линейные возвратные уравнения первого порядка. Уравнения для арифметической и геометрической прогрессий. 17. Линейные возвратные уравнения второго порядка с постоянными коэффициентами. Характеристическое уравнение и его значение для нахождения решения. 18. Линейные возвратные уравнения второго порядка с постоянными коэффициентами. Вид решения при действительных корнях характеристического уравнения. 19. Линейные возвратные уравнения второго порядка с постоянными коэффициентами. Вид решения при комплексных корнях характеристического уравнения. 20. Собственные числа и собственные векторы квадратных матриц. Их свойства. 21. Системы линейных возвратных уравнений первого порядка с постоянными коэффициентами. Их решение для случая двух уравнений с двумя переменными. 1143 22. Устойчивость системы разностных уравнений 23. Импульсные (когнитивные) модели. Их назначение и параметризация. 24. Импульсный процесс и правила его развития. Уравнения импульсного процесса. 25. Решение уравнений импульсного процесса. Виды устойчивости импульсного процесса. 26. Основные понятия дифференциальных уравнений. 27. Дифференциальные уравнения первого порядка. Условие существования и единственности решения. 28. Дифференциальные уравнения первого порядка с разделяющимися переменными и приводящиеся к ним. 29. Линейные дифференциальные уравнения первого порядка. 30. Однородные дифференциальные уравнения второго порядка с постоянными коэффициентами. Характеристическое уравнение и его значение для нахождения решения. 31. Однородные дифференциальные уравнения второго порядка с постоянными коэффициентами. Вид решения при действительных корнях характеристического уравнения. 32. Однородные дифференциальные уравнения второго порядка с постоянными коэффициентами. Вид решения при комплексных корнях характеристического уравнения. 33. Неоднородные дифференциальные уравнения второго порядка с постоянными коэффициентами. Вид решения. 34. Системы линейных однородных дифференциальных уравнений первого порядка с постоянными коэффициентами. Вид решения. 35. Неоклассические производственные функции. 36. Мультипликативные производственные функции. 37. Эластичность производственной функции. Модель роста выпуска. 38. Динамическая модель Кейнса в форме возвратного уравнения. Условия и уравнения. 39. Динамическая модель Кейнса в форме возвратного уравнения. Нахождение решения. 40. Модель Самуэльсона-Хикса. Условия и уравнения 41. Модель Самуэльсона-Хикса. Нахождение решения. 42. Модель Самуэльсона-Хикса. Условия устойчивости и отсутствия колебаний. 43. Балансовая модель Леонтьева. Условия и уравнения. 44. Балансовая модель Леонтьева. Условия продуктивности. Нахождение решения. 45. Динамическая модель Леонтьева. Условия и уравнения. 46. Распределения случайных величин: Бернулли и Пуассона., 47. Распределения случайных величин: экспоненциальное и нормальное. 48. Теорема Бернулли. 49. Теорема Чебышева. Закон больших чисел. 50. Центральная предельная (теорема Ляпунова) 51. Теорема (интегральная формула) Муавра-Лапласа. 52. Понятие о статистической оценке параметров. Числовые характеристики выборочного распределения. 53. Точечные оценки и их характеристики. Выборочные среднее и дисперсия. 54. Понятие об интервальной оценке параметров. Доверительная вероятность и доверительный интервал. 55. Интервальная оценка для математического ожидания. 56. Случайные процессы. Основные понятия и характеристики. 57. Марковские процессы. Конечные цепи Маркова. 58. Потоки событий. Простейший поток. 59. Марковский процесс с дискретным числом состояний и непрерывным временем. Уравнения Чепмена-Колмогорова. 60. Марковский процесс с дискретным числом состояний и непрерывным временем. Уравнения для стационарных