Лекция № 15

Z=0 z-1 z z+1 z=a

Предположим, что вероятность того, что в конце движения процесс окажется в левом поглощающем экране . Запишем для этой величины уравнение. Вероятность попасть в левый поглощающий экранq-1:

- уравнение конечных разностей

Решением уравнения является 2 частных решения.

Нужно найти неизвестные коэффициенты А и В. Находятся из граничных условий. Два условия

Составляем два уравнения:

1=А+В

0=А+В

Чтобы найти решение, надо использовать правило Лопиталля.

Можно рассчитать величину среднего выигрыша. Игрок имеет начальный капитал z и преступает к игре.

G=-zq+(a-z)(1-)

Мы рассматривали случай, когда процесс движется единичными шагами.

Применение свойства этого процесса(зависимость q от n, где n – число шагов). Например, вероятность попадания в левый экран зависти от координаты, важно через какое количество шагов он попадет. Переходим к производящей функции q(z,n). В этом случае «избавляемся» от координаты. Составляем конечно-разностное уравнение от производящей функции. Решение есть комплексная функция. Комплексная функция представляется в виде рациональной дроби (простое устройство).

Марковские случайные процессы

1. Марковские процессы нашли широкое применение в теории управления передачи информации, теории принятия решения, теории надежности.

Выведем на оси времени 3 точки. Случайный процесс называется Марковским, если его значения в точки и зависти от его значения в точки t и не зависит от значения в точке s.

S t u t

Зависимость понимается в вероятностном смысле. Точку t рассматривают как настоящее, точку u как прошлое. Образно говоря, марковские процессы не помнят прошлого. Различают:

1. дискретный марковский процесс;

2. непрерывный марковский процесс.

Дискретную цепь Маркова удобно анализировать, ориентируясь на графого представление. При таком описании выделяют вершины и ребра. Вершинам предается смысл состояний, в котором может пребывать процесс. Поскольку процесс – это абстрактная модель некоторого реального явления. Важным понятие является понятие состояния. Пусть случайный процесс описывает изменение температуры в некотором котле. Поскольку измеряется температура с помощью термометра, то это связано с такими предположениями: два разделяющихся давления разделяются интервалом , т.о. вводя шар квантования, мы переходим из бесконечного. Зафиксировали температуру в котле(это интересует состояние), т.о значение температуры в котле будет состояние, посколькуt температура меняется случайным образом, она будет двигаться медленно. Состояние объекта дискретно, n – число состояний, в котором может находится процесс, число состояний должно быть известно. На графике должно быть представлено состояние . Механизм описания движения процесса во времени может быть равным. Дискретным, детерминированным – это означает , чтог движение осуществляется с периодом . Считают, что=1.

Другой механизм, когда движение осуществляется случайным образом, это означает , что может произойти переход из одного состояния в другое, в любое время. Если используется первый механизм, то говорят о дискретных цепях Маркова, если второй- о непрерывных цепях Маркова.

Вероятн6остное содержание переменной:

1. когда период движения задан. По истечению периода происходит переходt процесса, находящимся в некотором i- м состоянии, в какое-то другое заранее неизвестное состояние. Чтобы описать вероятностные свойства на графе в виде ребер задаются вероятности соответствующего перехода.

Механизм движения. Говорят цепь состоит из состояний и вероятности перехода, что приводит нас к необходимости задания матрицы условных переходов за один шаг. Эту матрицу будем обозначать

Смысл элемента . Условие вероятности того, что процесс, находящийся вi-ом состоянии за один шаг перейдет в j-ое состояние, на графе указаны эти элементы. Матрица и описывает эти явления, особенности движения определяются свойствами матрицы:

1. сумма всех элементов по строке должна равняться 1, это свойство стохастичности матрицы;

2. может меняться и зависть от времени.

не зависит от времени. Такая цепь называется стационарной.

Общее свойство дискретной цепи матрицы

Нужно ответить на вопрос- как построить матрицу условных переходов за к шагов, если известна матрица .

Рассмотрим, когда к=2. Нужно в j-ое состояние попасть за 2 шага.

Запишем в матричном виде:

В обще случае можем записать:

Можно интерпретировать, что вероятностно-временное описание процесса. Поскольку матрица дает условные вероятности , то как посчитать безусловные вероятности того, что процесс в i-ом состоянии за к шагов система окажется в j –ом состояние. Получается распределение вероятности по состоянию- это вектор, при котором каждому состоянию соответствует вероятность.

Нужно задать вектор начальных состояний:

Должен получиться вектор конечных состояний. Обозначим это вектор:

Для того, чтобы найти это вектор, надо выполнить следующие действия:

, уравнение удобно представлять в виде:

уравнение Колмогорова- Чилмена

Поглощающие цепи Маркова

В общем случае состояния, входящие в цепь неоднородны, имеют разные особенности, отражающие разные стороны реального явления. Поскольку рассматривается абстрактная модель, изучением которого является вероятностные свойства, то можно разделить состояние на 2 группы:

1. невозвратные состояния-состояния цепи;

2. возвратные состояния.

Выделим 2 состояния цепи: i-ое и j-ое. Состояние j-ое является возвратным по отношению к i-ому, если выполняются следующие условия:

Упрощенное означает, что из i-ого можно попасть в j-ое состояние и вернуться, тогда сотсояние j называют возвратным по отношению к i-ому, если же выполняется такое условие:

то тогда j-ое состояниеневозвратное ро отношению к i-ому состоянию. Если цепь состоит из невозвратных состояний, то ее называют поглощающей цепью. Это означает, что в прцессе пошагового движения цепь может попасть в некоторое особое состояние, в котором движение останавливается. Таких состояний может быть несколько.

Состояние i-ое – поглощающее.