2.3. Применение теории Марковских цепей для анализа амбивалентных систем

Марковские процессы - другой интересный математический метод, который можно использовать для описания систем с группировками, предполагая, что в коллективе действует механизм случайности. Достоинство этого метода заключается в том, что можно проводить анализ поведения коллективов с большим числом участников, часть членов которых могут общаться между собой или не общаться между собой, причем характер общения может быть как односторонним, так и двухсторонним.

Основным понятием в теории Марковских процессов является понятие состояния, когда исследуемый объект или система (коллектив) с течением времени переходит из одного состояния в другое, например, от хаоса к порядку, от одной стратегии управления к другой и т.д. Для полного описания такой системы задают матрицу переходови начальное распределение вероятностей состояний, гдеi, j – номера состояний системы.

Наиболее простой моделью является простая однородная цепь Маркова, когда следующее состояние зависит только от состояния в предыдущий момент времени и вероятности переходов не зависят от времени.

Различают два основных типа Марковских цепей: эргодическая цепь и поглощающая. Для первой характерным признаком является достижимость любого состояния из любого другого; для второго типа – наличие состояний, попав в которые система в них остается навсегда.

Как было сказано выше, характерным признаком для амбивалентных систем является то, что в них действуют две противоположности, которые переходят друг в друга и в результате этого могут образовывать промежуточное состояние. В связи с этим в качестве математической модели предлагается Марковская цепь первого типа, т.е. эргодическая цепь. На рис. 2.34 показан граф амбивалентной системы, в которой действуют две противоположности А и В и их смесь А U В. Характерным для этого графа является то, что отсутствует переход системы за один шаг из состояния смеси в это же самое состояние, но как будет показано дальше уже через два шага система с некоторой вероятностью будет оставаться в этом состоянии.

P

PP

PP

PP

P

Рис.2.34

Согласно теории Марковских цепей такие цепи называются регулярными цепями, обладающими неподвижным вектором строкой, показывающим распределение вероятностей состояний, в которых система

пребывает в установившемся режиме.

Матрица переходов для графа, приведенного на рисунке, выглядит следующим образом:

,

Здесь - вероятность перехода амбивалентной системы из состоянияi в состояние j за один шаг. Определим вероятность перехода системы через два шага.

.

Как видно из матрицы при положительных значениях вероятностей перехода все состояния данной системы достижимы из других состояний, т.е. в амбивалентной системе существует стационарный режим, на который вектор начального состояния не влияет.

Приведенные матрицы вполне могут описывать поведение не только бинарных систем с двумя противоположностями, но и, например, коллектива из трех членов - руководителей малого предприятия, между которыми существуют симпатии и антипатии, равнодушие или безразличие.

При определенных параметрах коллектива на такой модели можно показать будущее развитие системы, а именно, если процесс эргодический, то указать состояние равновесия. Более того, интерес представляют динамические характеристики, такие, например, как среднее время перехода системы из начального состояния в поглощающее, среднее время нахождения системы в выделенном состоянии и др.

Приведем основные результаты теории регулярных Марковских цепей, которые понадобятся для анализа конкретных практических примеров амбивалентных систем [17].

1.Если - регулярная переходная матрица, то степени(приn→∞) стремятся к вероятностной матрице A, называемой предельной матрицей, каждая строка которой представляет один и тот же вероятностный вектор , все компоненты которого положительны.

Так как предельный вектор зависит только от P, но не от начального распределения, то можно сказать, что долгосрочное прогнозирование о поведении регулярной цепи не зависит от начальных вероятностей.

Для нахождения вектора необходимо отыскать вероятностное решение уравнения, т.е. найти решение следующей системы уравнений:

1=

……………………………….

.

Единственное решение этой системы и есть вектор .

И, следовательно, сразу же находится и предельная матрица

.

Здесь следует отметить, что элементы предельной матрицы показывают долю времени проводимого системой в каждом из состояний.

2.Большое значение для вычисления ряда интересных характеристик имеет, так называемая фундаментальная матрица регулярной Марковской цепи.

Если P- регулярная переходная матрица, то матрица

Z = (I- (P – A))

называется фундаментальной матрицей Марковской цепи, определяемой P. Хотя некоторые свойства фундаментальной матрицы и совпадают со свойствами переходной матрицы, например, , ее элементы не обязаны быть неотрицательными. В этом выражении матрица I – единичная матрица.

3. Для любой регулярной цепи Маркова и любого начального распределения π среднее время, проведенное в состоянии за первые n шаговотличается от nна величину, равную πZ -. Отсюда получаем следствие, что для любых двух начальных распределенийи, разница между средним временем, проведенном в состоянииравна (-)Z. Таким образом, элементы матрицы (Z – A) дают интересную численную характеристику регулярной цепи, зависящей от начального состояния. Таким образом, согласно этому следствию можно сравнить различные начальные положения, например,i и k:

- =.

4. Для регулярной цепи Маркова вводится понятие времени первого достижения , которое равно числу шагов, за которое цепь впервые попадает виз начального состояния и доказывается теорема, что при любомi математическое ожидание конечно. Матрица M средних времен достижения дается формулой:

M = (I – Z + EZ)D,

где D – диагональная матрица с диагональными элементами = 1/,

Z- матрица, полученная из Z заменой всех элементов, не лежащих на главной диагонали, нулями.

5. Фундаментальная матрица Z позволяет найти и дисперсию моментов первого достижения , которая вычисляется как:

= -.

Обозначим через W матрицу с элементами , которая вычисляется по следующей формуле:

W = M (2ZD - I) + 2(ZM – E (ZM)).

Обозначим матрицу дисперсий через M, тогда M=W - M, где M- матрица, полученная из M возведением в квадрат каждого элемента.

6. Большой интерес для амбивалентных систем представляет использование, так называемой, матрицы обмена, которая характеризует процесс обмена между состояниями цепи Маркова в установившемся (стационарном) режиме, не зависящем от начального положения. Условие обратимости сводится к тому, чтобы матрица обратимости DP была симметрична, т.е..

Применяя теорию регулярных цепей Маркова и теорию матриц, можно решить ряд практических задач для анализа амбивалентных систем. Одна из таких задач заключается в том, чтобы найти то количество шагов, при котором регулярная переходная матрица P сходится к предельной матрице A.

Из теории матриц известно, что детерминант произведения матриц равен произведению детерминантов, т.е. для нашего случая

.

Так как детерминант матрицы A равен нулю, а детерминант матрицы P всегда меньше единицы, то это равенство справедливо при значении , равному бесконечности. Для конечного значенияпроизведение детерминантов не будет равно нулю и, следовательно, оно принимается равным некоторому достаточно малому значениюне равному нулю. Это значение будет определять точность получения предельной матрицы.

Решая полученное уравнение, относительно находим, что

.

Здесь следует заметить, что разность между элементами финальной матрицы будет всегда больше чем. Поэтому рекомендуется принимать

Очень часто требуется решить обратную задачу: для заданной точности и заданного количества шагов рассчитать значение детерминанта переходной матрицы P. Решая выше приведенное уравнение относительно детерминанта P, находим, что

,

где - основание натуральных логарифмов.

_{Для заданной точности = 0,001, по выведенной формуле, рассчитаем значение детерминанта для различного значения количества шагов n:}

n	1	2	3	4	5	6	7	8	9	10
DetP	0.001	0.032	0.100	0.178	0.251	0.316	0.375	0.423	0.465	0.500

_{Рассчитанные значения детерминанта могут быть использованы для расчета элементов переходной матрицы.}