Глава 4 Вероятностные модели формирования и выбора альтернатив решений

В настоящей главе мы рассмотрим вероятностные модели поддержки процессов принятия решений. Из всего множества методов, разработанных в этой области, мы остановимся на двух: теории цепей Маркова и теории формирования оптимального инвестиционного портфеля Г. Марковица.

4.1 Моделирование систем на основе формализма цепей Маркова

Наиболее простой класс динамических вероятностных моделей дискретно-стохастического типа (P – схемы по классификации, рассмотренной в первой главе) образуют цепи Маркова, названные так по имени известного русского математика А.А. Маркова, разработавшего эту теорию в 1907 году. Большой вклад в теорию цепей Маркова внес академик А.Н. Колмогоров [8, 15,17, 27].

Этот математический аппарат оказывается удобным, в частности, при описании функционирования и анализа работы вычислительных систем [6]. Однако возможности теории цепей Маркова далеко выходят за рамки описания процессов оценки и принятия решений. Эта теория широко применяется в физике, биологии, социологии, экономике, технике и целом ряде других наук.

Математический аппарат цепей Маркова позволяет оценивать многие характеристики информационных процессов, такие как вероятное время завершения определенных этапов работы, средняя производительность, среднее время безотказной работы и другие, что необходимо при принятии проектных решений. Здесь приводятся только начальные сведения об этих моделях. Более подробно теория и применение цепей Маркова рассматривается в специальной литературе [6, 15, 17].Ряд задач принятия решений, приводящих к марковским цепям, рассматривается в разделах 4.2 - 4.4.

4.1.1 Определение и динамика цепи Маркова

Рассмотрим систему , находящуюся в каждый из дискретных моментов в одном из состояний [11].

Система рассматривается в моменты времени, образующие множество . В каждый момент времени система может находиться только в одном из состояний. Состояния изменяются со временем случайным образом. Это изменение определяется матрицей переходных вероятностей

. (4.1)

Каждый элемент матрицы определяет вероятность того, что если  в момент находилось в состоянии , то в момент она окажется в состоянии :

. (4.2)

Причем (и это основное свойство марковских процессов) вероятность перехода из в не зависит от предыдущих состояний.

Понятно, что переходы во все возможные состояния (в том числе в себя) образуют полную группу событий, поэтому для всех , .

Пусть вектор-строка - описывает распределение вероятностей нахождения  в соответствующих состояниях в момент , то есть - это вероятность того, что в момент  находится в состоянии . При этом , . Тогда по теореме об умножении вероятностей и с учетом основного свойства марковского процесса получим:

, (4.3)

где выступают в роли условных вероятностей перехода в состояние при условии, что система находится в состоянии .

Нетрудно видеть, что правая часть написанной формулы определяет произведение вектора на матрицу и в векторной форме эквивалентна следующей записи динамического процесса:

. (4.4)

Последовательность состояний называется конечной цепью Маркова. Цепь называется однородной, если не зависит от времени.

В этом случае рекуррентная формула (3.4) может быть записана в виде

,

,

…·

, (4.5)

где - k-я степень матрицы P.

Нетрудно убедиться, что сумма вероятностей нахождения системы во всех состояниях (т.е. сумма элементов вектора ) на каждом шаге остается равной единице.

Последовательность векторов , определяет динамику моделируемого процесса.

Отметим, что матрицы P, порождающие цепи Маркова, т.е. такие, у которых все элементы , а их суммы по столбцам равны единице для всех строк: , , называют стохастическими.

Рассмотрим классификацию состояний цепи Маркова. Множество всех состояний может быть разбито на непересекающиеся подмножества, или классы: невозвратные и эргодические. Их свойства определяются следующим образом. Если процесс покинул класс состояний первого типа, он никогда в него не возвращается. Если процесс попал в класс состояний второго типа, то он никогда его не покидает. Невозвратное множество мы будем обозначать , а эргодическое - . При этом , . Если эргодическое множество содержит только одно состояние, то это состояние называется поглощающим. Для такого состояния элемент переходной матрицы должен быть равен 1, следовательно, все остальные элементы соответствующей строки равны 0. Цепь, все эргодические состояния которой являются поглощающими, называется поглощающей цепью.

Для цепи Маркова с состояниями, в которой имеются как невозвратные, так и эргодические множества, структура матрицы вероятностей переходов (возможно, после перенумерации состояний) имеет канонический вид

(4.6)

где - количество состояний в невозвратном множестве;

- количество состояний в эргодическом множестве.

Матрица Q размерности определяет поведение процесса до выхода из множества невозвратных состояний.

Матрица R размерности определяет вероятности перехода из множества невозвратных состояний в эргодическое множество.

Матрица размерности определяет динамику эргодических состояний.

Поскольку из множества невозможно выйти, то матрица размерности состоит из нулей.

При возведении матрицы P в степень перемножаются блоки, указанные в (3.9), и произвольная степень канонической матрицы имеет вид

. (4.7)