Моделирование систем и процессов. Статистическое моделирование. Учебное пособие

тодом возможно использование вычислительных схем, основанных на свойствах матриц переходных вероятностей.

Достаточно ясные представления о характере марковской цепи можно получить, анализируя Р(k) матрицу переходных вероятностей за k шагов. Если с увеличением k обнаруживается периодическое повторение ее элементов, то цепь не является правильной. Для правильных цепей обычно быстро выявляется, что элементы P(k) стремятся к некоторым предельным значениям, т. е. для системы существует стационарный режим. Можно составить суждение о времени переходного процесса, предшествующего стационарному режиму, по значению k числа шагов, после которого предельные значения практически достигаются. При достаточно большом k по матрице P(k) легче, чем по исходной матрице P выявляется количество и состав групп состояний, отвечающих структуре (А.113).

Сама схема вычисления Р(k) основана на формуле (А.109) и чрезвычайно проста. Она сводится к многократному повторению операции умножения матриц

Если интересоваться только предельными переходными вероятностями, т. е. практически значениями P(k) при очень больших k, то рекуррентную процедуру (1.57) можно заменить еще более эффективной путем последовательного возведения в квадрат сначала P, затем полученной матрицы P(2), затем P(4) и т. д.

Получающиеся при этом матрицы представляет собой степени матрицы P, быстро возрастающие по закону

где m – число повторений возведения в квадрат.

Таким образом, образуется последовательность матриц переходных вероятностей за k шагов P(k), где k 1, 2, 4, 8, 16, … . При необходимости можно получить P(k) при каких-то промежуточных значениях k, выполнив несколько дополнительных умножений матриц.

Для вычисления абсолютных вероятностей j(k) (j 1, 2, …, n) того, что система окажется в состоянии Еj через k шагов после t0, нужно воспользоваться формулой (А.117). Это значит, что следует получить матрицу P(k) при s k согласно (1.58) (и, возможно, (1.57)), транспонировать ее и умножить справа на столбец П0. Все эти операции весьма просто программируются.

Столбец предельных абсолютных вероятностей П∞ для правильных цепей получается тем же способом с заменой P(k) на P(∞) (практически это тоже матрица P(k) при достаточно большом k). Для регулярных цепей не требуется транс-

41

понирования и умножения на П0: столбец П∞ совпадает с одной из одинаковых строк матрицы Р∞ (см. замечания после формулы (А.120)).

Кроме того, в этом случае можно найти предельные абсолютные вероятности путем решения системы (А.124) совместно с уравнением (А.125). Этот способ алгоритмически сложнее, чем предыдущий, но он может оказаться предпочтительнее, когда стационарному режиму предшествует длительный переходный процесс, и операции по возведению P в возрастающую степень затягиваются.

Если цепь не оказывается правильной, то решение тех же уравнений (А.124), (А.125) при условии, что оно единственное, даст значения средних предельных абсолютных вероятностей. Неединственность решения означает, что предельные абсолютные или средние предельные абсолютные вероятности зависят от начальных вероятностей, т. е. матрица переходных вероятностей имеет структуру (А.113), где s > 1. Рассмотрим некоторые примеры.

Пример 1.5. На прямой линии выделено n точек (позиций) с координатами 1, 2, …, n. В начальный момент точка занимает одну из позиций с вероятностями 10, 20,..., n0 . В каждый из последующих моментов точка с одинаковыми вероятностями 1/3 остается в исходной позиции (если это не 1 или n) или перемещается в соседнюю позицию справа или слева. Если исходная позиция это 1 или n, то точка с вероятностью 1 перемещается в соседнюю позицию. Возвращаясь к прежней терминологии, можно сказать: «система находится в состоянии n» вместо «точка занимает позицию n». Во избежание громоздких выражений возьмем небольшое значение n 4. Матрица переходных вероятностей примет вид*

Непосредственные вычисления обнаруживают, что все степени P, начиная с 18-й, совпадают (т. е. режим практически становится стационарным после 18-го шага), и любая из них может рассматриваться как матрица предельных переходных вероятностей P

* Все числа в этом и последующих примерах приведены с точностью не выше 4-го знака после запятой. Поэтому строчные суммы могут быть не всегда равны 1.

42

Все строки в ней одинаковы, что является признаком регулярности рассматриваемой цепи. Предельные абсолютные вероятности даются любой из строк P :

Тот же результат получится из системы уравнений (А.124) после замены первого из них условием (А.125) и подстановки конкретных значений элементов матрицы (1.60):

π1 +π2 +π3 +π4 1,

π3 (0,3333 π2 +0,3333 π3 + π4 ) 0, π4 0,3333 π3 0.

Пример 1.6. В связи с решением задачи Дирихле методом статистического моделирования (см. [6]) изучались случайные блуждания точки по узлам сеточной области. Теперь ясно, что этот процесс тоже является цепью Маркова. Рассмотрим простейшую область, которая еще позволяет сохранить основные признаки этой цепи; она показана на рис. 1.15, а.

Узлы 1–6 принадлежат границе области, а узлы 7 и 8 являются внутренними. Из внутреннего узла точка с вероятностью 0,25 перемещается за один шаг в соседний узел по горизонтали или вертикали. Попав в граничный узел, точка из него больше не выходит – остается в нем с вероятностью 1.

Матрица переходных вероятностей имеет следующий вид (номер состояния совпадает с номером узла, где находится точка; они указаны слева и сверху от матрицы, выделенной двойными линиями):

43

Возведение Р в любую степень не изменяет элементов первых шести строк. После возведения P в 8-ю степень строки 7 и 8 матрицы Р8 = Р(8) принимают вид

0,2667 0,2667 0,2667 0,0667 0,0667 0,0667 0 0

0,0667 0,0667 0,0667 0,2667 0,2667 0,2667 0 0

и при дальнейшем увеличении степени остаются неизменными.

Таким образом, предельные переходные вероятности существуют, и в матрице Р∞ первые шесть строк те же, что у Р, а строки 7 и 8 приведены выше. Это свидетельствует, что цепь правильная, но не регулярная. Предельные абсолютные вероятности теперь зависят от начальных. Например, если π10 1, π02 π30 π04 π50 π06 π07 π80 0 (в момент t0 точка достоверно находится в узле 1), умножение этого вектора согласно (А.120) на (P )T даст

π1 1, π2 π3 … π8 0,

т. е. точка так и останется в этом узле. Если π10 π02 π30 π04 π50 π06 π07 0, π80 1 (точка в момент t0 достоверно находится в узле 8), то

π1 π2 π3 0,0667; π4 π5 π6 0,2667; π7 π8 0,

т. е. точка по истечении достаточно длительного времени окажется в узлах 1, 2 или 3 с вероятностями 0,066 7 или в узлах 4, 5 или 6 с вероятностями 0,266 7. Практически (т. е. с учетом точности вычисления вероятностей) один из этих переходов совершается не более чем через 8 шагов.

Уравнения (А.124) с заменой первого из них на (А.125) для предельных абсолютных вероятностей имеют в данном случае вид

44

8

j 1;

j 1

π j π j 0,25 π7 0, j 2, 3;

π7 0,25 π8 0;

π8 0,25 π7 0;

откуда однозначно определяются только π7 π8 0.

Пример 1.7. Матрица (А.114) при возведении в возрастающую степень q стремится к пределу Р∞, практически достигаемому уже при q 12:

Тип цепи здесь такой же, как в предыдущем примере, – правильная, но не регулярная. Предельные абсолютные вероятности зависят от начальных, а уравнения (А.124) имеют неединственное решение.

Пример 1.8. Рассмотрим схему, известную в литературе как модель Эренфестов для процесса диффузии. Сосуд, содержащий N молекул, разделен перегородкой на две части, условно, левую и правую. Будем считать, что система находится в состоянии j, если в левой части находится j молекул (j 0, 1, 2, …, N). В данном случае отсчет состояний ведется с 0 (что удобнее), а их общее число равно N + 1.

Наудачу выбирается одна молекула, все равно из какой части, и перемещается в другую. Вероятность выбора зависит от текущего состояния. Если это состояние 0, то однозначно выбирается молекула из правой части, что с вероятностью 1 переводит состояние 0 в состояние 1. Если это состояние N, то с вероятностью 1 оно переходит в состояние N – 1. Если это промежуточное состояние j, то вероятность выбора молекулы из левой части равна j/N, а из правой (1 – j/N). С этими вероятностями система переходит соответственно в состояния (j – 1) и (j + 1). Для N 3 (конечно, при этом о диффузии речь идти не может; преследуются только иллюстративные цели) получается следующая матрица переходных вероятностей:

45

После возведения матрицы Р в степени q > 10 обнаруживается, что все нечетные степени остаются неизменными и имеют вид

а все четные степени также совпадают, но имеют другой вид:

Почему так происходит, становится яснее после рассмотрения графа на рис. 1.15, б. Из состояния 0 переход в состояния 1 или 3 возможен только за нечетное число шагов, а в состояние 2 или обратно в 0 – только за четное. Аналогичная картина имеет место и для остальных стартовых состояний.

Таким образом, предельных переходных, а вслед за тем и абсолютных вероятностей не существует. В то же время существуют пределы отдельно четных и нечетных степеней Р. Вывод: цепь не является правильной. Однако это не исключает существования средних предельных вероятностей. Уравнения (А.124) с учетом (А.125) записываются теперь в форме

0 + 1 + 2 + 3 1,

Они имеют единственное решение

46

На его основе можно убедиться, что при больших N система почти всегда прибывает в состояниях с номерами, близкими к N/2 (одинаковое количество молекул в обеих частях). Например, при N 106 (для молекулярной физики это совсем не много) вероятность того, что в какой-либо части будет находиться более 505 000 молекул (отклонение от среднего 1 %), есть исчезающе малая величина порядка 10-23.

Приведенные соображения и примеры свидетельствуют, что при моделировании следует выявлять и по возможности предвидеть тип марковской цепи. Этот вывод относится не только к алгебраическим методам (формула (1.57) и далее), но и к общей схеме рис. 1.14. В частности, она требует задания начальных вероятностей. Может оказаться, что результат моделирования справедлив для одних начальных вероятностей и не имеет места при других. Более того, при недостаточно внимательном подходе это обстоятельство может остаться незамеченным.

§ 1.12. Обработка и оценка точности результатов моделирования

Целью обработки результатов статистического моделирования обычно является получение вероятностных характеристик случайных событий, величин или процессов, относящихся к объекту моделирования. Сами результаты моделирования вполне аналогичны тем, что могут быть найдены из экспериментов над реально существующими объектами.

Поскольку определение вероятностных характеристик из опыта является одной из основных задач математической статистики [2], имеющиеся в этой области обширные и глубокие теоретические разработки вполне применимы по отношению к данным статистического моделирования.

Искомыми вероятностными характеристиками могут быть вероятности событий; математические ожидания, дисперсии и распределения случайных величин; корреляционные моменты случайных векторов; математические ожидания, корреляционные функции и спектральные плотности случайных процессов и др. Из них остановимся только на вероятностях событий, математических ожиданиях и дисперсиях случайных величин. Все они являются числовыми характеристиками.

Пусть искомая неизвестная числовая характеристика. Величину , вычисленную по результатам опытов и принимаемую за приближенное значение , называют в математической статистике оценкой . Определение оценок относится и к задачам статистического моделирования постольку, поскольку его можно рассматривать как эксперимент с моделью.

Любая оценка, каким бы способом она ни вычислялась, является случайной величиной (в отличие от самой оцениваемой характеристики), так как ис-

47

ходными данными для ее определения служат случайные результаты эксперимента (или моделирования). Поэтому по отношению к ней применимы такие понятия как математическое ожидание M , дисперсия D и распределение.

Для суждения о точности оценки вводят следующие относящиеся к ней определения. Оценка называется состоятельной, если она сходится по вероятности (см. приложение А, п. 6) к . Для состоятельности оценки достаточно, чтобы ее математическое ожидание стремилось к , а дисперсия – к нулю при N , где N – количество значений случайной величины, полученных в опытах или при моделировании (объем выборки).

Оценка называется несмещенной, если ее математическое ожидание равно при любом N. В противном случае оценка называется смещенной, а величина (M θ) смещением. Смещенная оценка называется асимптотически

несмещенной, если смещение стремится к нулю при N .

Существуют и другие способы описания точности оценки – через понятие

ееэффективности или доверительные интервалы.

Вкачестве оценки вероятности P(A) р некоторого события A используется частота этого события

где n – количество наблюдавшихся событий в N опытах. Согласно (А.76) и (А.77) математическое ожидание p равно вероятности p, а дисперсия

Таким образом, частота является несмещенной оценкой вероятности, а поскольку Dp 0 при N , то эта оценка является и состоятельной. Из-

вестно также, что оценка (1.72) имеет наименьшую дисперсию (1.73) среди всех других возможных оценок, поэтому последние обычно и не применяются.

Для характеристики точности оценки лучше использовать вместо дисперсии стандартное отклонение p Dp , поскольку оно позволяет получить бо-

лее непосредственное суждение о возможном диапазоне разброса значений p. Согласно (1.73)

т. е. p убывает обратно пропорционально корню квадратному из N. На прак-

тике это означает, что для уменьшения погрешности оценки p в 2 раза нужно увеличить N (а значит, продолжительность моделирования) в 4 раза, для уменьшения погрешности в 10 раз – увеличить N в 100 раз и т. п.

48

Перейдем к оценке математического ожидания m случайной величины Х. В этом качестве обычно используется среднее арифметическое ее значений x1, x2,... xN , полученных в результате опыта (или моделирования):

Согласно теореме Хинчина (см. приложение А, п. 6) эта оценка сходится по вероятности к m, а значит, является состоятельной.

Формулы для математического ожидания, дисперсии и стандартного отклонения оценки, приводимые здесь без вывода, имеют вид

где D и дисперсия и стандартное отклонение X.

Первая из них свидетельствует, что оценка (1.75) – несмещенная. Согласно (1.77) погрешность оценивания m подчиняется той же закономерности, что и

выше: убывает обратно пропорционально N .

Конкретное значение Dm (или m ) можно определить, только зная дисперсию D самой случайной величины Х (или ее стандартное отклонение ). Обычно она неизвестна заранее. Однако можно использовать вместо D ее оценку, получаемую на основе тех же результатов эксперимента. Разумеется, оценка представляет и самостоятельный интерес.

Естественной оценкой дисперсии случайной величины служит среднее значение квадрата отклонений ее значений, полученных в эксперименте, от среднего (1.75), т. е. от оценки математического ожидания:

Анализ этого выражения показывает [5], что эта оценка является состоятельной. В то же время ее математическое ожидание равно

D N

и совпадает с оцениваемой величиной D только при N .

Таким образом, оценка (1.78) является смещенной, асимптотически несмещенной. Чтобы получить несмещенную состоятельную оценку дисперсии,

достаточно умножить D на N N 1; обозначим результат D

49

В определенном смысле смещенная оценка D точнее несмещенной D :

средний квадрат ее отклонения от D меньше. Тем не менее оценку D обычно не используют, чтобы избежать систематических ошибок при небольшом числе опытов N. При большом N разница в точности практически незаметна.

Если случайная величина Х имеет нормальное распределение, то стан-

DN 1

Втабл. 1.2 приведены отношения стандартных отклонений m (формула

Из таблицы видно, что практически приемлемая точность достигается только при N > 100.

Формула (1.81) подтверждает уже дважды упомянутое правило: погреш-

ность убывает как 1 N (слагаемое « 1» в знаменателе (1.81) почти ничего не

меняет). Практически можно пользоваться этим правилом и при оценке ряда других, не рассматриваемых здесь характеристик случайных величин. О них можно прочесть в обширной литературе по математической статистике, например, в книге [2]. Оценка характеристик случайных процессов представлена в литературе более скупо. Из имеющихся источников можно рекомендовать [5].

Следует также заметить, что для большинства реальных задач моделирования важен скорее качественный характер приведенных здесь соображений о точности оценок. Заключения количественного характера чаще формулируют на основе многократного повторения процедуры моделирования и сравнения получаемых результатов.

50