Статистическое моделирование случайных процессов (метод Монте-Карло)

5. Стат. Моделирование случайных процессов (метод Монте-Карло).

Метод Монте-Карло (метод статистических испытаний) - численный метод решения различных задач при помощи моделирования случайных событий. В приложении к физике M.-К. м. можно определить как метод исследования физ. процесса путём создания и эксплуатации стохастической модели, отражающей динамику данного процесса.

M.-К. м. был сформулирован в 1949 в работах Дж. Неймана (J. Neumann), С. Улама (S. Ulam), H. Метрополиса (N. Metropolis). Предшественник M.-К. м. - статистическое моделирование, известное ещё в 19 в. Классич. примером такого моделирования является "игла Бюффона", т. е. получение числа p путём случайного бросания иглы на горизонтальную поверхность, расчерченную сеткой равноотстоящих параллельных линий. С появлением быстродействующих компьютеров метод обрёл второе рождение и получил в 1949 назв. "метод Монте-Карло".

Для реализации случайной величины в M.-К. м. традиционно используют датчики, генерирующие случайную последовательность чисел, равномерно распределённых на интервале (0,1). Различают три типа случайных чисел. Истинно случайные числа можно вырабатывать, напр., преобразуя случайные сигналы от радиоакт. источника или от шумового диода. Таким способом можно достаточно быстро получать большие последовательности некоррелированных случайных чисел.

Применение метода М-К:

- при моделировании сложных операций, где есть взаимодействующие факторы

- при проверке простых аналитических моделей

- когда к построенной аналитической модели хотим внести поправки и доработки.

Достоинстваметода М-К:

Модели не требуют допущений и упрощений.

Недостаток:громоздкость и трудоемкость.

Пример использования: мы производим розыгрыш с помощью случайной процедуры, дающей случайный результат.

Когда Метода М-К не годится: Три выстрела в цель. Вероятность попадания в цель 1 к 2. Найти вероятность попадания: 1- (1/2) в третей степени = 7/8.

Предмет и задачи теории игр. Основные понятия и определения. Парные и множественные игры

Основные понятия и определения. Предмет теории игр

Довольно часто в своей практической деятельности человеку приходится сталкиваться с задачами, в которых необходимо принимать решение в условиях, когда две или более стороны преследуют различные цели, а результаты любого действия каждой из сторон зависят от мероприятий партнера. Такие ситуации, возникающие, например, при игре в шахматы, шашки или домино, относят к конфликтным: результат каждого хода игрока зависит от ответного хода противника. Каков будет этот ответный ход, заранее неизвестно, поэтому говорят, что решение приходится принимать в условиях неопределенности. Цель игры - выигрыш одного из участников.

Ситуация называется конфликтной, если в ней участвуют стороны, интересы которых полностью или частично противоположны.

Для рационального решения задач с конфликтными ситуациями существуют научно обоснованные методы. Такие методы разработаны математической теорией конфликтных ситуаций, которая называется теорией игр.

Игра – это действительный или формальный конфликт, в котором имеется по крайней мере два участника (игрока), каждый из которых стремится к достижению собственных целей.

Допустимые действия каждого из игроков, направленные на достижение некоторой цели, называются правилами игры.

Игра называется парной, если в ней участвуют два игрока, и множественной, если число игроков больше двух. Далее будем рассматривать только парные игры. В такой игре участвуют два игрока - A и B, интересы которых противоположны. Под игрой (процессом игры) будет понимать ряд действий со стороны A и B.

Количественная оценка результатов игры называется платежом.

Парная игра называется игрой с нулевой суммой, или антагонистической, если сумма платежей равна нулю, т.е выигрыш одного игрока равен проигрышу другого. В этом случае для полного задания игры достаточно указать одну из величин. Если, например, a – выигрыш одного из игроков, b - выигрыш другого, то для игры с нулевой суммой b = -a, поэтому достаточно рассматривать, например, a.

В рамках данного курса будем рассматривать парные игры с нулевой суммой.

Выбор и осуществление одного из действий, предусмотренных правилами, называется ходом игрока. Ходы могут быть личными и случайными.

Личный ход – это сознательный выбор игроком одного из возможных действий (например, ход в шахматной игре).

Случайный ход – это случайно выбранное действие (например, выбор карты из перетасованной колоды).

В дальнейшем мы будем рассматривать только личные ходы игроков.

Стратегией игрока называется совокупность правил, определяющих выбор его действия при каждом личном ходе в зависимости от сложившейся ситуации.

Обычно в процессе игры при каждом личном ходе игрок делает выбор в зависимости от конкретной ситуации. Однако, в принципе, возможно, что решения приняты игроком заранее (в ответ на любую сложившуюся ситуацию). Это означает, что игрок выбрал определенную стратегию, которая может быть задана в виде списка правил или программы.

Игра называется конечной, если у каждого игрока есть конечное число стратегий, и бесконечной – в противном случае.

Стратегия игрока называется оптимальной, если она обеспечивает игроку максимальный выигрыш (или, что то же самое, минимальный проигрыш), при условии, что второй игрок придерживается своей стратегии.

Если игра повторяется много раз, то игроков может интересовать не выигрыш и проигрыш в каждой конкретной партии, а средний выигрыш (проигрыш) во всех партиях.

Для того чтобы решить игру, или найти решение игры, необходимо для каждого из игроков выбрать оптимальную стратегию.

Таким образом, предмет теории игр составляют методы отыскания оптимальных стратегий игроков.

При выборе оптимальной стратегии естественно предполагать, что оба игрока ведут себя разумно с точки зрения своих интересов. Важнейшее ограничение теории игр - единственность выигрыша как показателя эффективности, в то время как в большинстве реальных экономических задач имеется более одного показателя эффективности. Кроме того, в экономике, как правило, имеют место задачи, в которых интересы партнеров не обязательно антагонистические. Однако решение игр при наличии многих участников, имеющих непротиворечивые интересы, - это гораздо более сложная задача.

Парные игры с нулевой суммой. Решение в чистых стратегиях

Рассмотрим парную конечную игру.

Пусть игрок А располагает m личными стратегиями: A₁, A₂, …, A_m. Пусть у игрока B имеется n личных стратегий. Обозначим их B₁, B₂, …, B_n. В этом случае игра имеет размерность mxn. В результате выбора игроками любой пары стратегий A_i,B_j (   ) однозначно определяется исход игры, т.е. выигрыш a_ij игрока А (положительный или отрицательный) и проигрыш ( - a_ij) игрока В.

Предположим, что значения a_ij известны для любой пары стратегий (A_i,B_j).

Матрица А = (a_ij),  , элементами которой являются выигрыши, соответствующие стратегиям A_i и B_j, называется платежной матрицей или матрицей игры.

Общий вид платежной матрицы приведен ниже:

A =

a11   a12    ...     a1n a21   a22    ...     a2n       ... am1  am2   ...     amn

.

Платежную матрицу также часто представляют в виде таблицы (см. таблицу 5.1).

Таблица 5.1 - Общий вид платежной матрицы

	B1	B2	...	Bn
A1	a11	a12	...	A1n
A2	a21	a22	...	A2n
...	...	...	...	...
Am	am1	am2	...	Amn

Строки матрицы А соответствуют стратегиям первого игрока, а столбцы – стратегиям второго.

Эти стратегии называются чистыми.

Пример 5.1. Составьте платежную матрицу для следующей игры (игра "Поиск").

Игрок А может спрятаться в одном из двух убежищ (I или II); игрок B ищет игрока A, и если найдет, то получает штраф 1 денежную единицу от А, в противном случае - платит игроку А 1 денежную единицу.

Решение.

Для того чтобы составить платежную матрицу следует проанализировать поведение каждого из игроков. Игрок А может спрятаться в убежище I - обозначим эту стратегию через A₁, или в убежище II - стратегия A₂.

Для того чтобы составить платежную матрицу следует проанализировать поведение каждого из игроков. Игрок А может спрятаться в убежище I - обозначим эту стратегию через A₁, или в убежище II - стратегия A₂.

Игрок B может искать первого игрока в убежище I - стратегия B₁, либо в убежище II - стратегия B₂. Если игрок А находится в убежище I и там его обнаруживает игрок B, т.е. осуществляется пара стратегий (A₁, B₁), то игрок А платит штраф, т.е. a₁₁ = -1. Аналогично a₂₂ = -1.

Очевидно, что комбинации стратегий (A₁, B₂) и (A₂, B₁) дают игроку А выигрыш, равный единице, поэтому a₁₂= a₂₁ = 1.

Таким образом, для игры "Поиск" размера 2x2 получаем следующую платежную матрицу:

A =

-1   1 1   -1

.

Рассмотрим игру размера mxn c матрицей А = (a_ij),   и определим лучшую среди стратегий A₁, A₂, …, A_m.

Выбирая стратегию A_i, игрок А должен рассчитывать , что игрок В ответит на нее той из стратегий B_j, для которой выигрыш игрока А минимален (игрок В стремится "навредить" игроку А).

Обозначим  - наименьший выигрыш игрока А при выборе им стратегии A_i для всех возможных стратегий игрока В (наименьшее число в i-ой строке платежной матрицы), т.е.

.

Среди чисел  (  ) выберем наибольшее . Назовем  нижней ценой игры илимаксимальным выигрышем (максимином). Это гарантированный выигрыш игрока А при любой стратегии игрока В.

Итоговую формулу можно записать следующим образом:

.

Стратегия, соответствующая максимину, называется максиминной стратегией.

Аналогичные рассуждения могут быть выполнены и в отношении игрока B.

Игрок B заинтересован в том, чтобы уменьшить выигрыш игрока А.

Выбирая стратегию B_j, он учитывает, что игрок A будет стремиться к максимальному выигрышу.

Обозначим  - наибольший проигрыш игрока B при выборе им стратегии B_j для всех возможных стратегий игрока A (наибольшее число в j-ой строке платежной матрицы).

Среди чисел  (  ) выберем наименьшее  и назовем  верхней ценой игры или минимаксом. Это минимальный гарантированный проигрыш игрока В.

Таким образом:

.

Стратегия, соответствующая минимаксу, называется минимаксной стратегией.

Принцип, диктующий игрокам выбор наиболее "осторожных" максиминной и минимаксной стратегий, называется принципом минимакса. Этот принцип следует из разумного предположения, что каждый игрок стремится достичь цели, противоположной цели противника.

Игрок выбирает свои действия, предполагая, что противник будет действовать неблагоприятным образом, т.е. будет стараться "навредить".

Вернемся к примеру 5.1 и определим нижнюю и верхнюю цену игры в задаче "Поиск".

Рассмотрим платежную матрицу:

A =

-1   1 1   -1

.

При выборе стратегии A₁ (первая строка матрицы) минимальный выигрыш равен ₁ = min (-1; 1) = -1 и соответствует стратегии B₁ игрока B. При выборе стратегии A₂ (вторая строка матрицы) минимальный выигрыш равен ₂ = min (-1; 1) = -1, он достигается при использовании игроком B стратегии B₂.

Гарантируя себе максимальный выигрыш при любой стратегии игрока B, т.е. нижнюю цену игры  = max (₁; ₂) = max (-1; -1) = -1, игрок А может выбрать любую стратегию: A₁ или A₂, т.е. любая его стратегия является максиминной.

Выбирая стратегию B₁ (первый столбец), игрок B понимает, что игрок А ответит стратегией A₂, чтобы максимизировать свой выигрыш (проигрыш игрока B). Следовательно, максимальный проигрыш игрока B при выборе им стратегии B₁ равен ₁ = max (-1; 1) = 1.

Аналогично, максимальный проигрыш игрока B при выборе им стратегии B₂ (второй столбец) равен ₂ = max (1; -1) = 1.

Таким образом, при любой стратегии игрока А гарантированный минимальный проигрыш игрока B равен  = min (₁, ₂) = min (1, 1) = 1 - верхней цене игры.

Любая стратегия игрока B является минимаксной.

Результаты наших рассуждений сведем в таблицу 5.2, которая представляет собой платежную матрицу с дополнительной строкой _j и столбцом _i. На их пересечении будем записывать верхнюю и нижнюю цену игры.

Таблица 5.2 - Платежная матрица игры "Поиск" с дополнительными строкой и столбцом

	B1	B2	i
A1	-1	1	-1
A2	1	-1	-1
j	1	1

Таким образом, в рассматриваемой задаче нижняя и верхняя цены игры различны:  ≠ .

Если же верхняя и нижняя цены игры совпадают, то общее значение верхней и нижней цены v =  = называется чистой ценой игры, или просто ценой игры. Максиминная и минимаксная стратегии, соответствующие цене игры, являются оптимальными стратегиями, а их совокупность – оптимальным решением, или просто решением игры.

В этом случае игрок А получает максимальный гарантированный (не зависящий от поведения игрока В) выигрыш v, а игрок В добивается минимального гарантированного (не зависящего от поведения игрока А) проигрыша v. Говорят, что решение игры обладает устойчивостью, т.е., если один из игроков придерживается своей оптимальной стратегии, то для другого не может быть выгодным отклоняться от своей оптимальной стратегии.

Пара чистых стратегий A_i и B_j дает оптимальное решение игры тогда и только тогда, когда соответствующий ей элемент a_ij является одновременно наибольшим в своем столбце и наименьшим в своей строке.

Такая ситуация, если она существует, называется седловой точкой (по аналогии с поверхностью седла, которая искривляется вверх в одном направлении и вниз - в другом).

Таким образом, для игры с седловой точкой нахождение решения заключается в выборе максиминной и минимаксной стратегии, которые и являются оптимальными.

Далее рассмотрим пример.

Пример 5.2. Определите нижнюю и верхнюю цену игры, которая задана следующей платежной матрицей:

A =

0,5   0,6   0,8 0,9   0,7   0,8 0,7   0,6   0,6

.

Решение.

Выясним, имеет ли игра седловую точку. Решение удобно проводить в таблице. Таблица 5.3 включает платежную матрицу игры, а также дополнительные строку и столбец, которые иллюстрируют процесс поиска оптимальных стратегий.

Таблица 5.3 - Платежная матрица примера 5.2 с дополнительными строкой и столбцом

	B1	B2	B3	i
A1	0,5	0,6	0,8	0,5
A2	0,9	0,7	0,8	0,7
A3	0,7	0,6	0,6	0,6
j	0,9	0,7	0,8	== 0,7

Приведем некоторые пояснения.

Столбец _i заполнен на основе анализа строк матрицы (стратегии игрока A): ₁ = 0,5; ₂ = 0,7; ₃ = 0,6 - минимальные числа в строках.

Аналогично, ₁ = 0,9; ₂ = 0,7; ₃ = 0,8 - максимальные числа в столбцах.

Нижняя цена игры  =  _i = max (0,5; 0,7; 0,6) = 0,7 (наибольший элемент в столбце _i).

Верхняя цена игры  =  _j = min (0,9; 0,7; 0,8) = 0,7 (наименьший элемент в строке _j). Эти значения равны, т.е.  = , и достигаются на паре стратегий (A₂,B₂). Цена игры v = 0,7.

Таким образом, оптимальное решение состоит в выборе игроками А и В стратегий А₂ и В₂ соответственно.

Пример 5.2 наглядно демонстрирует свойство устойчивости решения. Можно убедиться, что если любой из игроков придерживается своей оптимальной стратегии, то другому заведомо невыгодно отступать от своей оптимальной стратегии.