1.3 Предельные вероятности в Марковских цепях

Рассмотрим Марковскую цепь с состояниями S₁, S₂, … S_k.

Определение 2. Если для всех i, j=1,…,k существует предел   , причем величина _j не зависит от i, тогда у этой системы существуют предельные вероятности, задаваемые равенством:

(1.12)  , j=1,2,…k.

Физический смысл предельных вероятностей:

1) _j  – это доля времени, которое система проводит в j-том состоянии.

2) _j  – это вероятность застать систему в j-том состоянии, если мы посмотрим на нее в случайный момент времени.

 

Теорема 2. (О существовании предельных вероятностей) Пусть дана Марковская цепь с матрицей переходов P. Если при некотором t₀ все элементы матрицы строго положительны, то предельные вероятности существуют. (Без доказательства)

 

Рассмотрим пример, поясняющий, в каких случаях предельные вероятности не существуют.

Пример 4. Пусть цепь задана следующей матрицей переходов:

Представим эту систему в виде графа:

Видим, что в матрице Р есть нулевые элементы. Найдем P(2), P(3) и т. д. в надежде, что найдем матрицу без нулей и применим Теорему 2. Перемножив, получим:

Очевидно, все P(t) содержат нули. Возникает подозрение, что предельные вероятности не существуют. Для этого, чтобы убедиться в этом, рассмотрим траектории такой цепи:

состояние	1	2	1	2	1	2	...
t=	0	1	2	3	4	5	...

Состояния такой цепи меняются циклически (периодически):

p₁₁(2t+1)=0, p₁₁(2t)=1, поэтому  не существует.

 

Рассмотрим вопрос о вычислении предельных вероятностей.

Теорема 3. Пусть дана Марковская цепь с конечным числом состояний S₁, S₂, … S_k, у которой существуют предельные вероятности ₁, ₂, ..., _k, тогда они могут быть найдены как решение системы уравнений:

(1.13)   , или, в матричном виде,

(1.14)    

 

Пример 5. Используя данные из примера 3, найдем долю рыжих женщин на этом острове через 1000 лет.

Решение: Найдем предельные вероятности для цепи с матрицей

Очевидно, предельные вероятности существуют, т.к. все элементы ненулевые. Для их вычисления используем Теорему 3. Запишем систему уравнений (1.14):

Решением этой системы будет ₁ =1/3, ₂ =2/3. Следовательно, через 1000 лет на этом острове будет 1/3 рыжих и 2/3 не рыжих женщин.

 

Задачи для самопроверки

1. В мастерскую для ремонта поступают моторы двух типов. Ремонт мотора типа М₁ требует одного дня, типа М₂ – двух дней. Каждое утро вероятность поступления на ремонт мотора типа М₁ равна 1/2, и типа М₂ – 1/3. Если день занят ремонтом мотора М₂, то отказывают любому заказу. Составить матрицу переходов.

2. В учениях участвуют два корабля, которые одновременно производят выстрелы друг в друга через равные промежутки времени. При каждом обмене выстрелами корабль А поражает корабль В с вероятностью 1/2, а корабль В поражает корабль А с вероятностью 3/8. Предполагается, что при любом попадании корабль выходит из строя. Найти матрицу переходов, если состояниями цепи являются комбинации кораблей, оставшихся в строю: Е1 – оба корабля в строю, Е2 – в стою корабль А, Е3 – в строю корабль В, Е4 – оба корабля поражены.

3. Погода на некотором острове бывает дождливой (Д) или сухой (С). Вероятности ежедневных изменений погоды заданы матрицей

а) если сегодня дождь, то какова вероятность того, что после завтра будет сухо?

б) если в среду ожидается дождливая погода с вероятностью 0,3, то какова вероятность того, что она будет дождливой в ближайшую пятницу?

 

25) Общая постановка транспортной задачи состоит в определении оптимального плана перевозок некоторого однородного груза из тпунктов отправления  в п пунктов назначения  . При этом в качестве критерия оптимальности обычно берется либо минимальная стоимость перевозок всего груза, либо минимальное время его доставки. Рассмотрим транспортную задачу, в качестве критерия оптимальности которой взята минимальная стоимость перевозок всего груза. Обозначим через  тарифы перевозки единицы груза из i-го пункта отправления в j-й пункт назначения, через  – запасы груза в i-м пункте отправления, через  – потребности в грузе вj–м пункте назначения, а через  – количество единиц груза, перевозимого из i-го пункта отправления в j-й пункт назначения. Тогда математическая постановка задачи состоит в определении минимального значения функции

(63)

при условиях

(64)

(65)

(66)

Поскольку переменные  удовлетворяют системам уравнений (64) и (65) и условию неотрицательности (66), обеспечиваются доставка необходимого количества груза в каждый из пунктов назначения, вывоз имеющегося груза из всех пунктов отправления, а также исключаются обратные перевозки.

Определение 15.

Всякое неотрицательное решение систем линейных уравнений (64) и (65), определяемое матрицей  , называетсяпланом транспортной задачи.

Определение 16.

План  , при котором функция (63) принимает свое минимальное значение, называется оптимальным планомтранспортной задачи.

Обычно исходные данные транспортной задачи записывают в виде таблицы 21.

Таблица 21

Очевидно, общее наличие груза у поставщиков равно  , а общая потребность в грузе в пунктах назначения равна  единиц. Если общая потребность в грузе в пунктах назначения равна запасу груза в пунктах отправления, т. е.

(67)

то модель такой транспортной задачи называется закрытой. Если же указанное условие не выполняется, то модель транспортной задачи называется открытой.

Теорема 13.

Для разрешимости транспортной задачи необходимо и достаточно, чтобы запасы груза в пунктах отправления были равны потребностям в грузе в пунктах назначения, т. е. чтобы выполнялось равенство (67).

В случае превышения запаса над потребностью, т. е.  вводится фиктивный (n+1)–й пункт назначения с потребностью и соответствующие тарифы считаются равными нулю:  Полученная задача является транспортной задачей, для которой выполняется равенство (67).

Аналогично, при  вводится фиктивный (m+1)–й пункт отправления с запасом груза  и тарифы полагаются равными нулю:  Этим задача сводится к обычной транспортной задаче, из оптимального плана которой получается оптимальный план исходной задачи. В дальнейшем будем рассматривать закрытую модель транспортной задачи. Если же модель конкретной задачи является открытой, то, исходя из сказанного выше, перепишем таблицу условий задачи так, чтобы выполнялось равенство (67).

Число переменных  в транспортной задаче с т пунктами отправления и п пунктами назначения равно пт, а число уравнений в системах (64) и (65) равно п+т. Так как мы предполагаем, что выполняется условие (67), то число линейно независимых уравнений равно п+т–1. Следовательно, опорный план транспортной задачи может иметь не более п + т–1 отличных от нуля неизвестных.

Если в опорном плане число отличных от нуля компонент равно в точности п+т–1, то план является невырожденным, а если меньше – то вырожденным.

Как и для всякой задачи линейного программирования, оптимальный план транспортной задачи является и опорным планом.

Для определения оптимального плана транспортной задачи можно использовать изложенные выше методы.

Пример 19.

Четыре предприятия данного экономического района для производства продукции используют три вида сырья. Потребности в сырье каждого из предприятий соответственно равны 120, 50, 190 и 110 ед. Сырье сосредоточено в трех местах его получения, а запасы соответственно равны 160, 140, 170 ед. На каждое из предприятий сырье может завозиться из любого пункта его получения. Тарифы перевозок являются известными величинами и задаются матрицей

Составить такой план перевозок, при котором общая стоимость перевозок является минимальной.

Решение. Обозначим через  количество единиц сырья, перевозимого из i–го пункта его получения на j–е предприятие. Тогда условия доставки и вывоза необходимого и имеющегося сырья обеспечиваются за счет выполнения следующих равенств:

(68)

При данном плане  перевозок общая стоимость перевозок составит

(69)

Таким образом, математическая постановка данной транспортной задачи состоит в нахождении такого неотрицательного решения системы линейных уравнений (68), при котором целевая функция (69) принимает минимальное значение.

26)

итуации, описываемые рассмотренными в гл. 2 моделями в виде стратегических игр, в экономической практике могут не в полной мере оказаться адекватными действительности, посколь­ку реализация модели предполагает многократность повторения действий (решений), предпринимаемых в похожих условиях. В реальности количество принимаемых экономических решений в неизменных условиях жестко ограничено. Нередко экономичес­кая ситуация является уникальной, и решение в условиях нео­пределенности должно приниматься однократно. Это порождает необходимость развития методов моделирования принятия реше­ний в условиях неопределенности и риска.

Традиционно следующим этапом такого развития являются игры с природой. Формально изучение игр с природой, так же как и стратегических, должно начинаться с построения платежной мат­рицы, что является, по существу, наиболее трудоемким этапом под­готовки принятия решения. Ошибки в платежной матрице не могут быть компенсированы никакими вычислительными методами и приведут к неверному итоговому результату.

Отличительная особенность игры с природой состоит в том, что в ней сознательно действует только один из участников, в большинстве случаев называемый игроком 1. Игрок 2 (природа) сознательно против игрока 1 не действует, а выступает как не имеющий конкретной цели и случайным образом выбирающий очередные «ходы» партнер по игре. Поэтому термин «природа» характеризует некую объективную действительность, которую не следует понимать буквально, хотя вполне могут встретиться ситуации, в которых «игроком» 2 действительно может быть природа (например, обстоятельства, связанные с погодными ус­ловиями или с природными стихийными силами).

На примере игры с природой рассмотрим проблему заготов­ки угля на зиму.

Задача 3.1. Необходимо закупить уголь для обогрева дома. Количество хранимого угля ограничено и в течение холодного периода должно быть полностью израсходовано. Предполагает­ся, что неизрасходованный зимой уголь в лето пропадает. Поку­пать уголь можно в любое время, однако летом он дешевле, чем зимой. Неопределенность состоит в том, что не известно, какой будет зима: суровой, тогда придется докупать уголь, или мягкой, тогда часть угля может остаться неиспользованной. Очевидно, что у природы нет злого умысла и она ничего против человека «не имеет». С другой стороны, долгосрочные прогнозы, состав­ляемые метеорологическими службами, неточны и поэтому мо­гут использоваться в практической деятельности только как ори­ентировочные при принятии решений.

Решение. Матрица игры с природой аналогична матрице стратегической игры: А = ||а_ij||, где а_ij - выигрыш игрока 1 при реализации его чистой стратегии i и чистой стратегии jигрока 2 (i = 1, ..., m; j = 1, ..., п).

Мажорирование стратегий (см. разд. 2.4) в игре с природой имеет определенную специфику: исключать из рассмотрения можно лишь доминируемые стратегии игрока 1: если для всех j=1, ..., п  , k, l = 1, ..., т, то k-ю стратегию принимающего решения игрока 1 можно не рассматривать и вычеркнуть из мат­рицы игры. Столбцы, отвечающие стратегиям природы, вычер­кивать из матрицы игры (исключать из рассмотрения) недопус­тимо, поскольку природа не стремится к выигрышу в «игре» с человеком, для нее нет целенаправленно выигрышных или про­игрышных стратегий, она действует неосознанно*.

* Впрочем, в матричных представлениях игр с природой значения выигры­шей принимающего решения игрока не всегда располагаются по строкам. Это допустимо делать и по столбцам, принимая ЛПР как игрока 2, понимая, одна­ко, что мажорировать можно только стратегии принимающего решения игрока. Такой подход осуществлен в некоторых задачах, представленных в гл. 6 - 8 настоящего учебного пособия.

 

На первый взгляд отсутствие обдуманного противодействия упрощает игроку задачу выбора решения. Однако, хотя ЛПР никто не мешает, ему труднее обосновать свой выбор, поскольку в этом случае гарантированный результат не известен.

Методы принятия решений в играх с природой зависят от характера неопределенности, точнее от того, известны или нет вероятности состояний (стратегий) природы, т.е. имеет ли место ситуация риска или неопределенности. Ниже будут описаны методы, применяемые в обоих случаях.

Рассмотрим организацию и аналитическое представление игры с природой. Пусть игрок 1 имеет т возможных стратегий: А₁, A₂ , ... , А_m, а у природы имеется п возможных состояний (стра­тегий): П₁, П₂, ..., П_n, тогда условия игры с природой задаются матрицей А выигрышей игрока 1:

                               

Платит, естественно, не природа, а некая третья сторона (или совокупность сторон, влияющих на принятие решений игроком 1 и объединенных в понятие «природа»).

Возможен и другой способ задания матрицы игры с приро­дой: не в виде матрицы выигрышей, а в виде так называемой матрицы рисков R = ||r_ij||_m,n или матрицы упущенных возможно­стей. Величина риска - это размер платы за отсутствие инфор­мации о состоянии среды. Матрица R может быть построена не­посредственно из условий задачи или на основе матрицы выиг­рышей А.

Риском r_ij игрока при использовании им стратегии А_i и при состоянии среды П_j будем называть разность между выигрышем, который игрок получил бы, если бы он знал, что состоянием среды будет П_j, и выигрышем, который игрок получит, не имея этой информации.

Зная состояние природы (стратегию) П_j, игрок выбирает ту стратегию, при которой его выигрыш максимальный, т.е. r_ij = _j – a_ij при заданном j. Например, для мат­рицы выигрышей

                   

Согласно введенным определениям r_ij и _j получаем матрицу рисков

                   

Независимо от вида матрицы игры требуется выбрать такую стратегию игрока (чистую или смешанную, если последняя име­ет смысл), которая была бы наиболее выгодной по сравнению с другими. Необходимо отметить, что в игре с природой понятие смешанной стратегии игрока не всегда правомерно, поскольку его действия могут быть альтернативными, т.е. выбор одной из стратегий отвергает все другие стратегии (например, выбор аль­тернативных проектов). Прежде всего следует проверить, нет ли среди стратегий игрока мажорируемых, и, если таковые имеют­ся, исключить их.