TI_v_EMM_2014

r(P, Ï j ) 0 , P SA , j=1,…,n,

Но тогда и min R(P;1) 0 .

P SA

Из этого неравенства и равенства (60) получим неравенство

min R(P;1) R( Ai0 ;1) . (61)

P SA

Совокупность неравенств (58) и (61) доказывают справедливость равенства min R(P;1) R( Ai0 ;1) ,

P SA

Которое означает, что чистая стратегия Ai 0 является оптимальной по миниминному критерию среди всех смешанных стратегий множества S A , что и требовалось доказать.

При нахождении оптимальной стратегии по миниминномо критерию достаточно, на основании теоремы 3, рассматривать только чистые стратегии. Теорема, аналогичная теореме 3, для критерия Сэвижда не имеет места, т.е. может существовать смешанная, не чистая, стратегия игрока А, показатель неэффективности которой по критерию Сэвижда будет ниже показателя неэффективности стратегии, оптимальной среди чистых стратегий по тому же критерию.

Тема 6. Лекция 14-15. Иерархические игры.

С точки зрения управления наиболее адекватными являются игры, в которых игроки принимают решения не одновременно, а последовательно, т.е., если мы говорим, что есть управляющий орган – центр – и управляемые субъекты (агенты), то сначала центр определяет правила игры, а дальше агенты принимают решения, исходя из этих правил. Такие игры называются иерархическими. По определению, иерархическая игра – игра с фиксированной последовательностью ходов.

Простейшая иерархическая игра – такая, в которой есть первый игрок – центр, второй игрок – агент

Ц

А

Рис. 1. Базовая структура «центр-агент» Для иерархических игр характерно использование максимального гарантированного результата (МГР)

в качестве базовой концепции решения игры. При этом «пессимистичность» МГР (взятие минимума по множеству неопределенных параметров) компенсируется возможностью передачи информации между игроками, что, очевидно, снижает неопределенность при принятии решения.

Критерии эффективности (целевые функции) первого и второго игроков обозначим w1 f1 (x1 , x2 ) и w2 f 2 (x1 , x2 ) соответственно. Выигрыши игроков зависят от их действий x1 и x2 из множеств действий

X10 , X 20 .С одной стороны, получается игра двух лиц в нормальной форме, поэтому, если не введено условие последовательности выбора стратегий, то возможно достижение равновесия по Нэшу и т.п.

Во всех моделях иерархических игр считается, что первый игрок (центр) имеет право первого хода. Его

~

ход состоит в выборе стратегии x1 . Понятие стратегии существенно отличается от понятия действия и

тесно связано с информированностью первого игрока о поведении второго игрока – агента. Под стратегией игрока здесь и далее понимается правило его поведения, то есть правило выбора конкретного действия в зависимости от содержания и конкретного значения той информации, которую он получит в процессе игры. Выбирать же собственно действие центр может и после выбора действия агентом.

Самая простая стратегия центра состоит в выборе непосредственно действия x1 (если поступления

дополнительной информации о действии агента в процессе игры не ожидается), более сложная – в выборе

~

функции x1 (x2 )

может состоять

Тем не менее, во многих случаях соответствующее игре Г1 поведение центра нельзя назвать эффективным. Поэтому, когда центр наблюдает действие агента, он заинтересован сообщить агенту о своих планах по выбору действия в зависимости от действия агента, реализуя тем самым игру Г2.

Приведем формулировку теоремы о максимальном гарантированном результате центра в игре типа Г2. К этой игре сводятся многие модели управления, например, задача стимулирования в условиях полной информированности (см. ниже). Определим необходимые для формулировки теоремы понятия.

1 (центр), обладая правом первого хода, сообщает игроку 2 (агенту) план выбора своей стратегии в зависимости от выбранной игроком 2 стратегии x2. После этого второй игрок выбирает действие x2,

рассматриваемой игры, то есть множество сочетаний стратегий первого и второго игроков, которые гарантировали бы второму результат, строго больший того, что тот может получить даже при наихудших

выигрыша? Существуют ли более рациональные для центра методы обмена информацией, дающие ему больший выигрыш? Ответ на эти вопросы дает рассмотрение информационных расширений игры, или

метаигр.

Если центр не планирует самостоятельно получить информацию о действии агента, он может первым

выбрать действие, реализуя игру Г1. Однако ему можно порекомендовать и более сложное поведение. Центр

может попросить агента сообщить ему свою стратегию 2 ~2 1 , которая основана на ожидаемой x x (x )

73

агентом информации о действии центра. Реализация права первого хода центром состоит в этом случае в

~ ~

сообщении агенту стратегии x1 (x2 (x1 )) . Эту стратегию можно интерпретировать, как обещание центра

выбрать действие ~ ~ при условии, что агент обещает выбирать свое действие в соответствии с x1 (x2 (x1 ))

~ . Так образуется игра Г . x2 (x1) 3

Если центр определяет порядок обмена информацией, он может выбирать, играть ему Г1 или Г3. В обеих играх центр вынужден выбирать действие, не зная действия, выбранного агентом. Можно считать Г3, в некотором роде, усложнением игры Г1.

Аналогично тому, как, с помощью образования дополнительной «петли обратной связи», из Г1 была

Таким же способом можно на основе Г3 построить игру Г5, и так далее. В каждой из построенных четных игр Г2m, m = 1, 2, …, центр использует в качестве стратегий отображения множества стратегий агента в этой игре на множество стратегий центра в игре Г2m-2. Аналогично, стратегиями агента являются отображения множества стратегий центра в Г2m на множество стратегий агента в игре Г2m-2.

Такую рефлексию можно было бы наращивать бесконечно, переходя к все более сложным схемам обмена информацией, если бы рассмотрение этих игр увеличивало выигрыш центра (в интересах которого и проводится исследование всех метаигр). Однако имеет место следующий результат.

Теорема Н.С. Кукушкина. Максимальный гарантированный результат центра в игре Г2m при m > 1 равен максимальному гарантированному результату центра в игре Г2. В играх же Г2m+1 при m > 1 максимальный гарантированный результат центра равен его максимальному гарантированному результату в игре Г3.

Таким образом, при исследовании гарантированного результата центра можно ограничиться только играми Г1, Г2 и Г3. Кроме того, известно [20, 34], что максимальный гарантированный результат центра в игре Г2 не меньше его гарантированного результата в игре Г3, а тот, в свою очередь, не меньше гарантированного выигрыша в игре Г1. Этот факт показывает, что Г2 является «идеальной» игрой для центра. Соответственно, если центр имеет возможность определять порядок и содержание обмена информацией, и, кроме того, при выборе своего действия знает действие, выбранное агентом, он должен играть Г2. Если центр на момент выбора своего действия не знает действия агента – ему наиболее выгодна игра Г3.

74

Темы, вопросы, упражнения, задачи практических занятий.

Занятие 1. Тема 1. Формальные модели рационального поведения и принципов оптимальности. Построение функции предпочтений и целевой функции.

Функции полезности.

Пусть имеется один субъект (агент), который может выбирать действия из какого-то множества. Предположим, что предпочтения этого субъекта описывается функцией полезности f ( y) : A 1 (или

целевой функцией, функцией предпочтения – будем использовать в настоящем разделе эти термины как синонимы), которая отображает множество его допустимых действий (альтернатив) A на числовую ось 1. Значения этой функции позволяют сравнивать разные альтернативы (действия). Если есть два варианта – два элемента из множества допустимых действий, то лучшим будет тот, который приводит к большему значению функции. Предположим, что агент будет максимизировать свою полезность и производить выбор из множества выбора, которое представляет собой множество максимумов его целевой функции:

(1) P( f ( ), A) Arg max f ( y) .

y A

Значит, множество выбора агента зависит от его предпочтений f( ) и от того множества A, из которого он производит выбор.

Множество выбора зависит от двух составляющих: от функции и от допустимого множества. Предположение, что агент производит выбор из множества выбора (то есть, стремится максимизировать свою целевую функцию) называется гипотезой рационального поведения, которая заключается в том, что агент выбирает с учетом всей имеющейся у него информации наилучшую с его точки зрения допустимую альтернативу, т.е. одну из альтернатив y*, на которых достигается максимум его целевой функции:

(2) y* = arg max f(y).

y A

Пример 1. Рассмотрим экономического агента – производственное предприятие – принимающего решение об объеме выпускаемой продукции y. Технология производства такова, что может быть произведен любой объем продукции, не превышающий технологического ограничения y+ > 0, то есть множество допустимых действий агента A = [0; y+]. Предположим, что известна рыночная цена > 0 на продукцию, производимую агентом, и известна функция затрат агента c(y) = y2 / 2 r, где r > 0 – тип агента (параметр, отражающий эффективность его деятельности).

Если считать, что агент заинтересован в максимизации своей прибыли (разности между выручкой от

продаж и затратами), то его функция полезности примет вид:

(3) f(y) = y – y2 / 2 r.

Максимум этой функции на положительной полуоси достигается при выборе действия ymax = r.

Значит решение задачи (2) имеет вид:

(4) y* = min { r, y+},

то есть агенту следует выбирать объем производства, максимизирующий его прибыль (если такой объем является технологически допустимым), либо максимально возможный (с точки зрения технологических ограничений) объем производства.

Помимо принципа (1) принятия решений, агент может использовать принципы ограниченной

рациональности, то есть выбирать -оптимальные действия:

(5) P (f( ) ,A) = {y A | f(y) f(y*) – },

или действия, обеспечивающие ему заданный уровень полезности f :

(6) P(f( ), A, f } = {y A | f(y) f }.

Пример 2. Рассмотрим Пример 1, в котором агент готов выбирать -оптимальные действия, то есть, действия, которые обеспечивают ему прибыль, отличающуюся от максимально возможной не более чем на. Предполагая, что технологические ограничения отсутствуют (y+ = + ), из (3) и (5) получим:

(7)P (f( ), A) = [ r – 2 r ; r + 2 r ],

Всвою очередь, из (3) и (6) получим:

Отметим, что при = 0 или f = f(y*), получаем, что (7) и (8) превращаются в соответствующее целевой

функции (3) выражение (1). Последнее свойство называется принципом обобщения – при предельном переходе к случаю, который был обобщен, все результаты должны соответствовать обобщаемым результатам (отметим, что принцип обобщения справедлив в рамках одной научной парадигмы).

75

Занятие 2. Тема 1. Иллюстрация перехода от игры в развернутой форме к игре в нормальной форме на примерах игр.

Определение 1.

Игрой n лиц в нормальной форме называется совокупность

à N ,{X i }i N , {ui }i N , (1)

Содержащая для каждого игрока i N :

– множество стратегий X i , элементы которого (возможные действия игрока i ) обозначаются

xi ;

– функцию выигрыша (функцию полезности, целевую функцию, критерий оптимальности) ui , являющуюся отображением из X N X1 x...xX n в R . Элемент x (x1 ,..., xn ) множества X N

называется исходом (ситуацией) игры (1).

Пример. Рассмотрим следующую игру. Случайно выбирается некоторое число z из множества {1,2,3,4} . Каждое имеет вероятность 1/4 . Игрок А, не зная результата, выбирает целое число x , а игрок Б аналогично – число y. Выигрыш определяется следующим образом: |y-z|-|x-z|, (|x-z|-|y-z|) . Т.е. целью является выбор числа, наиболее близкого к z.

В этой игре каждый игрок реально имеет 4 стратегии {1,2,3,4}. (Остальные заведомо плохи.) Если, например, игрок А выбирает 1, а игрок Б выбирает 3, то выигрыш будет равен (2,-2) с вероятностью ¼, (0,0) с вероятностью ¼, (-2,2) с вероятностью ½. Ожидаемый выигрыш, таким образом, равен m(1,3)=(-1/2, 1/2). Подсчитывая все значения m(i,j)Б получим таблицу:

Таким образом, мы получили игру в нормальной форме.

Занятие 3. Тема 2. Поиск и анализ игровых равновесий на примерах игр. Доминирующие, доминируемые, осторожные стратегии. Оптимальность по Парето.

Равновесие в доминирующих стратегиях постулируется рациональным некооперативным поведением изолированных игроков.

Пример 1: «дилемма заключенного».

Каждый из двух игроков располагает двумя стратегиями А и Р, где А обозначает агрессивность, Р

– миролюбие. Предположим, что «мир» (оба игрока миролюбивы) лучше для обоих игроков, чем «война» (оба игрока агрессивны), но односторонняя агрессия (один игрок агрессивный, а другой миролюбивый) выгоднее агрессорам. Типичная структура выигрышей имеет следующий вид:

Стратегиями первого игрока являются строки платежной матрицы: X1 {P1 , A1}, а стратегиями второго игрока – столбцы X 2 {P2 , A2 }. результаты игры приведены в матрице 2х2, причем «северо-

76

западное» число обозначает выигрыш первого игрока, а «юго-восточное» - выигрыш второго игрока,

например u1 ( A1 , P2 ) 3, u2 (P1 , P2 ) 2.

Очевидно, для обоих игроков стратегия А доминирует стратегию Р. Таким образом, единственное равновесие в доминирующих стратегиях имеет вид ( A1 , А2 ) , т.е. постулируется, что результатом некооперативного поведения является война. В то же время исход (P1 , P2 ) (мир) дает больший выигрыш

сразу обоим игрокам.

Таким образом, некооперативное эгоистическое рациональное поведение вступает в противоречие с коллективными интересами, которые в данном случае диктует выбор мирных стратегий. В то же время, если игроки не обмениваются информацией, то война является наиболее вероятным исходом; изолированность стратегических выборов может нанести определенный ущерб общественным интересам.

Определение Исход x X N в игре (1) доминирует по Парето исход y X N , если

i N ui (x) ui ( y),i N ui (x) ui ( y).

Исход х называется оптимальным по Парето, если он не доминирует по Парето. Пример 2: «услуга за услугу».

Если у одного участника есть несколько доминирующих стратегий, то для него они эквивалентны, но, возможно, неэквивалентны для остальных. Рассмотрим следующую игру двух лиц, в которой стратегии каждого участника влияют только на выигрыш другого, но не на свой собственный:

Любой исход является равновесием в доминирующих стратегиях (проверьте!), но только один из них (благожелательность к игроку 2, благожелательность к игроку 1) оптимален по Парето.

Если у i -го игрока не имеется информации о функциях выигрыша остальных игроков, то он не может исключать из рассмотрения какие-либо допустимые стратегии их i .

Один из способов исключения стратегий на множестве состоит в удалении доминируемых стратегий. Другой путь соответствует пессимистическому предположению (исключающему риск), что случиться худшее.

практически реализуемо и совместимо с правилом исключения доминирующих стратегий. Именно, справедлив следующий результат.

гарантированным выигрышем. Если набор 1 ,..., n гарантированных выигрышей оптимален по Парето, то осторожные стратегии также могут быть названы оптимальными.

Определение Игра в нормальной форме (1) несущественна, если нет исхода y X N , для которого

В несущественной игре осторожные стратегии оптимальны в следующем смысле.

77

2.x0 – оптимальный по Парето исход;

ожидает, что остальные сделают то же самое, то он получит гарантированный выигрыш i . Если некоторые игроки j ( j i) откажутся от использования оптимальных стратегий, то это может быть только выгодно

игроку i .

Свойство 3 означает, что никакой отдельный игрок и никакая коалиция (подмножество) игроков не имеют причин для одностороннего отхода от оптимальных стратегий.

Заметим, что в игре, которая не является несущественной, никакой набор стратегий x не может быть назван оптимальным. В самом деле, два требования оптимальности суть i ui (x) для всех и оптимальность исхода по Парето. По определению 8 эти условия вместе приводят к тому, что для некоторого i N

supinf ui ( yi , yi^ ) i ui (x)

yi yi ^

Иначе говоря, игрок i не может гарантировать себе выигрыш ui (x) и может подвергнуться угрозам со стороны дополнительной коалиции N i .

Оптимальность по Парето

«Равновесие» Парето можно назвать, наверное, самым общим принципом рациональности. Принцип В. Парето утверждает, что, если для ситуации x существует такая ситуация y, что выигрыш каждого из игроков при реализации ситуации у не меньше, чем при реализации ситуации x, и по крайней мере один игрок получает выигрыш, строго больший, то игроки предпочтут ситуацию y ситуации x. Формально определение выглядит следующим образом.

Определение : Ситуация x* в бескоалиционной игре Г называется оптимальной по Парето, если для любой ситуации x x* , найдется игрок i, такой, что Ki x Ki x* .

Этот принцип представляется в некотором смысле полярным, противоположным к равновесию в доминантных стратегиях. Если РДС представляет собой верх индивидуалистического поведения игроков, то равновесие Парето является критерием сотрудничества. Действительно, если есть ситуация, которая

78

приносит всем игрокам не меньший доход, чем существующая, то почему им не реализовать более выигрышную для всех них ситуацию? Однако для этого необходимы объединенные усилия всех игроков, так как реализующаяся ситуация зависит от «правильного» выбора всех стратегий. Из принадлежности ситуации множеству недоминируемых по Парето ситуаций не следует, что такая ситуация выгодна для всех игроков. Как будет показано ниже при рассмотрении равновесия Нэша, отдельные игроки могут быть недовольны своим выигрышем в недоминируемой по Парето ситуации, так как, изменив в одиночку свою стратегию, они могут увеличить свой выигрыш. Ответные действия других игроков, ущемленных таким поведением, могут вывести ситуацию из множества Парето.

Как и удаление доминируемых стратегий, равновесие Парето обычно выделяет достаточно широкое множество ситуаций, в которых одновременно не может быть увеличен выигрыш всех игроков. Тем не менее, очевидная рациональность оптимальных по Парето исходов при водит к мысли, что хорошая теоретико – игровая концепция решения должна считать рациональными только оптимальные по Парето исходы.

Равновесие в доминантных стратегиях не оптимально по Парето, поскольку при выборе, скажем, xi 0 все игроки получают нулевой выигрыш вместо отрицательного выигрыша в РДС. •

Этот пример показывает, что стремление к общему благу может вступать в противоречие с индивидуальными интересами. Используя доминантные стратегии, все игроки обеспечивают себе меньший

выигрыш, чем при использовании строго доминируемой стратегии xi 0.

Неустойчивость оптимальной по Парето ситуации поднимает вопрос о целесообразности расширения рассматриваемой модели игры. Можно, например, включить в модель возможность заключения игроками договора о выборе стратегий. Если этот договор будет предусматривать наказание за невыполнение соглашения, оптимальный по Парето исход в этой игре будет достижим. Такие игровые модели будут рассмотрены ниже. Аналогичные идеи используются для обеспечения устойчивости оптимальных по Парето исходов в повторяющихся играх.

Занятие 4. Тема 2. Удаление доминируемых стратегий.

Исследуем случай «полной информированности», когда каждый игрок знает все функции выигрыша. При некооперативном поведении игроков полная информированность порождает взаимные стратегические ожидания вида: игрок i ожидает, что все остальные игроки исключат свои доминируемые стратегии. Тогда у некоторых игроков могут возникнуть новые доминируемые стратегии и т.д.

Пример: выборы большинством голосов с решающим игроком.

Сообщество {1,2,3} должно выбрать одного из трех кандидатов {a,b,c}. Выбор осуществляется по большинству голосов, причем голос игрока 1 является решающим при равенстве голосов. Таким образом,

множество стратегий суть X1 X 2 X 3 {a, b, c}. Если игроки выдвинули кандидатуры {x1,x2,x3},то

Предположим, что функция выигрыша игроков при избрании того или иного кандидата имеют следующую структуру:

u1 (c) u1 (b) u1 (a) u2 (b) u2 (a) u2 (c) u3 (a) u3 (c) u3 (b)

Обозначим через композицию отображений и , т.е. ( )( x) ( (x)) . Тогда получаем игру трех лиц в нормальной форме X1 , X 2 , X 3 , u1 , u2 , u3 .

Осторожное поведение в этой игре означает, что каждый игрок голосует за наиболее предпочтительного для себя кандидата. Очевидно, такое поведение приводит к избранию кандидата a .

79

При условии полной информированности ситуация оказывается совершенно другой. Легко

Но это означает, что будет избран кандидат c , хотя он является наихудшим для игрока 1! Получается, что право первого игрока разрешать спорные ситуации оказывается его слабым пунктом, потому что дает возможность сразу предвидеть его стратегический выбор.

Пример. Выбора с правом ВЕТО. Пусть сообщество трех выборщиков выбирает одного из 4 кандидатов. Правило выборов: каждый игрок по очереди отводит одного из кандидатов. Выбранным считается оставшийся кандидат. Представим эту игру в развернутоцй форме:

1

РИС. 1. ИГРА В РАЗВЁРНУТОЙ ФОРМЕ

ППРЕДПОЛОЖИМ ТЕПЕРЬ, ЧТО ФУНКЦИИ ВЫИГРЫША УДОВЛЕТВОРЯЮТ СЛЕДУЮЩИМ УСЛОВИЯМ:

U1(D) < U1(C) < U1(B) < U1(A),

U2(C) < U2(D) < U2(A) < U2(B),

80