2.3. Принятие решений в условиях игровой неопределенности

Выше рассмотрены модели принятия решений в условиях природной неопределенности. Давайте усложнять ситуацию дальше. Мы начали с того, что агент, описывался функцией полезности, зависящей только от его действия, потом добавили неопределенность в виде параметра, описывающего внешнюю среду. Но, возможно, помимо рассматриваемого агента, существуют другие агенты, с которыми он взаимодействует, а, значит, необходимо отразить в моделях принятия решений и это взаимодействие. В теории игр это взаимодействие принято называть конфликтом.

Модель конфликта.

Практической стороной конфликта может быть любая ситуация реальной человеческой деятельности (война, экономика, юриспруденция, семейная жизнь, групповое взаимодействие, конкуренция за приз, карточная, спортивная или интеллектуальная игра и т.п.). Во всех реальных конфликтах есть нечто общее: конфликтом называется всякое явление, характеризуемое набором участников, набором их интересов (целевых функций), набором их стратегий поведения, набором исходов явления. Действующей стороной (т.е. стороной, выбирающей ту или иную стратегию) конфликта может быть как отдельный участник игры, так и коалиция, т.е. множество участников. Причем могут складываться коалиции действия и коалиции интересов. Если коалиции интересов и коалиции действия совпадают, участников игры принято называть игроками.

Ситуация, когда каждая из сторон конфликта выбрала свою стратегию, называется исходом конфликта (игры).

В математической теории игр все множества (игроков, целевых функций, стратегий, исходов) считаются абстрактными (точечными, числовыми, функциональными и т.п.). Исход игры не всегда детерминирован: допустимыми являются исходы, представляющие собой множества, случайные величины. Некоторые комбинации выбранных стратегий могут быть неосуществимыми, тогда считается, что конфликт (игра) не состоялся.

Интерес игрока состоит в том, что каждый исход игры представляет для него определенную ценность, т.е. все исходы упорядочены (допуская эквивалентные исходы) с его точки зрения. Другими словами, для каждого игрока определены бинарные соотношения на множестве исходов игры. Частным случаем упорядоченности служат функции (функции выигрыша), заданные на множестве исходов.

Итак, формальная модель конфликта (игры) есть следующий кортеж:

{множество игроков, множество стратегий, множество исходов, множество функций выигрыша}

Некоторые из действующих сторон в игре могут и не существовать реально, а только в воображении других сторон конфликта. Например, одной из действующих сторон деятельности человека является природа. Непознанные природные закономерности, представляющие угрозу для деятельности (такие как стихийные бедствия, засухи и пр.) могут восприниматься человеком как противодействующая сторона конфликта. Такие конфликты получили название «игры с природой». Об этом говорилось выше.

Формализация принятия решений.

Как игрок определяет множество своих стратегий или различает элементы этого множества? Если множество стратегий конечно и дискретно, это не является проблемой. Как отражается на множестве стратегий и функций выигрыша динамическая природа внешней среды? Если игра разыгрывается однократно и мгновенно, это не является проблемой. В случае же повторяющихся игр учет зависимостей от внешних обстоятельств достаточно важен (такие игры получили название динамических игр). Важно также отметить, что определение элементов игры отражает не реальность, а представления игроков о ней, т.е. носит субъективный характер. Каждое информационное состояние игрока можно понимать как некоторый класс его истинных состояний который объединяет в себе неразличимые на данный момент стратегии игрока. Функции выигрыша в этом случае определяются теми же обстоятельствами, которые вызвали данное информационное состояние игрока. Поэтому учет информированности игроков вносит существенный вклад в определение всех компонентов игры.

Оптимальность решения, принимаемого в условиях конфликта труднее поддается формализации. Эта задача всегда была основной в теории игр. Действительно, оптимальность в условиях конфликта всегда есть некоторый компромисс между его сторонами и/или между стратегиями каждой из сторон. До сих пор в теории игр не сложилось единого понимания оптимальности: в разных концепциях игр существуют разные понятия оптимальности. Понятие оптимальности тесно связано с понятием устойчивости. Возможный исход игры только тогда будет реализуемым практически. Если он устойчив, т.е. ни у одной из сторон не должно возникать соблазна его изменить. Поэтому реализуемые исходы называют игровым равновесием. Это обстоятельство существенно уменьшает оптимальность исходов для каждого из участников игры.

Виды стратегий и игровых равновесий.

Пусть имеется сообщество N, членов которого мы будем обозначать с помощью индекса и называть игроками. Каждый игрок имеет свою цель и определенные возможности для ее достижения; при этом цели различных игроков не обязательно совпадают, а достижение цели каждым отдельным игроком в некоторой степени зависит от действий других игроков. Кроме того, игроки могут не располагать полной информацией о целях и возможностях других игроков. Как формализовать и проанализировать такую ситуацию?

Определение 1.

Игрой n лиц в нормальной форме называется совокупность

, (1)

Содержащая для каждого игрока :

– множество стратегий , элементы которого (возможные действия игрока ) обозначаются ;

– функцию выигрыша (функцию полезности, целевую функцию, критерий оптимальности) , являющуюся отображением из в . Элемент множества называется исходом (ситуацией) игры (1).

Каждый игрок выбирает любую стратегию . После того, как все игроки выбрали свои стратегии, определяется исход и выигрыш каждого игрока при этом исходе. Таким образом, выигрыш каждого игрока зависит в общем случае от действий всех остальных игроков.

Предположим, что игроки в игре (1) действуют изолированно, т.е. каждый игрок выбирает свою стратегию независимо от того, какие стратегии выбирают другие участники. Игроки не обмениваются информацией. На выбор игроков не оказывает влияния прошлое.

Будем пока считать, что каждому игроку известна только его собственная функция выигрыша; функций выигрыша остальных игроков он может не знать.

Определение 2.

Стратегия игрока в игре в нормальной форме (1) доминирует стратегию , если

,

,

где , , .

Обозначим через множество всех деноминируемых стратегий i-го игрока:

: доминирует .

Стратегия i-го игрока доминирует , если независимо от поведения «остального мира» стратегия для него не дает большего выигрыша, чем , а для некоторого допустимого стратегического выбора игроков ему строго выгоднее выбрать , чем . Отсюда следует, что игроку всегда имеет смысл выбирать стратегию только из множества .

Подчеркнем, что для вычисления i-му игроку достаточно знать множества стратегий остальных игроков; знание их функций выигрыша не требуется.

Определение 3.

Стратегия игрока в игре (1) называется доминирующей (абсолютно оптимальной), если

.

Обозначим через множество всех доминирующих стратегий i-го игрока.

Определение 4.

Исход называется равновесием в доминирующих стратегиях, если является доминирующей стратегией i-го игрока при всех .

Лемма 1.

Пусть для любого множество компактно, а функция непрерывна. Тогда множество недоминируемых стратегий i-го игрока не пусто.

Применим эту лемму без доказательства. Не будем давать также определения компактности и непрерывности, отметив лишь, что сделанные предположения являются достаточно слабыми и выполняются в большом числе реальных ситуаций. Таким образом, можно считать, что условия леммы 1 практически почти всегда выполняются.

В противоположность этому, доминирующие стратегии могут не существовать даже в весьма простых играх. В самом деле, доминирующая стратегия должна одновременно быть решением зада максимизации

При всех значениях параметра ; в общем случае не приходится ожидать, что такое решение существует

Определение 5.

Стратегии i-го игрока и называются эквивалентными, если они не различимы с его точки зрения:

.

Лемма 2.

Пусть в игре (1) множество недоминируемых стратегий i-го игрока не пусто: , множества стратегий компактны, функции выигрыша непрерывны, .

Тогда следующие утверждения эквивалентны:

– существует доминирующая стратегия i-го игрока: ;

– все стратегии в множестве эквивалентны.

…..если у игрока есть хотя бы одна доминирующая стратегия, то все доминирующие стратегии эквивалентны и совпадают с его недоминируемыми стратегиями. В этом случае будем считать, что если игрок использует одну из них (при некооперативном поведении, то есть действуя изолированно от других игроков). С другой стороны, если у i-го игрока нет доминирующей стратегии (наиболее частый случай), то его недоминируемые стратегии неэквивалентны, поэтому его некооперативное поведение не может быть определенно однозначно. Требуется дополнительные предположения об информации, которой располагают игроки (в частности, о функциях выигрыша).

Равновесие в доминирующих стратегиях постулируется рациональным некооперативным поведением изолированных игроков.

Пример 1: «дилемма заключенного».

Каждый из двух игроков располагает двумя стратегиями А и Р, где А обозначает агрессивность, Р – миролюбие. Предположим, что «мир» (оба игрока миролюбивы) лучше для обоих игроков, чем «война» (оба игрока агрессивны), но односторонняя агрессия (один игрок агрессивный, а другой миролюбивый) выгоднее агрессорам. Типичная структура выигрышей имеет следующий вид:

Р1	2	0
	2	3
А1	3	1
	0	1
Р2		А2

Стратегиями первого игрока являются строки платежной матрицы: а стратегиями второго игрока – столбцы результаты игры приведены в матрице 2х2, причем «северо-западное» число обозначает выигрыш первого игрока, а «юго-восточное» - выигрыш второго игрока, например

Очевидно, для обоих игроков стратегия А доминирует стратегию Р. Таким образом, единственное равновесие в доминирующих стратегиях имеет вид , т.е. постулируется, что результатом некооперативного поведения является война. В то же время исход (мир) дает больший выигрыш сразу обоим игрокам.

Таким образом, некооперативное эгоистическое рациональное поведение вступает в противоречие с коллективными интересами, которые в данном случае диктует выбор мирных стратегий. В то же время, если игроки не обмениваются информацией, то война является наиболее вероятным исходом; изолированность стратегических выборов может нанести определенный ущерб общественным интересам.

Определение Исход в игре (1) доминирует по Парето исход , если

Исход х называется оптимальным по Парето, если он не доминирует по Парето.

Пример 2: «услуга за услугу».

Если у одного участника есть несколько доминирующих стратегий, то для него они эквивалентны, но, возможно, неэквивалентны для остальных. Рассмотрим следующую игру двух лиц, в которой стратегии каждого участника влияют только на выигрыш другого, но не на свой собственный:

благожелательность к игроку 2	1	0
	1	1
неблагожелательность к игроку 2	1	0
	0	0
	благожелательность к игроку 1	неблагожелательность к игроку 1

Любой исход является равновесием в доминирующих стратегиях (проверьте!), но только один из них (благожелательность к игроку 2, благожелательность к игроку 1) оптимален по Парето.

Если у -го игрока не имеется информации о функциях выигрыша остальных игроков, то он не может исключать из рассмотрения какие-либо допустимые стратегии их .

Один из способов исключения стратегий на множестве состоит в удалении доминируемых стратегий. Другой путь соответствует пессимистическому предположению (исключающему риск), что случиться худшее.

Определение 7. В игре (9.1) стратегия является осторожной стратегией -го игрока, если

Обозначим через множество осторожных стратегий -го игрока. Осторожное поведение практически реализуемо и совместимо с правилом исключения доминирующих стратегий. Именно, справедлив следующий результат.

Лемма 3. Пусть множества компактны, а функции непрерывны для всех . Тогда множество осторожных стратегий не пусто, компактно и пересекается с множеством недоминируемых стратегий:

Используя осторожную стратегию, игрок гарантирует себе выигрыш , который называется гарантированным выигрышем. Если набор гарантированных выигрышей оптимален по Парето, то осторожные стратегии также могут быть названы оптимальными.

Определение 8. Игра в нормальной форме (1) несущественна, если нет исхода , для которого

В несущественной игре осторожные стратегии оптимальны в следующем смысле.

Теорема 1. Пусть игра несущественна, - осторожная стратегия игрока для всех . Тогда:

1. для всех и ;

2. – оптимальный по Парето исход;

3. для любого подмножества и любого набора стратегий одновременное выполнение следующих двух условий невозможно:

Доказательство. Поскольку - осторожная стратегия -го игрока, то

Поскольку игра несущественна, то для всех и утверждение 1 теоремы доказано.

Утверждение 2 следует из 3 при . Для доказательства утверждения 3 выберем и такие, что

(9.2)

Применяя утверждение 1 к , получаем

Объединяя обе системы неравенств для всех и учитывая несущественность игры, получаем . Следовательно, строгое неравенство в (9.2) невозможно.

Согласно утверждению 1, если игрок использует оптимальную (т.е. осторожную) стратегию и ожидает, что остальные сделают то же самое, то он получит гарантированный выигрыш . Если некоторые игроки откажутся от использования оптимальных стратегий, то это может быть только выгодно игроку .

Свойство 3 означает, что никакой отдельный игрок и никакая коалиция (подмножество) игроков не имеют причин для одностороннего отхода от оптимальных стратегий.

Заметим, что в игре, которая не является несущественной, никакой набор стратегий не может быть назван оптимальным. В самом деле, два требования оптимальности суть для всех и оптимальность исхода по Парето. По определению 8 эти условия вместе приводят к тому, что для некоторого

Иначе говоря, игрок не может гарантировать себе выигрыш и может подвергнуться угрозам со стороны дополнительной коалиции .

Определение 9: Стратегия называется доминантной стратегией игрока i, если для любой обстановки и для любых справедливо неравенство

Это определение означает, что, если у игрока, независимо от действий противников, есть стратегия, дающая ему максимальный по сравнению с другими его стратегиями выигрыш, то эта стратегия называется доминантной.

Целесообразность использования каждым игроком своих доминантных стратегий очевидна.

Определение 10: Если для каждого игрока i существует доминантная стратегия ,то исход называется равновесием в доминантных стратегиях (РДС).

Равновесие в доминантных стратегиях существует далеко не для всех игр. Приведем несколько лемм, определяющих некоторые классы игр, в которых существует равновесие в доминантных стратегиях.

Л емма 2. Если в игре n лиц функции выигрыша непрерывны по совокупности стратегий и для каждого игрока частная производная существует и везде знакопостоянна, то существует РДС. При этом доминантной стратегия , i-го игрока будет стратегия

=

Идею леммы 2 можно обобщить на значительно более широкий класс игр.

Лемма 3. Если в игре п лиц а функция выигрыша произвольного игрока i сепарабельна по стратегии этого игрока, то есть имеет единственный максимум на множестве действий то существует РДС, причем для игрока i его доминантная стратегия:

Для доказательства лемм 2 и 3 достаточно проверить определение РДС.

Равновесие Нэша. Гораздо чаще, чем РДС, существует равновесие Нэша (РН). Джон Нэш, американский математик, в начале 50-х годов XX века предложил следующее: устойчивым исходом взаимодействия агентов можно считать такой вектор их действий, от которого в одиночку никому из них не выгодно отклоняться. Это значит, что ни один из агентов, в одиночку меняя свою стратегию на другую, не может увеличить свой выигрыш при условии, что остальные своих стратегий не меняют.

Формальное определение равновесия Нэша таково:

(5) ,

то есть для любого агента и для любого допустимого его действия выбор им равновесного по Нэшу действия дает ему выигрыш не меньший, чем при выборе любого другого действия при условии, что остальные игроки играют равновесные по Нэшу стратегии.

Отличие между изложенными подходами (РДС и равновесием Нэша) заключается в том, что в формулировке равновесия в доминантных стратегиях (3) фигурирует произвольная обстановка, то есть доминантная стратегия – наилучшая при любой обстановке. А стратегия по Нэшу – наилучшая при «нэшевской» обстановке (см. (5)).

Равновесие Нэша хорошо тем, что в большинстве моделей оно существует. Одним из его недостатков является то, что оно не всегда единственно. Ведь если есть два равновесия, то как предсказать, в каком из них окажутся агенты. Нужны дополнительные предположения.

Кроме того, равновесие по Нэшу не устойчиво к отклонению двух и более игроков. По определению одному агенту не выгодно отклоняться, но это не значит, что если два агента договорились и одновременно отклонились от равновесной ситуации, то они не смогут оба выиграть. То есть равновесие Нэша – существенно некооперативная концепция равновесия.

17