Алгоритм решения задач динамического программирования.

Определяем все состояния системы при переходе из начального состояния в конечное состояние. На каждом шаге целевые функции имеют вид:и определено уравнение состояния:Из уравнения Беллмана дляпо находим оптимальное управление наом шагеПо иопределяем состояние системы послего шага:Из уравнения Беллмана для находим оптимальное управление наом шагеПои определяем состояние системы послего шага:и так далее. Условно этот процесс можно представить в виде:

Контрольное задание №4.

Предприятие планирует открыть филиалы в городах A,B и C для чего выделяются средства в размере 5 млн. руб. По расчетам экономистов, каждый филиал при инвестировании в него х тыс. руб. приносит прибыль φ_i(х) тыс.руб. Эти данные приведены в таблице. Необходимо выбрать оптимальное распределение выделенных средств между филиалами, обеспечивающее максимальную прибыльность всего проекта.

Вариант	Вложенные средства (x млн.руб.)	Филиал
		A	B	C
		φ1(х)	φ2(х)	φ1(х)
1	1	1,10	1	1,10
	2	1,20	2	1,20
	3	1,30	3	1,30
	4	1,40	4	1,40
	5	1,50	5	1,50
2	1	0,50	0,40	0,20
	2	0,60	0,45	0,40
	3	0,80	0,55	0,50
	4	0,90	0,60	0,70
	5	1,00	0,65	0,90
3	1	0,35	0,50	0,20
	2	0,45	0,90	0,40
	3	0,50	1,00	0,50
	4	0,55	1,10	0,70
	5	0,60	1,25	0,90
4	1	0,15	0,20	0,10
	2	0,30	0,40	0,40
	3	0,45	0,60	0,70
	4	0,60	0,80	0,75
	5	0,75	1,00	0,90
5	1	0,50	0,40	0,60
	2	1,00	0,65	0,80
	3	1,50	0,80	1,00
	4	2,00	0,90	1,20
	5	2,50	1,50	1,30
6	1	1,50	1,40	2,00
	2	3,00	3,50	3,10
	3	4,50	4,50	4,60
	4	6,00	5,50	6,20
	5	6,50	7,00	6,50
7	1	1,40	1,10	1,50
	2	3,50	2,10	2,00
	3	3,70	3,10	2,50
	4	4,00	4,10	3,00
	5	4,20	5,10	3,50
8	1	0,20	0,20	0,25
	2	0,25	0,30	0,35
	3	0,45	0,50	0,55
	4	0,55	0,65	0,60
	5	0,75	0,70	0,65
9	1	1,50	2,20	2,10
	2	2,50	3,10	3,20
	3	3,20	3,90	4,00
	4	4,10	4,20	4,50
	5	4,90	4,50	5,10
10	1	1,50	2,00	1,50
	2	2,30	2,30	2,90
	3	2,50	2,80	3,10
	4	3,40	3,50	3,90
	5	3,60	3,90	4,50

Тема 5.Элементы теории игр

На практике часто встречаются ситуации, когда приходится принимать решение в условиях конфликта интересов нескольких участников события. Такие ситуации возникают, например, в карточных играх, шахматах и т.п. В экономике конфликтные ситуации возникают при взаимодействии покупателя и продавца, банка и клиента, поставщика и потребителя и т.д. Особенностью подобных ситуаций является неопределенность, вызванная неизвестным заранее поведением участников конфликта, которые стремятся добиться максимальной реализации своих целей. Математическим описанием конфликтных ситуаций теория игр.Её целью является выработка рекомендаций по разумному поведению участников конфликта.

Всякая математическая модель социально-экономического явления или конфликта должна выражать присущие ему черты, т.е. по крайней мере, отражать следующие его компоненты:

а)заинтересованность сторон;

б)возможные действия каждой из сторон;

в)интересы сторон.

Заинтересованные стороны будем называть игроками или лицами, а множество всех игроков будем обозначать через . Ограничимся рассмотрением случая, когда множествоконечно. Не нарушая общности будем считать, что

Любое возможное для игрока действие называется егостратегией.

Множество всех стратегий игрока обозначим через. В условиях конфликта каждый игрок выбирает некоторую свою стратегию в результате чегоскладывается набор стратегий называемый ситуацией. Множество всех ситуаций обозначим.

Заинтересованность игроков выражается в том, что каждому игроку в той или иной ситуацииприписывается число, выражающее степень удовлетворения его интересов в этой ситуации. Это число называетсявыигрышем игрока в ситуации и обозначается через. Величина называетсяфункцией выигрыша игрока иобычно является действительным числом.

В этих условиях протекание конфликта состоит в выборе каждым игроком его стратегии и в получении им в сложившейся ситуации из некоторого источника выигрыша Таким образом множество игроков, их стратегий и их функций выигрыша полностью описывают некоторую игру, что формально записывают так

(1)

Определение Игрой называется действительный или формальный конфликт, в котором имеется, по крайней мере, два игрока, каждый из которых стремится к достижению собственных целей.

Игра как процесс представляет собой многократно повторяющийся выбор игроками своих стратегий, т.е. игру следует считать не как однократный обмен ходами, а как постоянноили, по крайней мере,многократно, осуществляемый процесс.

Определение Игра называется игрой снулевой суммой, если сумма всех платежей равна нулю, т.е. если сумма проигрышей проигравших игроков равна сумме выигрышей остальных игроков из множества.

Вообще говоря, оценка игроком ситуации путем указания выигрыша не всегда возможна практически и даже не всегда имеет смысл. На этом пути создаетсятеория игр с предпочтениями, более широкая, чемтеория игр с выигрышами. В дальнейшем будем рассматривать только теорию игр с выигрышами.

Все игры можно разделить на два типа: коалиционные и бескоалиционные. Коалицией называют любое подмножество множества. Игра, в которой действия игроков некоторойкоалиции направлены на максимизацию выигрыша всей коалиции без последующего его разделения между игроками коалиции и называютсякоалиционными. В бескоалиционной игре целью каждого участника является получение по возможности большего индивидуального выигрыша. Существует специальная теория коалиционных игр называемаякооперативной теорией.

Среди всех бескоалиционных игр с нулевой суммой естественным образом выделяется класс антагонистических игр, в которых число игроков равно двум, а значения их функций выигрыша в каждой ситуации равны по величине и противоположны по знаку:

Для сокращения обозначений, множества стратегий игроков 1 и 2 антагонистической игре будем обозначать через и, а функция выигрыша - через

Для антагонистических игр с двумя игроками вводится следующее определение.

Определение Пусть каждой стратегии 1-го игрока взаимнооднозначно поставлена в соответствие строка некоторой матрицы, а каждой стратегии 2-го игрокавзаимнооднозначно поставлен в соответствие столбец этой матрицы. Матрицу называютплатежной матрицей (или матрицей игры), если её элемент равен выигрышу 1-го игрока (т.е. проигрышу 2-го) при выборе 1-м игроком-й стратегии, а 2-м --й.

Следовательно, антагонистическая игра полностью описывается единственной платёжной матрицей и в соответствии с этим называетсяматричной.

Теория игр как математическая дисциплина в ее современном состоянии занимается нормативным изучением игр, т.е. считает своей задачей установить какое поведение игроков следует считать оптимальным (разумным, целесообразным).

Оптимальность стратегии очевидно можно понимать по-разному, т.е. понятия оптимальности в теории игр и оптимального решения игры не являются однозначными, априорными, абсолютными. Вместе с тем эти понятия являются объективными, т.е. каждый вариант оптимальности поддается точному описанию при помощи математических формулировок. Тем самым различные содержательные представления об оптимальности могут приводить к отличающимся математическим моделям.

Основными содержательными чертами оптимальности в применении к исходу или к множеству исходов конфликта можно считать интуитивные представления овыгодности исправедливости.

Можно, например, оптимальной ситуацией считать такую, в которой одновременно достигают своих максимумов функции выигрыша каждого из игроков. Условие оптимальности в этом смысле для ситуации для игры (1) формально можно записать как

для любых (2)

Выгодность такой ситуации очевидна.

Нетрудно видеть, однако, что существование в бескоалиционной игре ситуаций, оптимальных в только что описанном смысле, является сравнительно редким исключением (как и любое совпадение максимумов нескольких функций). В сущности, реализуемость этого принципа оптимальности соответствует слабости конфликтных черт моделируемого явления, близости целей его участников.

Поэтому естественно поискать другие представления об оптимальности, быть может, не столь бесспорные, но зато более часто реализуемые.

Одной из наиболее плодотворных форм реализации представлений об оптимальности можно считать понятие равновесия, состоящее в следующем.

Определение Ситуация называетсяравновесной, если ни один из игроков не заинтересован в том, чтобы ее нарушить, т.е. отклониться от нее.

Если игра является антагонистической, то равновесная ситуация имеет вид и формально для равновесной ситуации можно записать

(3)

при любых Уже из того, что в (3) используется не строгое неравенство«меньше или равно » следует, что равновесных ситуаций может быть несколько.

Определение В случае антагонистической игры ситуация равновесия называетсяседловой точкой. Оказывается, что функция выигрыша игры во всех ее седловых точках принимает одно и то же значение, которое называетсяценой игры (илизначением игры).

Именно ситуации равновесия могут быть предметом устойчивых договоров между игроками. Всякая попытка зафиксировать в договоре неравновесную ситуацию будет означать, что хотя бы у одной из договаривающихся сторон найдется такая стратегия, что выбор ее вместо предусмотренной договором увеличит выигрыш этого игрока. Тем самым возникают мотивы к нарушению договора.

Обычно именно равновесные стратегии считают оптимальными и называют ихрешением игры.

Принцип оптимальности в бескоалиционной игре, состоящий в осуществлении игроками ее ситуаций равновесия, является более слабым и чаще реализуемым, чем принцип выражаемый соотношением (2). Однако равновесные ситуации определяемые соотношением (2) так же существуют не для всякой игры.

Оказывается из этой ситуации также можно попытаться найти выход. При отсутствии в игре ситуаций равновесия, при использовании игроками единственной стратегии (из имеющихся у каждого из них множества), естественно поставить вопрос о расширении понятия стратегии таким образом, чтобы среди ситуаций, составленных из новых, обобщенных стратегий все же могли бы найтись равновесные.

Определение Элементы множестваи называютчистыми стратегиями игроков.

Определение Вектор каждая из компонент которого показывает относительную частоту использования игроком соответствующей чистой стратегии, называетсясмешанной стратегией данного игрока.

Из сформулированного определения непосредственно следует, что сумма компонент указанного вектора равна единице, а сами компоненты не отрицательны. Очевидно так же, чточистую стратегию можно рассматривать как частный случай смешанной.

Удобной интерпретацией смешанной стратегии является ее представление как случайного выбора игроком своих чистых стратегий в соответствии с вероятностями задаваемыми относительными частотами (вспомним «классическое определение вероятности события»). Причем выборы игроков независимы, а выигрыш в ситуации в смешанных стратегиях определяется как математическое ожидание случайного выигрыша.

Математиком А. Вальдом был сформулирован принцип суть которого состоит в том, что при принятии решения в условиях неопределенности разумно исходить из того, что сложится наименее благоприятная ситуация. Исходя из этого принципа игрок 1 может рассуждать следующим образом:

«Предположим, что я выберу -ю стратегию, тогда в худшем для меня случае я получу выигрыш величиной

где -количество строк в матрице игры, т.е. количество чистых стратегий 2-го игрока. Тогда я должен выбрать такую строку, т.е.-ю стратегию(-количество столбцов в матрице игры), при которой этот минимум максимальный».

Определение. Числоназываетсянижней ценой игры илимаксимином, а соответствующая ему стратегия (строка) -максиминной.

Определение Число называется верхней ценой игры или минимаксом, а соответствующая ему стратегия игрока (столбец) -минимаксной.

Теорема Нижняя цена игры не превосходит верхней цены игры.

Если для некоторой игры верхняя и нижняя цены равны, т.е. выполняется , или что то же самое

где - соответствующий элемент матрицы игры, то очевидно для этого элементавыполняется неравенство Сравнивая это неравенство с (3) видим, что оказывается ситуацияявляется равновесной, т.е. оптимальной, т.е. решением игры. Величинапри этом, очевидно, является ценой игры, т.е. рассматриваемые принципы максимина и минимакса приводят к оптимальному и равновесному состоянию. Это еще раз свидетельствует об обоснованности их использования при принятии решений.

Определение Игра, для которойназываетсяигрой с седловой точкой.

Игра, заданная некоторой матрицей, может не иметь седловой точки.

Следовательно, минимакс и максимин не совпадают, т.е. положения равновесия в чистых стратегиях не существует.

Если среди чистых стратегий решения игры нет, то для его нахождения используются смешанные стратегии. Справедлива теорема.

Теорема Неймана (основная теорема теории игр) Каждая конечная игра имеет, по крайней мере, одно оптимальное решение, возможно среди смешанных стратегий.

При этом если - платежная матрица, - оптимальная смешанная стратегия первого игрока, a - второго, то число

является ценой игры.

Определение. Если чистая стратегия входит в смешанную с ненулевой вероятностью, то она называется активной

Активные стратегии обладают свойством, выражаемым следующей теоремой.

Теорема (об активных стратегиях)Если один из игроков придерживается своей оптимальной смешанной стратегии, то выигрыш остаётся неизменным и равным цене игры , если второй игрок не выходит за пределы своих активных стратегий.