книги из ГПНТБ / Шахнович, А. Р. Математические методы в исследовании биологических систем регулирования

Уравнения (1-5-1) и (1-5-2) описывают «динамику» собственно ав­ томата. Взаимодействие автомата со средой определяется ответ­ ной реакцией среды s [к] на действия автомата / [к]. Поэтому вход­ ное воздействие на автомат зависит от выходных величин и пара­ метров среды.

Уравнение среды можно записать как

ленного поведения автомата под влиянием среды. Впервые сфор­ мулировал и решил подобные задачи М. Л. Цетлин в 1964 г. Стра­ тегии автоматов в таких играх являются состояниями, а память автоматов определяет число стратегий.

В случае игры автоматов с нулевой суммой основная теорема о минимаксе (см. главу 1-3) остается справедливой.

Выше был приведен подход к теории игр автоматов, основан­ ный на представлении игры как динамической системы. Такой под­ ход, по-видимому, полезен для создания ' общей картины поста­ новки динамических задач и, несомненно, будет использован при решении конкретных задач. Однако в собственно теории игр ав­ томатов используется несколько иной подход, основанный на при­ веденном выше абстрактном определении автомата.

Создателем теории игр автоматов является выдающийся со­ ветский ученый кибернетик М. Л. Цетлин.

Ниже приведены основные положения теории игр автоматов, являющиеся сокращенным изложением его работы (1964).

Рассмотрим детерминированный автомат U, заданный своими

В этих уравнениях переменная t имеет смысл времени и предпола­ гается принимающей целочисленные значения t = 1, 2, ... Пред­ положим, что входная переменная s (t) может принимать лишь два значения: 0 и 1 (значение s = 0 соответствует единичному вы­ игрышу, а значение s = 1 — единичному проигрышу автомата 31). Предположим далее, что выходная переменная / (і) автомата может принимать X различных значений Д, / 2 , / х . Значения перемен­ ной / (t) называют действиями автомата, т. е. в момент t автомат 91 произвел d-e действие, если

/(0 = /а, а =1,2...%.

Предполагается также, что переменная ф (I) может принимать m различных значений фІ 5 ф2 ... ф т . Эти значения называются состояниями автомата, а число m — емкостью его памяти. Очевид-

50

но, что m > %. Автомат 3Î находится в момент t в /-м состоянии,

от его состояний. Входная переменная принимает лишь два значе­ ния, так что (1-5-3) задает пару отображений в себя множества состояний автомата; одно из этих отображений задано для s = О, другое — для s = l .

Эти отображения записывают в виде специальной матрицы состояний \\а,ц (s) U, i, j = 1, 2 ... m, где каждая строка ее при любом фиксированном значении s содержит в точности один эле­ мент, равный единице, а остальные элементы равны нулю. Матрица

число действий fu / 2 ... / х ; как и для детерминированных автоматов, описанных выше, мы будем предполагать, что входная переменная принимает лишь два значения: S = 0 и S.= 1. Действия стохасти­ ческого автомата однозначно определяются его состоянием: / (і) =

менной. Очевидно, что детерминированные автоматы являются частным случаем стохастических. Автомат 31 находится в стацио­

зом, функционирование автомата в стационарной случайной среде описывается цепью Маркова.

Обозначим через rt финальную вероятность состояния ф£ ав­ томата, находящегося в стационарной случайной среде С.

51

Для автомата, совершающего свои действия равновероятно и

свои состояния при выигрыше и изменяет при проигрыше. Мат­ рицы состояний имеют вид

Пусть автомат L 2 ) 2 погружен в среду С (п1, сі2 ). Построив матрицу переходных вероятностей

\\Яі Pi

Р = I р 2 Ч.Ч.

1 - я ,

г = 1,2,

находим для вычисления финальных вероятностей гг и г2 уравне­ ния

52

вательности партий / (I), t= 1,2 ... исходы s (f -f- 1) которых опре­ деляются вероятностями р (/ (t), s (t + 1)).

Платежные функции v* (f), / = 1 . . . ѵ , задающие игру Г*, имеют смысл математического ожидания выигрыша /-го игрока при

53

Игру V лиц Г* назовем эквивалентной игре автоматов Г. Заметим, что задание игры Г* не определяет однозначно игры автоматов Г. В самом деле, игра Г* задается ѵ функциями Ѵ] (/), а игра Г зада­

Произвольная игра Г* позволяет однозначно построить игру авто­ матов с независимыми исходами; при этом

здесь определения игр автоматов и способы поведения в этих иг­ рах значительно отличаются от точки зрения, принятой в теории игр.

В самом деле, в теории игр предполагается, что система пла­ тежных функций, определяющих игру, заранее сообщается ее участникам. Игрок должен использовать эту информацию для того, чтобы определить свою стратегию (обычно смешанную), кото­ рая в ходе самой игры уже не изменяется; для выбора стратегии разрешается использование любых вычислительных средств.

Игры автоматов определяются заданием не только системы пла­ тежных функций, но и конструкций играющих автоматов. Авто­ маты, участвующие в играх, априорной информацией об игре не обладают. Ходы определяются лишь проигрышами и выигрышами в ходе самой игры.

Роль платежных функций, задающих игру, и партнеров авто­ мата по игре сводится поэтому лишь к образованию более или ме­ нее сложной случайной среды, в которой автомат должен обладать целесообразным поведением.

П р и м е р . Игра двух автоматов с нулевой суммой. Рассмот­ рим игру Г, в которой участвуют автоматы. 9t1 и W, имеющие со­

из двух автоматов выигрывает, а другой проигрывает. Тогда ве­ роятности р (/, s) — р (f, f, s1 , s2 ) исходов s— (s1 , s2 ) равны нулю при s1 =

54

Определенную таким образом игру автоматов назовем игрой двух автоматов с нулевой суммой.

Величина

qi'P = Р (Л Л 0, 1)

имеет смысл вероятности выигрыша первого автомата в партии

PM-- = P(f\ Л t 0)

представляет собой вероятность его проигрыша в этой партии. Со­ гласно (1-5-5)

ql4* + pNz = 1.

Математическое ожидание тр^ выигрыша автомата 3t1 в партии / (Л f) равно в силу (1-5-6)

тІЧг = qNz — рІЧг.

Очевидно, что математическое ожидание суммы выигрышей авто­

игра является эргодической, то существуют финальные вероятно­ сти состояний системы участвующих в игре автоматов и величина W (ЗІ1 , 212) математического ожидания выигрыша первого авто­ мата не зависит от их начальных состояний. Эту величину назовем

Рассмотрим игру автомата 31 с противником U, использующим фиксированную смешанную стратегию. Пусть противник U ав­ томата 31 в игре реализует некоторую смешанную стратегию х=

=(х1 + ••• + xN), т. е. в каждой партии использует свою ß-io

чистукГстратегию, ß = 1 ...Ne вероятностью xt + ... -f- xN = 1. По определению смешанной стратегии величины х$ являются функциями матрицы | т а р|| игры Г и не зависят от поведения парт­ нера.

Тогда для любой чистой стратегии / а , а = 1 ... M автомата 21 определены математические ожидания та выигрыша:

JV

та = 2 maßXß.

Р=і

55

Таким образом, игра с противником, избравшим произвольную

является оптимальной, то математическое ожидание выигрыша автомата 21Г1 при п ->- со стремится к величине

партнера, избравшего оптимальную стратегию, хотя и не распо­ лагает априорными сведенияАіи о структуре матрицы || тар || игры Г, а получает всю необходимую информацию в ходе самой игры; поведение, целесообразное в стационарной случайной среде, ока­ зывается целесообразным и в рассмотренном случае игры.

Приведенные выше элементы теории игр автоматов позволяют подойти к исследованию целесообразного поведения различных по сложности коллективов, состоящих из отдельных клеток, нервных центров или целых организмов.

Л И Т Е Р А Т У Р А

Гельфанд И. М., Цетлин М. Л. О математическом моделировании меха­ низмов центральной нервной системы. В сб. «Модели структурно-функ­ циональной организации некоторых биологических систем». М., «Наука», 1966.

Цетлин М. Л. Исследования по теории автоматов и моделированию биоло­ гических процессов. М., «Наука», 1969.

Цыпкин Я. 3. Адаптация и обучение в автоматических системах. М., «Нау­ ка», 1968.

56

Глава 1-6

ТЕОРИЯ СТАТИСТИЧЕСКИХ РЕШЕНИЙ

Теория статистических решений, являясь более общей по от­ ношению к приведенным выше теориям исследования динамики управляемых систем (главы 1—2, I—3), основывается на теории игр и математической статистике (Крамер, 1948).

Выше, в главе 1-3, уже было введено понятие игры, но оно было связано с детерминированными представлениями.

Втеории статистических решений рассматриваются случайные ходы, влияющие на исход игры. В статистических играх в соот­ ветствии с определением Б. БлекуэллаиМ . Гиршика (1958) игро­ ками являются природа (обозначается игрок I) и статистик (обо­ значается игрок I I ) .

Встатистических играх элементы cod в Й (D) (см. главу 1-0) определяют чистые стратегии природы, поэтому юй можно счи­ тать состояниями природы.

Структура пространства чистых стратегий статистика (II) мо­ жет быть более сложной, Чем структура пространства чистых стра­ тегий природы (I), так как статистик имеет в своем распоряжении класс возможных действий, которые он может совершать (или со­ ответственно решений, которые он может принимать) по отношению к неизвестному для него состоянию природы cùd. Производя оп­ ределенное действие без испытания, статистик допускает, что он

может быть получено за счет проведения испытаний и получения некоторой информации относительно состояния природы ш^. Основным вопросом, возникающим при этом, является выбор стра­ тегии. Как отмечалось выше, в статистической игре без испытаний пространство чистых стратегий есть пространство X (элемента­ ми этого пространства являются возможные действия статистика).

В игре с ограниченным объемом выборки (единичным испыта­ нием) число стратегий статистика растет, поскольку ему необхо­

57

пространства X на множество Ех (называемой критической обла­

Таким образом, определяется статистическая игра, в которой рассматриваются ситуации взаимоотношений с внешним миром. Игры с разумным противником имеют ту же структуру, что и ста­ тистические игры. В общей теории статистических решений су­ ществуют несколько направлений (Фельдбаум, 1963):

—теория двуальтернативных решений рассматривает случай определения одного из двух возможных значений пара­

метра ах или а2 с известными априорными вероятностями;

— теория многоальтернативных решений рассматривает слу­ чаи определения к различных значений параметра аи...

... ак при известных априорных вероятностях;

—теория оценки параметров рассматривает получение наи­ лучшей оценки значения параметра, принадлежащего к определенной области Q (А) при наличии известной априор­ ной плот тости вероятности Р (А);

—теория оценки процессов рассматривает получение наилуч-

--шей оценки параметра, меняющегося во времени A (t).

Исходная выборка (или сигнал) представляется вектором S, который может в общем случае содержать несколько неизвестных параметров

58

Выше были рассмотрены игровые аспекты теории статистиче­ ских решений, связанные со статистическими играми.

Основная проблема при этом заключалась в выборе решающей функции и стратегий, таких, чтобы обеспечить определенное зна­ чение выгоды.

Одним из основных и в достаточной мере разработанных направ­ лений общей теории статистических решений является теория двуальтернативных решений (Фельдбаум, 1963). Основная проблема в этой теории состоит в определении одного из двух возможных значений параметра а : ях или а2. Выше был приведен подход к этой проблеме при введении понятия стратегии V , определяющего разбиение пространства на критическую область Ег и ее дополнение С (і?і), причем при a Ez Ех параметр а имеет значение аи а при а £Е €Е С (ijj) параметр а имеет значение а2 .

Решение этой задачи связано с необходимостью определения функции правдоподобия Р (XIа) (см. главу 1-0).

Определения апостериорных вероятностей Р (АІХ) с помощью формулы Бэйеса

P № ) = _ _ M W )

VР {А) Р {XIA) dQ (А)

О(А)

Р. Фишером правила: наиболее правдоподобно то значение парамет­

Применяя теперь метод максимума правдоподобия, можно утвер­ ждать, что при H (X) ^> 1 выносится решение а — аи а при

59