книги из ГПНТБ / Автоматы и разумное поведение. Опыт моделирования

мера кривые изменения некоторых реакций автомата в ходе эксперимента. Видно, что предположения рис. 114 оправды­ ваются.

Кривые V на рисунке изображают изменения времени нахождения автомата в каждой из ситуаций (в единицах дискретного времени). Таким образом, V — это время «обду­ мывания» автоматом шага или время «принятия решения». Видно, что V резко возрастает при изменении характера воспринимаемых ситуаций. Одновременно возрастает и Шшр (автомат «встревожен» изменением среды, к которой успел уже «привыкнуть»). Реакции такого рода в явном виде автомату не задавались.

Исследуем реакции автомата Аз в описанных ранее сре­ дах. Эксперименты проводились по тем же правилам, что и для автоматов Ао, At и Аг. Внешние реакции Аз в разных средах приведены на рис. 117, внутренние — в табл. 36—38. В табл. 39 представлены оценки реакций автомата. Ясно, что оценки адекватности удалось существенно улучшить, не ухудшив оценки е.

§ 7. Обсуждение результатов

Чтобы упростить в дальнейшем использование оценочных коэффициентов, преобразуем оценку е в более удобную фор­ му. Пусть оценка качества функционирования выражается

некоторым коэффициентом а. Потребуем, чтобы а, как и все остальные коэффициенты, изменялся в пределах 0 — 1 и наи­ худшей оценке соответствовало бы его значение 0, а наи­

границу. Таким образом, изменение значения е будет про­

выше к значению и знаку s, отобразим диапазон изменений е0 (—100—t-100) на отрезок —1—1-1. Тогда, с учетом (Ю.7),

На рис. 119 приведено графическое изображение зависи­ мости оценочных коэффициентов от s. Видно, что на всем исследованном диапазоне сред всегда имееется хотя бы один обучающийся автомат, функционирующий лучше опорного необучающегося варианта не менее чем по двум оценкам. Для разных сред наилучшими являются разные автоматы.

значения а (0,5—0,55) автоматы вырабатывают в «нейтраль­ ных» средах (s « 0). Наиболее адекватные реакции (рис. 119, б) вырабатывают автоматы Ао и Аз. При этом в самых «плохих» средах «разумнее» ведет себя иеобучающийся ва­ риант. Он же обеспечивает наилучшие траектории в «очень хороших» средах (участок 3 на рис. 119, в). В «очень пло­ хих» средах (участок 1) лучшими являются траектории А и

Итак, нами исследовано поведение четырех различных вариантов М-автомата в средах трех типов. Число вариантов можно легко увеличить за счет различных сочетаний значе­ ний параметров обучения. Поведение каждого из таких ва­ риантов можно рассматривать в более представительном мно­ жестве сред, конструируемых путем изменения плотности воспринимаемых автоматами раздражителей. Методика ис­ следования во всех этих случаях ничем не будет отличаться от описанной выше. Проведенные исследования могут служить примером, иллюстрирующим способы изучения сложных самообучающихся М-автоматов. Опираясь на этот пример, рассмотрим ряд задач, решение которых оказывает­ ся возможным на основе полученных при использовании этой методики результатов.

Предварительно сделаем следующее замечание. Вообще говоря, могут существовать отличающиеся друг от друга среды, обладающие тем свойством, что оценки s, вырабаты­ ваемые для этих сред опорным вариантом, близки друг к другу, а оценки, вырабатываемые для этих же сред любым из обучающихся вариантов, различны. Это означает, что за­ висимости, изображенные на рис. 119, в общем случае имеют вероятностный характер. Статистические характеристики этих зависимостей могут быть получены путем исследования по-

ведения различных вариантов модели на достаточно пред­ ставительном множестве сред. Работы в этом направлении пе связаны с принципиальными затруднениями, однако тре­ буют больших затрат времени и имеют смысл в тех случаях, когда вероятностные свойства рассматриваемых зависимос­ тей оказываются важными при решении конкретных задач. В рамках проведенного исследования нами изучались прин­ ципиальные возможности использования автоматов описан­ ного типа. Поэтому представляется целесообразным провес­ ти дальнейшее изложение исходя из допущения о том, что среднеквадратичные отклонения рассматриваемых зависимос­ тей достаточно малы по сравнению с расстояниями между кривыми, описывающими свойства различных вариантов обучающихся автоматов. Отказ от этого допущения не изме­ няет общей структуры излагаемых ниже рассуждений, а лишь требует использования при их проведении специаль­ ного формального аппарата.

Пусть Ао, А\,..., Ап — множество различных автоматов, реакции каждого из которых исследованы во множестве сред Si, S2,...,Sm, принадлежащих некоторому диапазону сред. Автомат Ао соответствует опорному варианту. Пусть резуль­ таты исследования представлены в виде кривых, аналогич­ ных кривым на рис. 119. Иначе говоря, определены функции

В зависимости от цели моделирования различным оцен­ кам может приписываться разный вес. Так, можно потребо­ вать от автомата как можно большей адекватности реакций, не придавая особого значения оценке качества функциони­ рования и совсем пренебрегая видом траектории. Требования такого рода могут быть учтены заданием функции цели, ста-

Л Л А

вящей в соответствие любому сочетанию значений а, р, у некоторое значение обобщенного критерия и. В общем виде, следовательно,

= 0, 1 , . . . , п) может быть построена зависимость обобщен­ ного критерия качества и от оценки среды, т. е.

автоматов зависимости (10.11) принимают вид, графически изображенный на рис. 119, г. Используем функции (10.11) для решения следующих задач оптимизации.

ку функции (10.11) считаются заданными). Оптимальным

автомат функционирует в средах Si, S2, ..., Sj, .. ., для кото­

щий случай неоднородной среды, оценка различных областей которой меняется в определенном диапазоне. Ясно, что вы­ бранный предыдущим способом оптимальный «в среднем» ва-

Рис. 120. Движение в неоднородной среде.

риант в некоторых из областей такой среды не будет являть­ ся наилучшим.

Автоматы Ai, А г , А п отличаются друг от друга раз­ личными значениями параметров обучения или, в общем случае, различными совокупностями исходных данных для программы, реализующей М-автомат. Пусть автоматам Ai, Аг,. .., А„ соответствуют совокупности исходных данных at, аг,. .., ап. Для каждого из участков среды, внутри которого оценка примерно постоянна, предпочтительной оказывается группа исходных данных at, такая, что при ее использо­ вании на данном участке А,- = А*.

Допустим, некоторый автомат передвигается в неоднород­ ной среде так, как показано на рис. 120, а, где отграничены области с разной оценкой s. Пусть за время Т автомат пере­ сек г областей. В каждой из них обобщенный критерий и принимает конкретное значение. Эффективность работы авто­ мата за время Т охарактеризуем значением q:

Максимальное значение q будет получено в том случае, если в каждой из областей критерий и будет принимать макси­ мально возможное значение, для чего необходимо использо7 вать в каждой из них совокупность исходных данных Щ • Локальная оптимизация обучения может быть построена, таким образом, как процедура максимизации q, осуществляе­ мая путем переключения режимов обучения автомата при перемещении его в различные области среды.

Рассмотрим алгоритм оптимизации О, который выполня­ ет следующие операции. В начальный момент времени осу­ ществляется случайный выбор совокупности исходных дан­ ных aj из множества ai, аг,..., ап и автомат Ai помещается в среду, где функционирует в течение некоторого времени Z \Z < Т\, называемого временем зондирования. По истечении

являются обратными относительно функций (10.11) и алго­ ритм Q может обращаться как к тем, так и к другим.