книги из ГПНТБ / Растригин Л.А. Автоматная теория случайного поиска

ВВЕДЕНИЕ

31

Некоторые основные сведения о цепях Маркова. Из изложенного видно, что функционирование автоматов в случайной среде описывается цепью Маркова. Поэтому исследование автомата в случайной среде сводится к ис­ следованию соответствующей цепи Маркова. Приводим основные положения о цепях Маркова [29, 30].

то цепь Маркова называется однородной. Такая цепь за­ дается матрицей переходных вероятностей

3 = 1

( i = l , . . . , т).

Для полного задания цепи Маркова необходимо иметь также вектор начальных вероятностей

ВВЕДЕНИЕ

ВВЕДЕНИЕ

( t ' , / = l , . . . , m ) .

Приведем еще другой признак, по которому определя­ ется эргодичность цепи Маркова. Этот признак следую­

На практике использование формул Перрона или воз­ ведение переходных матриц в N-ю степень для цепей Маркова со многими состояниями является сложной задачей. Поэтому более целесообразно предельные ве­ роятности рг( о о ) находить как решение следующей сис­ темы алгебраических уравнений [38]:

Формула (0.4.45) имеет место для эргодических цепей Маркова.

Г Л А В А I

ПОИСК БЕЗ САМООБУЧЕНИЯ

вания вероятностного автомата в некоторой среде [39]. Автоматом в данном случае является алгоритм случай­ ного поиска, а среда, в которой действует этот автомат, представляет собой объект оптимизации. Среда в общем с.лучае предполагается стохастической, т. е. на одно и то же воздействие X она каждый раз отзывается некото­ рым случайным образом.

Одним из примеров такого взаимодействия автомата и

ГЛАВА I

36

Управление параметрами гомеостата производится методом проб и ошибок, который сводится, по сути дела, к случайному перебору элементов некоторого допусти­ мого множества управлений {X} с последующей провер­ кой их эффективности и реакции на каждое случайное управление. При этом четко разграничиваются два вида реакций. Отрицательная реакция R~ возникает в ответ на управление, которое не приводит к выполнению по­ ставленных целей. Эта реакция в соответствии с алго­

за достижением цели управления. Она сохраняет в объ­ екте то управление, которое привело к положительному результату. Алгоритм такого поведения гомеостата можно записать в виде

ного определения параметров гомеостата. Легко заметить, что такой алгоритм имеет целесообраз­ ное поведение, направленное на поиск и сохранение в системе состояния, которое обеспечивает положитель­ ную реакцию R+.

Итак, смысл случайного поиска по рассмотренному алгоритму (в данном случае —• слепого поиска) заклю­ чается в том, чтобы случайно перебирать значения пара­ метров системы до тех пор, пока не будут найдены такие их варианты, которые обеспечивают выполнение определенных заданных условий. В случае гомеостата — это наличие устойчивого состояния системы в заданных границах.

Такое поведение' гомеостата, по-видимому, наиболее целесообразно в том случае, когда управляющее устройство не имеет никаких сведений о структуре объ­ екта, т. е. последний представляет собой «черный ящик».

Естественно задать вопрос: всегда ли можно найти ус­ ловия, при которых объект удовлетворяет целям управ­ ления, т. е. можно ли случайным перебором допустимых

ПОИСК БЕЗ САМООБУЧЕНИЯ

' щие к отрицательной реакции, во второе — вызывающие положительную реакцию. Тогда решение задачи управ­

имели одинаковую мощность, т. е. чтобы при случайном переборе элементов множества всех возможных управ­

редко. Тогда вероятность выбора одного из элементов этого подмножества будет конечна. Следовательно, про­ цесс завершится в конечное время и система обяза­ тельно придет в состояние, удовлетворяющее целям управления.

Представим работу гомеостата как функционирование некоторого вероятностного автомата, действующего в случайной среде [41]. Тогда гомеостат следует «рас­ слоить» на среду и управляющее устройство УУ (см. рис. 1.1.1). Под средой подразумевается объект управле­ ния, реализующий зависимость (1.1.2), а управляющее устройство работает в соответствии с алгоритмом слу­

ГЛАВА I

функционирование этого автомата в случайной среде, имеет вид

где р — вероятность отыскания решения, удовлетворяю­ щего поставленным целям управления ( Q ^ q ) . Эффек­ тивность функционирования гомеостата существенно зависит от величины р . Чем больше р , тем быстрее нахо­ дится решение и, следовательно, тем эффективнее работа гомеостата.

Стохастический характер данного автомата определя­ ется двумя факторами — оператором случайного шага Е и неопределенностью среды (стохастичность среды за­ висит от неизвестного вектора ситуации Е ) .

Применение описанной схемы слепого поиска к опти­ мизации многопараметрических систем не приводит к успеху. Это связано с тем, что для более или менее сложных объектов управления вероятность р отыскания цели «сразу» очень мала, и процесс слепого поиска не­ обходимого управления связан, как правило, с огром­ ными затратами времени.

Рассмотренный алгоритм случайного поиска (1.1.3) пригоден для отыскания решения в принципе, т. е. гаран­ тирует конечность времени отыскания условий, удовлет­ воряющих целям управления. Однако вопросы быстро­ действия не решаются этим алгоритмом, поскольку он предназначен для управления объектами самого широ­ кого класса с единственным ограничением, связанным с конечностью вероятности отыскания решения.

В задачах экстремального управления часто содер­ жатся дополнительные сведения об объекте, например о характере поведения показателя качества объекта при различных управлениях. Эта информация дает возмож­ ность применить новые алгоритмы управления, которые построены на базе случайного гомеостатического поиска, но решают вопросы быстродействия уже с учетом имею­ щихся дополнительных сведений об объекте.

Дополнительные сведения об объекте оптимизации не­ сет функция качества Q(X), которую нужно минимизи­ ровать. Значение Q(X) очень часто может служить ме­ рой близости к цели, т. е. мерой успеха поиска.

ГЛАВА I

40

ставлены переходы от одного оператора к другому, при­ чем рядом указаны события, вызывающие эти переходы, а в скобках — вероятности этих событий. Автомат мо­ жет пребывать в двух состояниях и задается матрицей переходов

Именно в этом цикле показатель качества уменьша­ ется и происходит настройка системы. Поэтому значе­ ние вероятности р2 в значительной мере определяет эффективность применения данного алгоритма. Алгоритм эффективен, если объект таков, что значение р2 доста­ точно близко к единице.

Однако эффективность алгоритма зависит и от вероят­ ности выхода автомата на указанный цикл, т. е. от ве­ личины 1— ри которая соответствует вероятности слу­ чайного определения удачного направления (AQ<0) . Достаточно большое значение этой величины обеспечи­ вает работоспособность алгоритма.

Таким образом, для эффективной работы алгоритма

к удаче. Такая форма поведения, безусловно, разумна и целесообразна для линейных и близких к ним объектов, свойства которых с переходом из одного состояния в дру­ гое изменяются незначительно.

.Именно поэтому автомат, реализующий подобный ал-