книги из ГПНТБ / Растригин Л.А. Автоматная теория случайного поиска

ГЛАВА III

330

Как видим, это задача нелинейного программирования. Однако несложный анализ линий равного уровня сред­ него штрафа

двойная рандомизация, рассмотренная в этом пара­ графе, по-видимому, не может повысить быстродействия поиска.

§ 3.5. В Ы Б О Р О П Т И М А Л Ь Н О Й

ПО С Л Е Д О В А Т Е Л Ь Н О С Т И

АЛ Г О Р И Т М О В П О И С К А

Вэтом параграфе, используя подход, изло­

женный в работе [55], построим оптимальную последова­ тельность алгоритмов поиска. Пусть имеется набор т алгоритмов (стратегий), предназначенных для поиска экстремума функции Q(X). Пусть каждый алгоритм об­ ладает определенным набором операторов, которые при­ мем за состояния автомата. Пусть также заданы вероят­

Для решения поставленной задачи оптимизации применим «принцип оптимальности» динамического про-

ОПТИМАЛЬНЫЕ АЛГОРИТМЫ

331

граммирования марковского типа, предложенный Р. Беллманом [56] и использованный Р. Ховардом [57] для ре­ шения определенных задач.

Приведем некоторые результаты работ [56—57], кото­ рые нам понадобятся в дальнейшем. Среднее смещение к цели (доход) для k-ro алгоритма на (УУ+1)-М переходе при условии, что система находится в £-м состоянии, равно

где g^h) — непосредственно ожидаемый доход в момент выхода системы из состояния i по алгоритму k;

Решая рекуррентное выражение (3.5.2), находим опти­ мальную последовательность dt(N).

Для облегчения вычисления вектора s(N), а также для удобства теоретических выкладок и исследования поведения системы в переходный период применяется метод производящих функций (Z-преобразований) [57].

ГЛАВА III

332

Обратное преобразование вектора W(Z) дает искомый вектор S ( N ) . Для некоторых алгоритмов случайного по­ иска этот вектор вычислен в работе [58].

При больших N вместо (3.5.1) имеем следующую сис­ тему уравнений:

тельно м;

б) к нахождению для каждого состояния i стратегии di, для которой имеет место

п п

При этом от итерации к итерации доход t увеличива­ ется, т. е. получается улучшение решения. Остановка

ОПТИМАЛЬНЫЕ АЛГОРИТМЫ

ззз

процесса производится при двухразовом совпадении век­ тора di, который в дальнейшем принимается за опти­ мальный. Причем оптимальному вектору di соответст­

где Т — знак транспонирования. Пусть каждое измере­ ние функции Q(X) сопровождается нормально распреде­ ленной независимой помехой е(о) с нулевым математи­ ческим ожиданием и дисперсией а2 /2, т. е.

В качестве алгоритмов оптимизации рассмотрим сле­ дующие алгоритмы случайного поиска с «поощрением» случайностью:

а) алгоритм с возвратом при неудачном шаге, для ко­ торого матрица вероятностей переходов Р и матрица смещений С записываются в виде [58]

(3.5.11)

б) тот же самый алгоритм с применением процедуры накопления; тогда в каждой точке Xs имеем

ГЛАВА III

334

W { T , r ) [ c - o ( ^ ) ]

с=

l + W(T

(3.5.13)

стоянии необходимо выбрать вторую стратегию, а во вто­ ром состоянии — первую. Новая матрица, соответствую­ щая этому решению, должна состоять из первой строки матрицы Р2 (3.5.15) и второй строки матрицы. Р[ (3.5.14). Так как матрицы Я, (3.5.14) и Р2 (3.5.15) оди­ наковы, то вновь получим матрицу Pi (3.5.14).

Теперь записываем систему уравнений (3.5.7), в кото­ рой использованы элементы матрицы Р\ (3.5.14) и ко-

f + v2 = 0,85 + vi.

совпадают со стратегиями, полученными на предыдущем шаге, значит, процесс сошелся и доход t достиг своего

ГЛАВА III

336

Т а б л и ц а 3.5.2

максимума, а именно 0,2. Таким образом, придержива­ ясь при W = 2/3 второй стратегии в первом состоянии и первой стратегии во втором состоянии, получим макси­ мум среднего смещения к цели. Легко проверить, что •остальные три комбинации вектора d обеспечивают мень­ ший доход и меньшее среднее смещение к цели.

Оптимальная зависимость вектора d от параметра W приведена в таблице 3.5.2. Из таблицы вытекает, что при малой стоимости каждого наблюдения ( 0 , 8 5 < № ^ 1 ) следует применять алгоритм с возвратом и с нако­ плением, при большой стоимости (0г=: №гс:0,6) — алго­ ритмы с возвратом и без накопления помехи.

с накоплением, а после неудачного — алгоритм без накопления. Такой выбор стратегии при 0,6< W^0,85 можно объяснить следующим образом: накопление (вто­ рая стратегия) вводится в новой ситуации, т. е. после удачного перехода рп, и не вводится (первая стратегия) после неудачного перехода р^, за которым следует пере­ ход P2i = l , в результате чего система возвращается в ис­ ходное положение, где Q'(XS ) уже было ранее опреде­ лено путем накопления (3.5.12).