книги / Решение некоторых многоэкстремальных задач методом сужающихся окрестностей

дет 4р, находим оценку

Поскольку f(x°) — f(x1) есть константа, не зависящая от п, из ра­ венств (5.26) и (5.30) вытекает утверждение (5.28). -

Доказанную теорему можно сформулировать следующим на­ глядным образом. Если п стремится к бесконечности, a r2v растет медленнее чем п, то математическое ожидание значений квазисепарабельной функции с показателем сепарабельности г, взятых в точках, построенных из локальной минимали путем изменения v координат и последующего спуска, тем меньше, чем меньше значение функции

f(x) в точке х.

В работе [35] показано, что в задачах оптимального проектиро­ вания обычной является ситуация, в которой показатель сепарабель­ ности г убывает быстрее, чем корень кубический из п, т. е.

В связи с этим сформулируем следующую теорему, которая яв­ ляется очевидны^ следствием теоремы 5.2.

Теорема 5.3. Если п '-*■ оо, выполнено условие (5.31) и, кроме того,

v = о (п/а), то справедливо соотношение (5.28).

181

Наглядная трактовка этой теоремы такова. Достаточно медлен* ный рост числа изменяемых координат v при неограниченном уве-

личении размерности пространства Rn обеспечивает корреляцию между начальными точками наблюдения и математическими ожи­ даниями значений целевой функции в точках, которые построены из соответствующих начальных точек.

В формулировки теорем 5.2 и 5.3 входит весьма жесткое требо­

вание о стремлении размерности п пространства Rn к бесконечное^ ти. В практических задачах это число конечно, хотя часто бывает и достаточно болыйим. Покажем, что корреляция между значением в начальной точке и математическим ожиданием сохраняется и при конечных п, если только число v изменяемых координат доста­ точно мало.

из неравенства (5.3) в практических задачах часто бывает затруд­ нительным или даже невозможным. В этих случаях теорему 5.4 нельзя использовать для выбора числа v. Однако и здесь неравенст­ во (5.33) позволяет сделать определенные выводы.

1. Чем меньше число изменяемых координат v, тем сильнее кор­ реляция между значением целевой функции в начальной точке f (х°)

иматематическим ожиданием М.

2.Сдвиг математического ожидания может не произойти, если разность между значениями целевой функции в исходных точках {величина В) недостаточно велика.

Напомним, что в предыдущем параграфе указывалось на явное завышение оценки (5.16) в теореме 5.1. Отсюда следует, что оценка {5.33), входящая в теорму 5.4, существенно занижена и утвержде­ ние теоремы будет справедливо и для v, превышающих величину

Вп

*q( 2r+\ ) (r+\ )A •

182

Значительную погрешность в оценку (5.33) вносит и крайне грубая оценка (5.24).

Существенно, что при выводе оценки (5.16) использовался кон­ кретный метод локальной минимизации, а именно градиентный спуск. В связи с этим в оценке (5.33) используется число шагов градиентного спуска q\ которое не является характеристикой за­ дачи, а появляется лишь как следствие метода решения. Между тем локальная минималь, естественно, не зависит от метода ее по­

строения, и корреляция между математическим ожиданием (/ (я01)) и значением в исходной точке f(x°) наблюдается и в том случае, когда градиентный спуск заменен любым другим методом локальной минимизации.

Суммируя все сказанное, отметим, что ценность теоремы 5.4 состоит в том, что она дает строгое теоретическое обоснование су­ ществования такого класса квазисепарабельных функций, для кото­ рого математическое ожидание коррелировано со значением функции в исходной точке. Вместе с тем использование этой теоремы для ана­ лиза того, существует ли такая корреляция для конкретных целе­ вых функций, не целесообразно.

Теорема 5.4 свидетельствует о существовании класса функций, для которых имеется корреляция между математическим ожида­

нием (/ (х0/)) и значением f(x°). Однако трудно заранее оценить, бу­ дет ли конкретная функция принадлежать этому классу. Поэтому вопрос о сдвиге математического ожидания для конкретных функ­ ций обычно решается путем постановки машинных экспериментов.

Из приведенных в этом параграфе рассуждений вытекает, что при минимальном числе изменяемых координат, т. е. при v = 1, корреляция между начальным значением и математическим ожида­ нием наиболее значительна. Поэтому можно рекомендовать выби­ рать v равным единице.

Вычислительная процедура, основанная на такой рекоменда­ ции, предложена в работе [53 ] и представляла собой первую модифи-, кадию метода, который излагается в данной книге.

Суть этой процедуры в следующем. Находим какой-либо локаль­ ный минимум f(x°). В точке х° случайным образом изменяем значе­ ние одной координаты и из полученной точки производим спуск

в «ближайший» локальный минимум f(x01). Если f(x°) < /(х 01), то продолжаем «работать» с точкой х°. Если же f(x°) > f(x 0l)9 то изме­

няем значение одной координаты в точке X01 и продолжаем тот же процесс.

Нельзя, однако, рекомендацию о выборе величины v, равной единице, считать окончательной. Дело в том, что при переходе к указанному методу поиска кроме сдвига математического ожидания происходят изменения с другими характеристиками закона рас­ пределения.

Отметим, что при доказательстве теорем данного параграфа ни­ где не использовался какой-либо конкретный закон распределения.

183

Эго значит, что факт сдвига математического ожидания наб­ людается для любого закона распределения минимумов квазиеепарабельной функции.

§ 4. Изменение дисперсии

Рассмотрим вопрос о том, как изменяется дисперсия распреде­ ления значений целевой функции в локальных минималях с пере­ меной числа v изменяемых координат.

обозначим х<12).

Из точек х(1), х(2) и х(12> перейдем к локальным минималям, в зоне влияния которых эти точки находятся. Пусть, для определенности, для поиска локальных минимумов используется метод градиент­ ного спуска. Как указывалось в § 2 данной главы, это предположе­ ние не вносит существенных ограничений. Обозначим q число шагов градиентного спуска, достаточное для того, чтобы с требуемой точ­ ностью построить «ближайшие» к х(1>, х(2)и х<12) локальные минимумы. Полученные минимали будем обозначать х1, х2 и х12соответственно.

Пусть при переходе от точки х° в точку х1 изменились значения координат хЛр (ар£1, р = 1, 2,..., Р). При этом вследствие неравенст­

ва (5.15) число Р оценивается сверху следующим образом:

P< vq(2r + 1).

При переходе от точки х° к точке х2 меняются значения координат *р8(Р$€Л s = 1, 2, ..., S), причем аналогично предыдущему

S < vq(2r -1- 1).

Значения целевой функции в точках вида хк (или х2) будем рас­ сматривать как результат опыта, состоящего в том, что в точке х° случайным образом изменены значения v координат. Значения / (х12) представляют собой результат опыта, в котором в точке х° изменяют не более чем 2v координат. Заметим, что при построении точек вида хп в точке х° значения изменяют не обязательно точно 2v координат, поскольку наборы номеров координат {/*} и {г*.} могут иметь не пустое пересечение.

Дисперсию случайной величины / (^обозначим а2, а дисперсию / (х12) обозначим 0 2 v С уменьшением величины v дисперсия может

расти (Ov > olv), оставаться неизменной (о2 = oL) или убывать

184

(ov < Как показано далее (см. § 5), увеличение дисперсии при убывании v повышает вероятность получения значений целевой функции, близких к глобальному минимуму. Поэтому представляет интерес подробнее рассмотреть случай, при котором дисперсия может уменьшаться.

Предположим, что номера координат {jk\ и {/*} выбраны так, что слагаемые из разложения (5.1) квазисепарабельной функции f(x), зависящие от наборов координат {ха ) и (дгр), разделяются.

Эго значит, что сумму в представлении (5. f) можно разбить на три

слагаемые, которые не зависят от {хЛр}, но зависят хотя бы от од­

В соответствии с принятой во введении символикой d (х) будем обозначать дисперсию случайной величины х.

185

Из теоремы о дисперсии суммы [321 и равенства (5.42) следует

Здесь Cov (х, у) — ковариация случайных величин х и у. Поэтому

их законы распределения, и в частности их дисперсии, совпадают. Поэтому можно ввести обозначение

где ov — стандартное отклонение. Во введении сказано, что ко­ вариация случайных величин х а у связана с их коэффициентом корреляции р(х, у) соотношением

Учитывая соотношения (5.44) — (5.46), равенство (5.43) можно пере­ писать в виде

Теорема 5.5. Дели компоненты разложения, зависящие от на­ боров {хаР } м (хрS }, разделяются и

(5.48)

то

186

р < 0 об отрицательной корреля­ ции. Следовательно, неравенство (5.48) может нарушаться только при сильной отрицательной кор­ реляции. В обычных задачах нет оснований ожидать появления та­ кого случая. Поэтому ограниче­ ние (5.48) практически всегда вы­ полняется.

Сложнее обстоит дело с разде­ лимостью координат. Довольно трудно оценить вероятность, с ко­

вероятность того, что дисперсия будет уменьшаться с уменьшением числа изменяемых координат. Этот факт не зависит от вида закона распределения минимумов квазисепарабельной функции, если вы­ полняется условие (5.48).

§ 5. Вероятность получения лучших значений целевой функции

В предыдущих параграфах исследован вопрос о том, как изме­ няются математическое ожидание и дисперсия распределения зна­ чений целевой функции в локальных минималях в том случае, когда «слепой» случайный поиск заменяется специальным методом поиска.

Однако сами по себе ни первый, ни второй моменты распреде­ ления случайной величины не характеризуют качество предлагае­ мого метода поиска. Качество метода разумно характеризовать вероятностью получения значений целевой функции, которые были бы лучше, чем имеющиеся до сих пор. Пусть b — лучшее из полу­ ченных значений целевой функции. Тогда «перспективность» дан­ ного метода поиска будем оценивать числом

либо гипотезой о характере распределения значений целевой функ­ ции f(x) в локальных экстремалях.

187

Будут использоваться две такие гипотезы: нормальный и логнор­ мальный законы распределения, т. е. законы (3.2) и (3.3).

В § 3 данной главы показано, что при переходе от «слепого» слу­ чайного поиска к замене v координат в локальной минимали проис­ ходит уменьшение математического ожидания. Рассмотрим, как это отражается на вероятности получения лучших значений целе­ вой функции.

Вначале остановимся на нормальном законе распределения. Пусть имеем два таких закона с равными дисперсиями и математи­

Для вычислений воспользуемся функцией Е (и), которая опреде^ лена соотношением (3.10).

В случае закона (5.51)

а в случае закона (5.52)

Поскольку функция Е (и) монотонно возрастает (см. рис. 19), из неравенства (5.54) и соотношений (5.55) и (5.56) следует

P i> P v

Полученный результат можно сформулировать следующим образом. Лемма 5.1. Если выполняется неравенство (5.54), то вероятность вида (5.7) для закона распределения (5.51) выше, чем для закона рас­

пределения (5.52).

__На рис. 47 показаны интегральные законы распределения (5.51) и (5.52), а на рис. 48 — соответствующие дифференциальные законы

188

F(Z)

1

Из формулы (3.30) следует, что математическое ожидание случай­ ной величины f, распределенной по закону (3.3), определяется так:

189

Рассмотрим два логнормальных закона

Вычислим для этих двух законов вероятность вида (5.53). При этом, естественно, предполагается, что

Имеем,

7ST Ь ^ т ”■*[- ('П ~fa)1*■ <561>

Для вычисления этого интеграла воспользуемся подстановкой (3.27). Получим

Из монотонности функции Е (и) и формул (5.64) и (5.65) следует, что чем меньше параметр ц, тем больше вероятность получения лучших значений целевой функции. Параметр р, как следует из формулы (5.57), монотонно растет с ростом математического ожи­ дания. Следовательно, доказана справедливость следующего ут­ верждения.

Лемма 5.2. Из двух логнормальных законов (5.58) и (5.59) вероятность (5.53) получения лучших значений целевой функции больше для закона с меньшим, математическим ожиданием.

На рис. 49 изображены интегральные законы (5.58) и (5.59).

190