full_book

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

4.3.6. Асимптотическая оптимальность

Дальнейшим упрощением принципа оптимальности является рассмотрение асимптотически оптимальных алгоритмов. Для определения этого понятия обозначим через SK множество методов (4.9), в которых остановка осуществляется ровно через K шагов поиска. Введем величину

оптимального метода sK* SK очевидно выполняется W (sK* ) =W (K) .

Алгоритм sˆK называется асимптотически оптимальным, если

W (sˆK ) /W (K) →1 при K → ∞ .

В заключение отметим, что можно выстроить условную иерархию "сложности" рассмотренных принципов оптимальности. Так, самым сложным и порождающим наиболее эффективные алгоритмы является принцип последовательной оптимальности, полнее всего учитывающий информационную составляющую процесса оптимизации. Вслед за ним по сложности построения можно поставить оптимальность согласно (4.28) (или ε –оптимальность (4.29)), ориентированную только на априорное знание. Далее следует принцип оптимальности на один шаг вперед и, наконец, асимптотическая оптимальность.

4.4. Теоретические основы сходимости одномерных алгоритмов глобального поиска

Ранее мы уже отмечали, что важнейшим свойством численного метода является его сходимость к искомому решению, в нашем случае – к глобальному минимуму целевой функции задачи (4.6). При этом характер сходимости во многом определяет эффективность метода оптимизации. Настоящий параграф посвящен рассмотрению с единых теоретических позиций вопросов сходимости для широкого класса численных методов поиска глобального экстремума функций одной переменной, называемого классом характеристических алгоритмов и включающего многие известные алгоритмы, созданные в рамках различных подходов к конструированию методов оптимизации. Поскольку многие алгоритмы поиска экстремума многомерных функций основаны на редукции многомерной задачи к одной или семейству одномерных подзадач (см. раздел 5), то данная теория может быть применима и к анализу ряда методов многомерной оптимизации.

Рассмотрим одномерную задачу (4.6) для области поиска Y =[a,b] и класс методов оптимизации (4.9), в котором H k (Φ,ωk ) = 1 для любого k ≥1 , т.е. условие остановки отсутствует. В этом случае метод порождает бесконечную последовательность испытаний {yk } = y1 , y2 ,..., yk ,... , изучение свойств которой и будет предметом нашего интереса.

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

Определение 4.3. Алгоритм решения задачи (4.6) называется характеристическим, если, начиная с некоторого шага поиска k0 ≥1, выбор

координаты yk +1 очередного испытания (k ≥ k0 ) заключается в выполнении

a Λk , b Λk , все координаты предшествующих испытаний yi Λk , 1 ≤ i ≤ k, и множество Λk упорядочено (нижним индексом) по возрастанию координаты, т.е.

2)Каждому интервалу ( yi−1 , yi ) , 1 ≤ i ≤τ , поставить в соответствие число R(i) , называемое характеристикой этого интервала.

3)Определить интервал ( yt−1 , yt ) , которому соответствует максимальная

характеристика R(t) , т.е.

представленных пунктами 1-4. Этим операциям можно дать следующую содержательную интерпретацию.

Для проведения нового испытания отрезок [a,b] точками множества Λk разбивается на τ интервалов ( yi−1 , yi ) , 1 ≤ i ≤τ . Далее численно оценивается

"перспективность" каждого интервала с помощью его характеристики и выбирается интервал, у которого характеристика наилучшая. Точка очередного испытания размещается внутри этого интервала в соответствии с правилом d(•) .

Заметим, что множество (4.46) наряду с координатами испытаний может содержать точки, в которых испытания не проводились (например, в ряде информационно-статистических алгоритмов [9] такими точками являются концы отрезка). При этом верхний индекс координаты испытания соответствует порядку проведения испытаний в процессе поиска, а нижний индекс определяет расположение точки в упорядоченном наборе (4.47). Так, координата i -го

испытания yi в множестве Λk получит нижний индекс j , т.е. yi = y j , причем от шага к шагу номер j может меняться ( j = j(k)) .

Понятие характеристичности метода оптимизации впервые было введено В.А. Гришагиным [21] и позднее обобщено и распространено на другие классы задач и типы алгоритмов [15, 52, 53, 54].

В качестве иллюстрации приведем примеры известных алгоритмов глобальной оптимизации. В этих алгоритмах два первых испытания проводятся в

точках y1 = a и y2 = b , характеристическое правило вступает в действие,

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

использовать обозначение z j = f ( y j ) для значений целевой функции в точках

y j Λk .

Метод последовательного сканирования (перебор).

а точка очередного испытания выбирается в середине самого длинного интервала:

где δk > 0 - параметр метода, в общем случае зависящий от номера шага поиска k, а fk* - наименьшее вычисленное значение функции.

Метод ломаных.

В данном методе, который был построен С.А.Пиявским [38] для

Информационно-статистический алгоритм глобального поиска (АГП).

Обсуждаемый метод предложен Р.Г.Стронгиным [7] как байесовский одношагово-оптимальный алгоритм и использует характеристику

где

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

а r >1- параметр метода.

)Контрольные вопросы и упражнения:

1. Выполните несколько первых итераций метода сканирования при минимизации функции f(y) на отрезке [a,b]. Что произойдет, если последовательность испытаний будет бесконечной?

2.Постройте несколько первых точек последовательности поисковых испытаний АГП при решении задачи минимизации линейной функции f(y)=y на отрезке [0,1], принимая параметр r=2. Попробуйте установить аналитическую закономерность размещения точек испытаний в этой задаче.

3.Выполните задание 2 для метода ломаных, применяя в качестве параметра метода m оценку (4.44) при r=2. Попытайтесь установить связь между последовательностями испытаний метода ломаных и АГП.

После конкретных примеров представим общий теоретический результат о связи принципа одношаговой оптимальности со свойством характеристичности.

Теорема 4.1. Одношагово-оптимальный (минимаксный или байесовский) алгоритм является характеристическим.

ДОКАЗАТЕЛЬСТВО. Перепишем условие одношаговой оптимальности (4.32) в

виде

Отсюда следует, что в качестве характеристики интервала ( yi−1 , yi ) можно взять величину

Теорема доказана.

Теорема 4.2. Пусть точка y* является предельной точкой (точкой накопления) последовательности поисковых испытаний {yk }, порождаемой характеристическим алгоритмом при решении задачи (4.6) на отрезке [a,b],

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

b) в случае, когда, начиная с некоторого шага поиска, интервал ( yi−1 , yi ), i = i(k)

где µ, c,ν - некоторые константы, причем µ ≥ 0, 0 <ν <1.

Тогда последовательность {yk } содержит две подпоследовательности, одна из

интервала ( yp−1 , yp ) в него попадет бесконечное число испытаний, поэтому из (4.65) следует, что

На основании (4.66) в качестве искомых подпоследовательностей мы можем взять последовательность {yp(k )−1} левых и последовательность {yp(k )−1} правых

концов интервалов, содержащих y* .

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

откуда, начиная с некоторого шага поиска, будет следовать выполнимость неравенства

Следствие 4.2.1. В вычислительную схему характеристического алгоритма, удовлетворяющего условиям Теоремы 4.2, можно ввести условие остановки вида

прекращать вычисления, когда длина интервала с максимальной характеристикой станет меньше заданной точности ε . Тогда процесс поиска будет остановлен через конечное число шагов.

ДОКАЗАТЕЛЬСТВО. Вначале укажем, что на конечном отрезке [a,b] последовательность испытаний всегда будет иметь хотя бы одну предельную

точку y* . Обозначим через p = p(k), k ≥1, номер интервала, содержащего точку y* на k -м шаге поиска. Т.к. данная точка предельная, то в интервал ( yp−1 , yp )

попадет бесконечное число испытаний и для него будет иметь место соотношение (4.66), из которого следует, что условие (4.68) неизбежно выполнится на

некотором шаге поиска. Заметим, что если точка y* не является внутренней, для справедливости (4.68) достаточно односторонней сходимости.

Проверим выполнимость условий Теоремы 4.2 для рассмотренных примеров характеристических алгоритмов.

Метод последовательного сканирования.

Если интервал ( yi−1 , yi ) стягивать в точку, характеристика метода (4.39) стремится к нулю. Поэтому в (4.61) в качестве констант µ и c можно взять µ = c =0. Если же в интервал ( yi−1 , yi ) , начиная с некоторого шага поиска,

испытания попадать не будут, то его длина (совпадающая с характеристикой), будет оставаться положительной, что обеспечит выполнимость условия (4.63) для выбранных µ и c . Что касается неравенства (4.64), то оно очевидно выполняется

при ν = 0.5 .

Метод Кушнера

Предположим, что функция f(y) ограничена на отрезке [a,b] конечными

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

когда длина интервала ( yi−1 , yi ) стремится к нулю. Поэтому (4.61) выполняется при µ = 0 и формальном значении c = −∞ (Доказательство Теоремы 4.2

нисколько не изменится, если в правой части (4.61) предел будет равен −∞ ). Поскольку для любого интервала с ненулевой длиной его характеристика

будет иметь конечное значение, (4.63) также справедливо. Рассмотрим разности

Именно последнюю величину можно выбрать в качестве константы ν для соотношения (4.64), ибо очевидно, что 0 <ν <1.

Метод ломаных

Для рассмотрения условий теоремы сделаем предположение, что минимизируемая функция f(y) удовлетворяет условию Липшица с константой

L > 0 , т.е.

и, кроме того, параметр метода m > L .

В силу липшицевости функция f(y) непрерывна, и, следовательно, при

(4.50) для интервала (xi−1 , xi ) , удовлетворяющего (4.63). Воспользуемся простым соотношением

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

и оценим характеристику (4.54) метода, воспользовавшись условием Липшица и учитывая, что длина интервала остается, начиная с некоторого шага поиска, положительной и неизменной:

0.5m( yi − yi−1 ) − (zi + zi−1 ) / 2 > 0.5L( yi − yi−1 ) − (zi + zi−1 ) / 2 ≥ 0.5(zi−1 + zi − zi−1 − zi =

= −min{zi−1 , zi }

Полученные соотношения устанавливают справедливость (4.63). Для определения величины ν в (4.64) оценим величину

yt − yk +1 = 0.5( yt − yt−1 ) + (zt − zt−1 ) /(2m) ≤ 0.5( yt − yt−1 ) + L( yt − yt−1 ) /(2m) = = 0.5(1+ L / m)( yt − yt−1 )

Аналогичная оценка имеет место и для интервала ( yt−1 , yk +1 ) , поэтому можно взять ν = 0.5(1 + L / m) . Очевидно, что ν >0 и, поскольку m > L , то ν <1.

Информационно-статистический алгоритм глобального поиска

Предположив липшицевость (4.69) целевой функции, нетрудно показать, что данный метод также удовлетворяет условиям теоремы 4.2 с µ =4, c =0 и

ν = 0.5(1+1/ r) .

Вследствие липшицевости при стягивании интервала ( yi−1 , yi ) к точке y его характеристика будет стремиться к величине − 4 f ( y) , т.е. для выполнимости (4.61) можно положить µ =4 и c =0.

Для проверки (4.63) при условии (4.62) рассмотрим два случая. Пусть сначала для интервала ( yi−1 , yi ) справедливо zi−1 = zi . Тогда характеристика

Длину интервала ( yt−1 , yk +1 ) можно оценить аналогичным образом, поэтому в качестве ν можно выбрать величину 0.5(1+1/ r) , которая очевидным образом удовлетворяет условию 0 <ν <1, т.к. r >1 .

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

Теорема 4.3. Если в условиях теоремы 4.2 µ =0, тогда любая точка области поиска является предельной точкой последовательности поисковых испытаний.

ДОКАЗАТЕЛЬСТВО. Предположим, что некоторая точка y′ не является

предельной для последовательности поисковых испытаний, порождаемой алгоритмом. Это означает, что начиная с некоторого шага поиска, испытания в интервал ( yq−1 , yq ) , q = q(k), содержащий эту точку, попадать не будут, и тогда

согласно (4.63) характеристика R(q) > 0 . Но последовательность испытаний, будучи ограниченной пределами отрезка [a, b] , содержит хотя бы одну сходящуюся подпоследовательность. Для интервала ( yp−1 , yp ) , p = p(k),

содержащего предельную точку данной подпоследовательности, вследствие двусторонней сходимости справедливо соотношение (4.61), т.е. его длина должна стремиться к нулю. Это означает, что на некотором шаге характеристика R( p)

станет меньше характеристики R(q) , что в соответствии с правилом (4.48)

основной схемы характеристического алгоритма противоречит исходному предположению.

Теорема доказана.

Данная теорема устанавливает условия так называемой "всюду плотной" сходимости, когда метод сходится ко всем точкам области поиска, в том числе, разумеется, и к точкам глобального минимума. Указанный тип сходимости адекватен таким классам задач, для которых невозможно построить оценки экстремума по конечному числу испытаний (например, для класса непрерывных функций), и в этом случае обеспечить сходимость к глобально-оптимальному решению можно лишь за счет свойства всюду плотной сходимости.

Среди примеров, которые мы рассмотрели, подобной сходимостью обладают методы перебора и метод Кушнера, а среди других известных алгоритмов – методы [15].

Для иллюстрации поведения методов данного типа продемонстрируем динамику поиска метода перебора. Под графиком минимизируемой функции штрихами отображены координаты проведенных испытаний.

Рис.4.2. Размещение испытаний в методе равномерного перебора. Всюду плотная сходимость

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

исследования эффективности распределения точек поисковой последовательности. Один из таких подходов основан на получении оценок относительной плотности размещения испытаний в различных подобластях области поиска в сравнении с плотностью точек в окрестности глобального минимума [15].

Метод аналитического построения оценок относительной плотности размещения испытаний будет рассмотрен позднее, в разделе 4.6 настоящей главы. Здесь же мы ограничимся тем, что приведем вид этих оценок на примере всюду плотно сходящегося метода Х.Кушнера. Оценка получена на классе непрерывных кусочно-линейных функций.

Пусть αk ( y, y* ) — относительная плотность испытаний в точке y по отношению к точке решения y*. Можно доказать, что для каждого y, начиная с некоторого k, относительная плотность αk ( y, y* ) совершает колебания вокруг значения

причем при значениях, больших чем (4.72), относительная плотность только убывает, а при меньших значениях — только возрастает. Следует обратить внимание на тот факт, что глобальным минимумам задачи соответствуют наибольшие значения относительной плотности (4.72), а локальным минимумам функции f(y) — локальные максимумы относительной плотности. Из (4.72) следует, что чем меньше значение δ, тем более выражена наибольшая концентрация испытаний в окрестностях глобальных минимумов задачи. Соответствующая иллюстрация приведена на рис. 4.6 в разделе 4.6.

На рис.4.3 приведен пример размещения испытаний всюду плотно сходящегося метода Х.Кушнера с автоматической настройкой параметра δk по

δ49 = 0.02, δ52 = 0.01. Иллюстрация ясно показывает существенно неравномерный

характер размещения испытаний в этом методе (с их концентрацией в окрестности решения), несмотря на всюду плотный тип сходимости.

Рис.4.3. Характер концентрации испытаний в методе Х.Кушнера. Сходимость в пределе всюду плотная, но неравномерная