Добавил:

Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Омский Государственный Технический Университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

Методы оптимизации.doc

Скачиваний:

Добавлен:

30.03.2015

Размер:

7.77 Mб

Скачать

☆

<<< < Предыдущая 1 2 3 45 / 145 6 7 8 9 10 11 12 13 14 > Следующая >>>

Глава 4. Методы поиска локального минимума одномерных функций.

4.1 Алгоритм равномерного поиска

Рассмотрим следующую задачу условной оптимизации: найти минимумодномерной унимодальной функции (), определенной в замкнутой области допустимых значений =[,],

Идея алгоритмов, относящихся к методу сокращения текущего интервала неопределенности, состоит в исключении в процесса поиска из рассмотрения тех подынтервалов, в которых в силу унимодальности функции () точка отсутствует.

Текущий интервал неопределенности будем обозначать ТИН, а его длину |ТИН|. Так что, если , то .

В алгоритме равномерного поискаиспытанияпроводятся в точках, которые определяются путем равномерного деления интервала [,] на одинаковых подынтервалов. Из вычисленных значений функции выбирается наименьшее. Пусть это значение достигается в точке . Тогда в связи с унимодальностью функции подынтервалы , можно исключить из рассмотрения, т.е. сделать очередным интервалом неопределенности интервал . Алгоритм относится к классу пассивных методов поиска.

Более строго описанную схему алгоритма можно записать в нижеследующем виде.

Выполняем присваивания , , , .
На текущем ТИН строим равномерную сетку с +1 узлами (см. рис. 1).
Вычисляем значения функции () в узлах построенной сетки .
Находим минимальное из этих значений:
Выполняем присваивания , , .
Если , то заканчиваем вычисления. Иначе - выполняем присваивание =+1 и переходим на п.2. Здесь ε_x – требуемая точность решения

Рис. 1. Построение сетки на текущем интервале неопределенности.

В качестве приближенного значения точки минимума с равными основаниями может быть принята любая точка последнего текущего интервала неопределенности.

Первую итерацию приведенной схемы алгоритма равномерного поискаиллюстрирует рис. 2.

Рис. 2. Первая итерация поиск минимума одномерной унимодальной функции Ф(х) с помощью алгоритма равномерного поиска: N=13.

Легко видеть, что после одной итерации алгоритма равномерного поискаТИН уменьшается в раз. Поэтому количество итераций , необходимых для нахождения минимума функции с точностью ε_x, может быть найдено из условия

4.2 Алгоритм деления пополам

В алгоритм деления пополамилиалгоритме равномерного дихотомического поискаиспытанияпроводятся парами. Координаты каждой последующей пары испытаний разнесены между собой на величину , где - требуемая точность решения. Испытания производятся в середине ТИН. По значениям , полученным в этих точках, одна половина ТИН в силу унимодальности функции исключается из дальнейшего рассмотрения. Величина определяется требуемой точностью решения. Алгоритм относится к классу методов последовательного поиска.

Более строго описанную схему алгоритма можно записать в нижеследующем виде.

Выполняем присваивания , , , .
Вычисляем величины (см. рис. 1)
Вычисляем значения функции ().
Если , то выполняем присваивания , , . Иначе - выполняем присваивания , ,
Если , то заканчиваем вычисления. Иначе - выполняем присваивание =+1 и переходим на п.2.

Рис. 1. К определению величин x₀^r,x₁^r,x₂^r.

Приведенную схему алгоритма равномерного дихотомического поискаиллюстрирует рис. 2.

Рис. 2. Первые две итерации поиска минимума одномерной унимодальной функции с помощью алгоритма равномерного дихотомического поиска.

Легко видеть, что после одной итерации алгоритма равномерного поискаТИН уменьшается в 2 раза. Поэтому количество итераций , необходимых для нахождения минимума функции с точностью ε_x, находится из условия

4.3 Алгоритм Фибоначчи

Числа Фибоначчи и их некоторые свойства.

Числа Фибоначчи задаются следующим рекуррентным уравнением:

(1)

Числа Фибоначчи ,..., приведены в нижеследующей табл. 1.

Таблица 1

	0	1	2	3	4	5	6	7	8	9	...
	1	1	2	3	5	8	13	21	34	55	...

Общее выражение для -го числа Фибоначчи можно получить из решения уравнения (1):

При больших значениях членом (-)^N⁺¹ можно пренебречь. При этом

(2)

Отсюда следует, что . Т.е. отношение двух соседних чисел Фибоначчи примерно постоянно и равно .

Алгоритм Фибоначчи.

Алгоритм Фибоначчиотносится к классупоисковых методов оптимизациии включает в себя два этапа.

Первый этап состоит из (-1)-й итерации для =1,2,…-1. Рассмотрим схему -й итерации, когда ТИН_r=[,]:

Вычисляем величины
Вычисляем значения функции ().
Если , то выполняем присваивания , , . Иначе - выполняем присваивания , ,

Алгоритм Фибоначчиобладает тем свойством, что после выполнения (-1)-й итерации имеет место следующая ситуация: . Т.е. в результате (-1)-й итерации сужение текущего интервала неопределенности не происходит:

Второй этап призван решить по какую сторону от точки лежит точка минимума функции ().

Второй этап выполняется по следующей схеме:

Находим точку =+, где |ТИН_N_-1| - свободный параметр алгоритма.
Вычисляем значение функции .
Если , то выполняем присваивания . Иначе - выполняем присваивания

В качестве приближенного значения точки минимума с равными основаниями может быть принята любая точка ТИН_N.

Некоторые свойства алгоритм Фибоначчи.

Утверждение 1. Для любого [1,-2] алгоритм Фибоначчиобладает следующим свойством: одна из точек , совпадает с одной из точек , (см. рис. 1).

Рис. 1. К утверждению 1.

Доказательство. Пусть на -й итерации -ситуация б на рис. 1. В соответствии с алгоритмом Фибоначчи причем, очевидно, ТИН_r₊₁. Рассмотрим точку

Подставим сюда значение координаты точки

Аналогично проводится доказательство для случая - ситуация а на рис. 1

Указанное свойство алгоритма Фибоначчипозволяет на каждой итерации (кроме первой) производитьиспытаниятолько в одной точке.

Утверждение 2. Точки , расположены симметрично относительно концов текущего интервала неопределенности , т.е. расстояние точки до точки равно расстоянию точки до точки или, что то же самое, .

Доказательство. В соответствии с алгоритмом Фибоначчиимеем:

Но из формулы (1) следует, что . Подставляя это в предыдущую формулу, получим

Утверждение 3. В результате любой итерации алгоритма Фибоначчидлина текущего интервала неопределенности уменьшается в раз.

Доказательство. Поскольку (см. утверждения 2), достаточно рассмотреть только один из интервалов ,. Рассмотрим первый из указанных интервалов:

=+(-)-=(-)

Утверждение 4. При достаточно больших в результате одной итерации алгоритма Фибоначчидлина текущего интервала неопределенности уменьшается примерно в раз.

Доказательство. Справедливость утверждения следует из утверждения 3 и из того факта, что при достаточно больших имеем (см. (2)):

Из утверждения 4 следует, что при достаточно больших N алгоритм Фибоначчипрактически идентиченалгоритму золотого сечения(см. следующий параграф).

Утверждение 5. В результате итераций алгоритма Фибоначчидлина текущего интервала неопределенности становится равной

(3)

Доказательство. Из утверждения 3 следует, что:

после первой итерации длина ТИН равна ;
после второй итерации - ;
после итерации номер -2) длина ТИН равна
после итерации номер -1) длина ТИН не меняется;
после итерации номер длина ТИН уменьшается в два раза и становится равной

Поэтому количество итераций , необходимых для нахождения минимума функции с точностью , находится из условия

Алгоритм Фибоначчи. Тест 1

С использованием =6 итераций алгоритма Фибоначчинайдите минимумодномерной унимодальной функции ()=2(-12)²+3, где [,]=[0,13]. Положите =0.1.

Ответ

Первый этап

Итерация 1. =1 ТИН₁=[,]=[,]=[0,13]: .
:
:
:
:
Итерация 6. =6 ТИН₅=ТИН₆=[11,13]:

4.4 Алгоритм золотого сечения

()=().

Свойства золотого сечения.

Рассмотрим интервал [,] (см. рис. 1). Говорят, что точка c выполняет золотое сечение интервала [,], если

(1)

где =0,618- решение квадратного уравнения

(2)

Рис. 1. К определению золотого сечения отрезка.

Из определения золотого сечения следует, что . Действительно,

Алгоритм золотого сечения.

Алгоритм золотого сеченияотносится к классупоследовательных методов поиска.

Выполняем присваивания , , , .
Вычисляем величины (см. Рис. 2)

(3)
Вычисляем значения функции ().
Если , то выполняем присваивания , , . Иначе - выполняем присваивания , ,
Если , то заканчиваем вычисления. Иначе - выполняем присваивание =+1 и переходим на п.2. Здесь – требуемая точность решения

Рис. 2. К определению величин x₁^r, x₂^r.

Некоторые свойства алгоритм золотого сечения.

Утверждение 1. Точки расположены симметрично относительно концов текущего интервала неопределенности.

Действительно, из (3) следует, что точка отстоит от точки на величину ; точка отстоит от точки на ту же величину

Утверждение 2. Для любого 1 алгоритм золотого сеченияобладает следующим свойством: одна из точек , совпадает с одной из точек , .

Доказательство. Пусть на -й итерации . В соответствии с алгоритмом золотого сечения причем, очевидно, ТИН_r₊₁ . Для того, чтобы доказать справедливость утверждения достаточно показать, что верно отношение

(4)

Из соотношений (3) следует, что

Аналогично имеем

Разделив первый из этих результатов на второй, получим

(5)

Из уравнения (2) следует, что 1-=. Отсюда и из (5) следует справедливость (4).

Аналогично проводится доказательство для случая

Указанное свойство алгоритма золотого сеченияпозволяет на каждой итерации (кроме первой) производитьиспытаниятолько в одной точке.

Из схемы алгоритма золотого сеченияимеем.

Утверждение 3. В результате одной итерации алгоритма золотого сечениядлина текущего интервала неопределенности сокращается в раз

Поэтому количество итераций , необходимых для нахождения минимума функции с точностью , находится из условия

Из утверждения 3 и результатов предыдущего параграфа следует, что при достаточно больших алгоритм Фибоначчипрактически идентиченалгоритму золотого сечения.

4.5 Сравнение эффективности алгоритмов одномерной условной оптимизации

Аналитическое вычисление критерия качества алгоритмов оптимизацииудается только для следующей одномернойзадачи условной оптимизации: найти минимумодномерной унимодальной функции (), определенной в замкнутой области допустимых значений =[,],

(1)

Обозначим через класс одномерных унимодальных функций. Пусть множество рассматриваемых алгоритмов решения задачи (1) есть , где

- алгоритм равномерного поиска,
- алгоритм равномерного дихотомического поиска,
- алгоритм Фибоначчи,
- алгоритм золотого сечения.

В качестве критерия оптимальностиалгоритмов на классе функций используем максимальную длину текущего интервала неопределенности после испытаний

В параграфе 1 мы показали, что если количество узлов сетки равно +1, то после одной итерации алгоритма равномерного поискатекущий интервал неопределенности уменьшается в раз. Поэтому

Из результатов параграфа 2 следует, что после одной итерации (двух испытаний)алгоритма равномерного поискатекущий интервал неопределенности уменьшается в 2 раза. Поэтому

В параграфе 3 показано, что в результате итераций (+1 испытаний)алгоритма Фибоначчидлина текущего интервала неопределенности становится равной . Отсюда следует, что

Наконец, в параграфе 4 показано, что в результате итерации (+1 испытаний)алгоритма золотого сечениядлина текущего интервала неопределенности становится равной (-). Поэтому

Сравним эффективности алгоритма деления пополамиалгоритма Фибоначчипри =14:

===3.

Таким образом, при =14 алгоритм Фибоначчипочти в 3 раз эффективнееалгоритма деления пополам.

При =14 сравним также эффективности алгоритма Фибоначчииалгоритма золотого сечения:

Здесь учтено, что .

Таким образом, при =14 алгоритм золотого сеченияпримерно на 40 процентов эффективнееалгоритма Фибоначчи.

4.6 Метод квадратичной аппроксимации

Метод квадратичной аппроксимацииотносится к семействуметодов полиномиальной аппроксимации. Идеяметода полиномиальной аппроксимациисостоит в том, что в некоторой окрестности минимума функции () она аппроксимируется полиномом достаточно высокого порядка и в качестве точки минимума функции () (или в качестве очередного приближения к этой точке) принимается точка минимума аппроксимирующего полинома. В силу того, что аппроксимирующая функция является полиномом, этот минимум находится легко.

В качестве аппроксимирующих полиномов чаще всего используются полиномы второго и третьего порядков, т.е. квадратичная и кубическая аппроксимации.

Квадратичная аппроксимация.

Рассмотрим квадратичную аппроксимацию (см. рис. 1). Пусть в процессе решения задачи поиска минимума функции () тем или иным образом получены попарно не совпадающие точки , принадлежащие области допустимых значений (не обязательно упорядоченные слева направо!).

Рис. 1. Квадратичная аппроксимация.

Построим квадратичную функцию

(1)

проходящую через точки , , где .

Коэффициенты ,, функции (1) удовлетворяют системе линейных алгебраических уравнений (СЛАУ)

(2)

Определитель СЛАУ (2) является определителем Вандермонда, который отличен от нуля, если величины ,, попарно различны.

Таким образом, в сделанных предположениях СЛАУ (2) имеет решение и, притом единственное. Поскольку определитель СЛАУ (2) равен , это решение имеет вид

где , , .

Подставим найденные значения коэффициентов ,, в необходимое условие =0 минимума квадратичной функции (1), получим стационарную точку этой функции

(3)

где

Метод квадратичной аппроксимации.

(4)

Метод квадратичной аппроксимацииотносится к классуметодов сокращения текущего интервала неопределенности. Пусть при решении задачи (4) каким-либо методом получены три точки , принадлежащие области допустимых значений, такие, что .

Схема метода квадратичной аппроксимации:

Выполняем присваивания ,,,,.
Вычисляем значения функции в точках , соответственно.
По формуле (3) вычисляем величину и находим значение функции () в этой точке
Находим следующие три точки:

случай (а) - если [,], то =,=,= (см. рис. 2);
случай (б) - если [,], то =,=,= (см. рис. 3).

В качестве следующего текущего интервала неопределенности принимаем .

Если , то заканчиваем вычисления. Иначе - выполняем присваивание =+1 и переходим на п.2. Здесь – требуемая точность решения

Рис. 2. К методу квадратичной аппроксимации (случай а).

Рис. 3. К методу квадратичной аппроксимации (случай б).

Замечание. В силу условий , точка всегда принадлежит текущему интервалу неопределенности ТИН_r=[,]

4.7 Метод Паулла

Напомним, что методы, использующие квадратичную аппроксимацию, относятся к семейству методов полиномиальной аппроксимации.

В параграфе 6 показано, что если имеются попарно не совпадающие точки и соответствующие значения минимизируемой функции, то аппроксимирующий квадратичный полином достигает минимального значения в точке

(1)

где

Рассмотрим следующую задачу безусловной оптимизации: найти минимумодномерной унимодальной функции (), определенной в незамкнутой области допустимых значений ,

(2)

Метод Паулларешения задачи (2) может быть весьма полезен при решениизадач безусловной оптимизациимногопараметрических функций (см. далее).

Схема метода Паулла:

Полагаем =1 и задаем начальную точку .
Находим точку где Δ – длина шага, которая должна быть величиной того же порядка, что и расстояние точки до точки минимума функции () (оценка этого расстояния является самостоятельной проблемой).
Вычисляем значения , функции () в точках ,.
Находим точку :
Вычисляем значение функции () в точке (см. рис. 1).
По формуле (1) вычисляем величину и находим значение функции () в этой точке .
Находим следующие три точки:

а) если , то ,,;
б) если , то,,;
в) если , то ,, (см. рис. 2);
г) если , то , , (см. рис. 3).

В качестве следующего текущего интервала неопределенности принимаем .

Если , то заканчиваем вычисления. Иначе - выполняем присваивание =+1 и переходим на п.6. Здесь – требуемая точность решения

Рис. 1. К определению точки x₃^r.

Рис. 2. Случай x^~r>x₃^r.

Рис. 3. Случай x^~r<x₃^r

Рассмотренный метод Паулламожет быть модифицирован и длязамкнутой области допустимых значений :

4.8 Методы на основе поиска стационарной точки критерия оптимальности

(1)

В параграфе 2.1 мы показали, что в этих предположениях необходимым условием минимума функции () является условие

(2)

Рассматриваемые в данном параграфе методы первого порядка решения задачи (1) основаны на поиске стационарной точки функции (), т.е. на решении задачи (2), которая представляет собой задачу нахождения корней функции , принадлежащих интервалу [,].

Аналитическое решение задачи (2) возможно лишь в простейших случаях. Обычно для решения этой задачи приходится использовать численные методы нахождения корней нелинейных уравнений.

Широко известны следующие методы нахождения корней нелинейных уравнений:

метод хорд (метод секущих);
метод касательных (метод Ньютона решения нелинейных уравнений)

Поиск стационарной точки минимизируемой функции методом хорд.

Метод хорд ориентирован на нахождение корня уравнения (2) в случае, когда на границах интервала [,] знаки производной различны. Такая ситуация, очевидно, возможна, если точка минимума функции является внутренней точкой интервала [,] — см.рис. 1.

Рис. 1. К схеме метода хорд.

Нам далее понадобится значение . Из подобия треугольника и треугольника имеем

Отсюда следует, что

(3)

Схема поиска стационарной точки минимизируемой функции методом хорд(см. рис. 1):

Выполняем присваивания =1, =, =.
Вычисляем значения производных .
Если производные имеют одинаковые знаки – завершаем вычисления (точки выбраны неверно).
По формуле (3) вычисляем приближение к стационарной точке функции () b значение производной .
Если , где – требуемая точность решения, то принимаем и заканчиваем вычисления.
Если производные имеют разные знаки, то выполняем присваивания ,, и переходим на п.4.
Если производные (), () имеют разные знаки (как на рис. 1), то выполняем присваивания. ,, и переходим на п.4

В случае квадратичной функции () производная этой функции линейна. Поэтому метод хорд гарантирует нахождение стационарной точки функции () всего за одну итерацию.

Поскольку поиск заканчивается при выполнении условия , возможно появление ложных корней. Например, для уравнения ложный корень появляется в том случае, если . В подобных случаях увеличивая точность поиска, можно избавить от ложных корней. Однако, возможны уравнения, для которых такой подход не приводит к успеху. Например, уравнение не имеет действительных корней, однако для сколь угодно малого найдется точка, удовлетворяющая условию окончания поиска.

Возможна модификация метода хорд, когда значения производной вычисляются приближенно с использованием первых разностей. В этом случае, очевидно, метод становится прямым (нулевого порядка).

Поиск стационарной точки минимизируемой функции методом касательных.

Метод касательных ориентирован на нахождение корня уравнения (2) в случае, когда на границах интервала [,] знаки производной различны. Такая ситуация, очевидно, возможна, если точка минимума функции является внутренней точкой интервала [,] — см. рис. 2. метод требует, чтобы функция () была определена и дважды дифференцируема в области допустимых значений =[,].

Рис. 2. К схеме метода касательных.

Нам далее понадобится значение . Линейная функция, аппроксимирующая функцию в точке , записывается в виде

(4)

Приравняв правую часть уравнения (4) к нулю, получим

(5)

Схема поиска стационарной точки минимизируемой функции методом касательных (см. рис. 2):

Выполняем присваивания =1, =, =.
Вычисляем значения производных .
Если производные имеют одинаковые знаки – завершаем вычисления (точки выбраны неверно).
По формуле (5) вычисляем приближение к стационарной точке функции () и значение .
Если , где – требуемая точность решения, то принимаем и заканчиваем вычисления.
Если разные знаки имеют производные (как на рис. 2), то выполняем присваивания , =, и переходим на п.4.
Если разные знаки имеют производные , то выполняем присваивания , =, и переходим на п.4.

В случае квадратичной функции () производная этой функции () линейна. Поэтому метод касательных гарантирует нахождение стационарной точки функции () всего за одну итерацию.

Также, как в методе хорд, возможна модификация метода касательных, когда значения производной вычисляются приближенно с использованием первых разностей. В этом случае, очевидно, метод становится прямым (нулевого порядка).

4.9 Повышение эффективности поиска на основе дополнительной информации о свойствах критерия оптимальности

Рассмотрим следующую задачу условной оптимизации: найти минимумодномерной унимодальной функции (), определенной в замкнутой области допустимых значений =[,],

(1)

Всякая априорная информация о свойствах минимизируемой функции () может быть использована для повышения эффективности решения задачи (1).

Положим, что имеется следующая априорная информация о минимизируемой функции: () является липшицевой функцией, т.е. принадлежит классу функций, которые на интервале [,] удовлетворяют условию Липшица с константой Липшица

Покажем, как можно использовать данную априорную информация для сокращения текущего интервала неопределенности без проведения дополнительных испытаний.

Пусть после проведения итераций каким-либо методом сокращения текущего интервала неопределенностиимеет место ситуация:

Обозначим , и проведем через точки (,),=1,3 прямые с тангенсами угла наклона к оси , равными и (–), соответственно (см. рис. 1).

Рис. 1. Сужение интервала неопределенности за счет априорной информации о липшицевости минимизируемой функции. tg(φ₁)=K, tg(φ₂)=-K, φ₂=180^º-φ₁.

Проведем, кроме того, через точку (,) прямую , параллельную оси , до пересечения с прямыми и обозначим абсциссы точек пересечения

Утверждение 1. В сделанных предположениях, точки , могут быть использованы в качестве границ интервала неопределенности . Другими словами, в сделанных предположениях, точка минимума функции () не может лежать вне интервала