Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Теория и методы оптимизации. Учебное пособие
.pdf
Значение стационарной точки
f
f
x
x
x
x
x
f
f
x
x
f
x
x
3 1 2,665
*1,565.
x
2 2 3,067
Значение оптимума
(1,565) 15,122.
Оценим точное значение стационарной точки и оптимум функции
x
'( ) 0
.
4 0, 4 1,5874.xx
16
2
x
3
Таким образом, точное значение стационарной точки
* 1,5874, (1,5874) 15,119.
f
Оценим тип стационарной точки.
32
''( ) 4 , ''( ) 0fx fx
при 0
3
x
.
Полученная стационарная точка является минимумом.
Этот метод, разработанный Пауэллом, лежит в основе схемы алгоритмизации, начальными условиями которой являются начальная точка
– величина шага по оси OX, – точность вычисления оптимума.
и
Алгоритмизацияметода
Шаг 1. Вычислить
Шаг 2. Вычислить
Шаг 3. Если
() ()
xfx , то
12
Шаг 4. Вычислить
{, , }fff .
123
Шаг 5. По точкам
находим стационарную точку *
Шаг 6. Проверка на окончание итерационного процесса по форму-
лам (1.11):
если
xx.
21
(), ()
xfx.
12
2
xx
31
иначе
()
x и найти минимальное значение
3
, ,
xx
123
строим полином по формуле (2.5) и
,
2
xx
31
.
по формуле (2.6).
F
min
1
min ст
(*)FFx
или
min ст
*xx,
то поиск закончен, иначе – шаг 7.
31
Шаг 7. Выбрать наилучшую точку
x
f
x
f
x
x
x
x
f
f
x
f
x
()
x ) и две точки по обе стороны от нее:
{*, : min( (*), )}xxx fxf ;
2min min
xxxxx .
12 32
Вычислить значения функций
,
,,
ff в этих точках.
123
или *x(по минимуму
min
Перейти к шагу 5.
Замечания
1. При первой реализации шага 5 точка *
лы
[]
x . Поэтому необходимо провести проверку
13
случае неудачи проверки – заменить ее любой из точкек
может выйти за преде-
*[,]
xx . И в
,xx .
12
2. Если шаг 3 приведет к выходу из интервала [,]ab , то задать точ-
13
ку
31
2
xx.
2.3.Методыодномерногопоискасиспользованиемпроизводных
Если к требованиям унимодальности и непрерывности целевой
функции добавить требование дифференцируемости, то эффективность
поисковых процедур может существенно повыситься.
Известно, что необходимым условием существования экстремума
является наличие стационарной точки
Если вид уравнения '( ) 0
x
является трудноразрешимым непосред-
ственным образом, то для поиска стационарной точки могут быть использованы поисковые процедуры последовательного приближения к решению уравнения '( ) 0
x . Прежде всего это методы решения нелинейных
уравнений: половинного деления, дихотомии, Ньютона, хорд и т. д.
2.3.1.МетодНьютона–Рафсона
В рамках метода предполагается, что функция ()fx дважды дифференцируема. После выбора начального приближения
сательная в точке
найдем стационарную точку. Геометрически это соответствует точке
пересечения касательной
Далее строим касательную к функции ()
'( )fx – рис. 2.9. Из решения уравнения 1'( ) 0fx
0
'( )fx с осью OX.
0
'( ) 0
fx
xx
*
x в точке 1'( )fx и нахо-
.
строится ка-
0
дим стационарную точку
и т. д.
2
Итерационная формула, соответствующая процедуре поиска оптимума по методу
Ньютона–Рафсона, имеет вид
32
'( )
f
f
f
f
x
x
x
xx
. (2.7)
1
kk
k
x
''( )
k
а б
Рис. 2.9. Геометрическая иллюстрация метода Ньютона–Рафсона
В основе формулы лежит разложение в ряд Тейлора
'( ) '( )
xfxh
и отбрасывание нелинейных членов разложения.
1
kk
Критерии останова метода могут быть стандартные (1.11). Но с
учетом, что находится экстремум функции ()
'
водной
()fx , целесообразно использовать станов по правилу
x по значению произ-
'( )
fx
k
.
Замечания
1. Метод Ньютона может расходиться (рис. 2.9, б) при неудачном
выборе начального приближения
. Метод хорошо работает в окрест-
0
ности стационарной точки. Поэтому рекомендуется сузить интервал неопределенности, а затем использовать метод Ньютона (комбинация методов).
2. Удачный выбор начальной точки
условие:
() ''()0fx f x
00
.
обеспечивает следующее
0
2.4.Сравнениеметодоводномерногопоискаоптимума
Успех использования того или иного метода одномерной оптими-
зации зависит от следующих моментов:
вида исходной целевой функции;
целей решения конкретной задачи.
Так, методы оптимизации, основанные на полиномиальной аппроксимации и вычислении производных, более эффективны, чем методы
33
исключения интервалов. Но это выполняется при условии, что целевая
функция достаточно гладкая и непрерывная.
Цели решения задачи накладывают ограничения на основные характеристики методов:
время получения решения;
точность полученного экстремума;
чувствительность алгоритма к начальным условиям.
Поэтому приоритет метода может определяться критичностью к
той или иной характеристике. Так, например, тот же точечный метод
обеспечивает высокую точность для гладких функций. Однако на быстроизменяющихся функциях работает весьма медленно и, следовательно,
не удовлетворяет показателю времени получения решения. Методы с
использованием производных работают только при
аналитически заданных функциях, для которых возможно оценить производную без дополнительных погрешностей. Но в технических приложениях целевая
функция чаще задается таблично, как результат эксперимента и измерения некоторого показателя. В этом случае возможно использование
только интервальных методов. И, наконец, объединение некоторых методов может принести ощутимое улучшение показателей оценки
экс-
тремума.
34
3.МЕТОДЫБЕЗУСЛОВНОЙМНОГОМЕРНОЙОПТИМИЗАЦИИ
x
R
R
f
f
f
f
x
H
f
x
f
В общем виде задача безусловной оптимизации имеет вид
() min,
Fx
,
DR
n
то есть ограничения I рода (
() 0
hx
k
) и II рода (()0
gx ) отсутствуют
j
или являются пустыми множествами.
Методы многомерной безусловной оптимизации аналогичны методам одномерной оптимизации и определены необходимыми и достаточными условиями экстремума. В табл. 3.1 приведено сопоставление условий существования экстремума.
Таблица 3.1
Условия существования экстремума
Условия
экстремума
Необходимые
Необходимые
и достаточные
Стационарная точка '( *) 0
1. Стационарная точка
2.
''( *) 0
x
1
x
'( *) 0
x
Вектор-градиент
.
()0fx
0
1. Вектор-градиент
()0fx .
0
2. Матрица Гессе – положительно определена
n
Градиент – это вектор, проекции которого на оси координат являются частными производными.
Введем вектор-градиент
T
fx
( ) , , ...,
ff
xx
12
(3.1)
n
и вещественную матрицу Гессе (гессиан)
2
Например, для
() , , [1, ]
xijn
Hx
()
2
()fxR
f
xx
ij
22
2
112
22
xx x
12 2
xx
. (3.2)
f
.
f
2
35
Матрица Гессе ()Hx – симметрична.
x
x
f
x
f
f
f
x
x
Теорема 1. Для того чтобы дифференцируемая на множестве
DR функция ()fx имела в точке
обходимо, чтобы
n
*
была стационарной точкой, т. е.
()0fx
*
D локальный экстремум, не-
*
. (3.3)
Теорема 2. Критерий Сильвестра.
Если ()
гессиан положительно определен при всех
x – дважды дифференцируемая на nDR функция и ее
D, то функция ()fx яв-
ляется выпуклой на множестве D.
КритерииопределенностиматрицыH(x)
Положительная определенность матрицы означает:
все диагональные элементы положительны;
определители всех главных миноров матрицы положительны.
Положительная полуопределенность матрицы означает:
все диагональные элементы матрицы ≥ 0;
определители всех главных миноров матрицы ≥ 0.
Пример
Оценить определенность гессиана для функции
(, ) 2 sin( )
xx x x x x .
12 1 2 1 2
Найдем производные первого и второго порядка.
'( ) 2 cos( );
xx xx
22 12
xx xx
'( ) 4 cos( ).
11 12
2
f
x
2
2
f
x
1
2
xx
12
Запишем матрицу Гессе:
22
2 sin( );
4 sin( );
xx
12
xx
12
f
xx
sin( ).
12
xx xx
12 12
sin( ) 2 sin( )
xxx
12 12
.
Hx
()
4sin( ) sin( )
Главные миноры:
4sin( ) 0,
112
86sin( ) 0.
212
x
xx
36
Следовательно, гессиан положительно определен и функция ()fx –
f
выпуклая.
Теорема 3. Необходимые и достаточные условия существования
минимума многомерной функции ()
существует стационарная точка, т. е. вектор-градиент
матрица Гессе положительна определена.
xR:
n
()0fx;
0
Методы поиска экстремума многомерной функции не имеют столь
наглядной геометрической иллюстрации, как в одномерном случае.
Имеет геометрическую иллюстрацию только двумерный случай. Рассмотрим графическое решение для следующего примера.
Пример
Дана сепарабельная функция
(, ) ( 1) 4( 2)zxy x y .
22
Вид функции приведен на рис. 3.1, а линии уровня – на рис. 3.2.
Найти экстремум функции при начальных условиях
,{2,5;3}.xy
00
Отметим, что точное решение
TTT
xy zx x
(, ) (1,2), ( , ) 0
.
Рис. 3.1
37
M
П
Рис. 3.2
Рассмотрим графическое решение, представленное на рис. 3.3.
(, ) ( 1) 4( 2)zxy x y .
22
1. При заданных начальных условиях фиксируем одну координату
y
= 3. Это равносильно проведению плоскости П0 параллельно плоско-
0
сти (Z, 0, X).
Линия пересечения плоскости
с поверхностью z(x, y) определя-
0
ется уравнением
(1) 4(32)(1)4zx x .
2 2 2
Полученное уравнение определяет линию пересечения плоскости
П
с поверхностью z(x, y). Экстремальная кривая является параболой,
0
стационарная точка которой
'( ) 2 ( 1) 0, 1 zx x x
2. Фиксируем теперь
.
1
1x
, т. е. проводим плоскость П1, парал-
1
лельную (Z, 0, Y). В данной плоскости экстремальная кривая
4 ( 2) ' 8( 2) 0 2zy zy y .
22
Итак, за два шага найдено оптимальное значение. Это объясняется
тем, что оси эллипсов (линии уровня) параллельны осям координат.
38
x
x
x
x
B
B
B
0
F(x, y)
Z
П1
П0
B
1
x*
x
y*
y
Рис. 3.3. Графическое решение
3.1.Методпокоординатногоспуска
Формализуем рассмотренную графическую процедуру поиска, которая носит название метода покоординатного спуска.
Пусть
(, ), { , }zfxx x xx B.
12 1 2 0
0
Процесс оптимизации проходит следующим образом.
Фиксируем переменную
функцией одной переменной
Решаем задачу одномерной оптимизации по переменной
даем в точку
112
11
(, )
xx
:
012 112
00
39
0
. Тогда
2
в точке
2
.
1
00 11
,,
xx B xx.
0
(, )zfxx
12
является
и попа-
1
Далее фиксируем точку
x
x
f
f
22
(,)
Bxx и т. д.
2212
1
и спускаемся по координате
1
Получаем сходящуюся последовательность
() () ()...fB fB fB
012
Замечания
1. Метод координатного спуска не применим в случае наличия из-
ломов в линиях уровня, т. е. поверхностей с оврагами и гребнями.
2. Достоинством метода является возможность использования про-
стых алгоритмов одномерной оптимизации.
3. Метод использует только необходимые условия экстремума. Это
может привести к локальному экстремуму.
Отметим, что для приведенной выше сепарабельной
ции
(, ) ( 1) 4( 2)zxy x y линии уровня имели оси, параллельные
22
целевой функ-
главным осям координат. Это облегчает поиск экстремума и сокращает
количество итераций.
Для квадратичной несепарабельной функции оси эллипсов (линий
уровня) расположены произвольно по отношению к координатным
осям. На рис. 3.4, а приведена целевая функция
(, ) 2
xx x x
12 1 2
22
12 1 2
77xx x x , а на рис. 3.4, б – линии уровня.
а б
Рис. 3.4. Целевая функция
(, ) 2 7 7
xx x x x x x x
12 1 2 1 2 1 2
22
40
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]