Презентации и конспект лекции Синицын / Презентации_ВЭиМОвТС / МетодыОптимизации / Лекция4_МетодыОптимиз2порядка
.pdfТема 15 Методы второго порядка
Представление функции вблизи минимума
Матрица Гессе Направление движения к минимуму Метод Ньютона-Рафсона
Метод интерполяции квадратичной формы
05.01.2011 |
1 |
Представление функции вблизи минимума
•Разложим функцию в точке( x 0 , y 0 ) , находящейся вблизи минимума, в ряд Тейлора :
( x x x 0 , y y y 0 )
f x , y f x 0 x , y 0 y |
f x 0 , y 0 x |
f x 0 , y 0 |
|
|
f x 0 , y 0 |
|||||||||||||
|
|
|
|
y |
|
|
||||||||||||
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
x |
|
|
|
|
y |
|
|
1 |
|
|
2 f x 0 , y 0 |
|
|
|
2 f x 0 , y 0 |
|
2 f |
x 0 , y |
0 |
o x 3 , y 3 |
|||||
|
|
x 2 |
|
2 |
x y |
|
|
y |
2 |
|
|
|
|
|
||||
|
x 2 |
|
|
|
y 2 |
|
||||||||||||
2 |
|
|
|
|
|
x y |
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
• Пренебрежем x 3 , y 3
05.01.2011 |
2 |
f x , y F ( x , y ) f x |
0 , y 0 |
|
f x 0 , y 0 |
|
|
|
f x 0 , y 0 |
|
|
|
|
|||||||||||||||||||
x |
|
|
|
y |
|
|
|
|
|
|
|
|
|
|||||||||||||||||
x |
|
y |
|
|
|
|
|
|
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
1 |
|
|
2 |
f |
x 0 , y 0 |
|
|
|
|
|
|
2 f x 0 , y 0 |
|
|
2 f x 0 , y 0 |
|
|
2 |
f |
x 0 , y 0 |
|
||||||||
|
|
x 2 |
|
|
|
|
x |
y |
|
|
|
y x |
|
|
|
y 2 |
|
|
|
|
|
|||||||||
|
|
|
x 2 |
|
|
|
|
|
|
|
|
y 2 |
|
|||||||||||||||||
2 |
|
|
|
|
|
|
|
|
|
|
|
x y |
|
|
y x |
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
f 0 x f x 0 |
|
y f y 0 |
1 |
|
x |
2 |
g1 1 x y g1 2 y |
x g 2 1 y |
2 |
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
2 |
|
|
|
g 2 2 |
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
• Матрица Гессе |
|
2 f |
|
|
|
2 f |
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x 2 |
|
|
|
|
|
|
|
|
|
|||
|
G |
|
|
|
|
x y |
g |
1 1 |
g1 2 |
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 f |
|
|
|
2 f |
|
|
|
|
||
|
|
|
|
|
|
g 2 1 |
g |
2 2 |
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
y x |
|
|
|
y 2 |
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
05.01.2011 |
|
|
|
|
|
|
|
|
|
|
|
|
|
3 |
Направление наилучшего спуска
y
y
y0 |
|
x |
|
d* |
|
|
- F |
|
|
|
|
y* |
|
|
x* |
x |
x |
|
|
0 |
05.01.2011 |
4 |
d * ( x * x |
0 |
, y |
* y |
0 |
) ( d |
* |
, d |
* ) |
|||
|
|
|
|
|
|
|
1 |
|
2 |
||
|
F |
0; |
F |
0 |
|
|
|
|
|
||
|
x |
y |
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
||||
F
f x 0 x g1 1 y g1 2 0; x
F
y f y 0 x g 2 1 y g 2 2 0;
05.01.2011 |
5 |
g |
1 1 |
g |
1 2 |
|
|
x |
|
|
|
|
|
|
|
||||
|
|
|
||||||
|
|
|
|
|
||||
g 2 1 |
g |
2 2 |
|
|
y |
|
||
f
f
x 0
y 0
x
y
d |
* |
|
g |
1 1 |
g |
1 2 |
1 |
f |
||
|
1 |
|
|
|
|
|
|
|||
* |
|
|
|
f |
||||||
d |
|
g 2 1 |
g 2 2 |
|
||||||
2 |
|
|||||||||
|
|
|
|
|
|
|
|
|||
x 0
y 0
05.01.2011 |
6 |
метод Ньютона-Рафсона
x 1 |
x |
0 |
g |
1 1 |
g |
1 2 |
1 |
f |
|||||
|
|
|
|
|
|
|
|
|
|
|
|||
1 |
0 |
|
|
|
f |
||||||||
y |
|
y |
|
g 2 1 |
g 2 2 |
|
|||||||
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
||
x 0
y 0
05.01.2011 |
7 |
В случае n переменных
f x 0 x f x 0 x T f x 0 12 x T G x 0 x o x 3
Т f |
|
|
f |
|
f |
|
f |
|
|
, |
, ... |
|
|||||
|
x1 |
x 2 |
|
|
||||
|
|
|
|
|
x n |
|||
|
2 f |
|
G |
|
|
|
||
|
xi x j |
|
|
|
G x 0 x * f x 0
05.01.2011 |
8 |
Алгоритм Ньютона-Рафсона
x 1 x 0 G 1 x 0 f x 0
•Основной недостаток этого метода заключается в необходимости вычисления матрицы Гессе. Это слишком затратная и некорректная процедура. Поэтому метод Ньютона-Рафсона имеет лишь важное теоретическое значение, как обоснование выбора наилучшего направления спуска.
05.01.2011 |
9 |
Анализ поведения функции в окрестности экстремума
• в точке минимума
|
|
|
|
|
|
|
f x 0* , y 0* |
|
|
f x 0* , y 0* |
0 |
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
0; |
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
x |
y |
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
F ( x , y ) f |
x 0 , y 0 ( x , y ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
2 |
|
x 0 , y 0 |
|
|
|
2 |
|
x 0 , y 0 |
|
|
|
|
2 |
|
x 0 , y 0 |
|
|
2 |
|
x 0 , y 0 |
|
|
|||
|
1 |
x 2 |
|
|
f |
x y |
|
|
f |
y x |
|
|
|
f |
y 2 |
|
|
f |
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
2 |
|
|
x 2 |
|
|
x y |
|
|
|
|
|
|
y x |
|
|
|
|
y 2 |
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
•квадратичная форма Ф>0, положительно
определена
05.01.2011 |
10 |