Лекции / Т5_ДГМ
.pdf
Следует обратить внимание на то, что градиент в начале поиска не |
||
направлен в точку минимума, т.к. коэффициенты при |
|
и , |
характеризующие функцию , различны. |
|
|
Таблица 5.1
Этап |
|
|
|
|
Ž |
|
|
Ž |
|
|
Величина |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
(k) |
|
|
|
|
|
|
|
|
|
очередного шага |
|||
|
|
|
|
|
|
|
|
|
|||||
0 |
2 |
2 |
|
4 |
|
|
100 |
|
~100 |
-0,04 |
-1 |
|
|
1 |
1,96 |
1 |
|
3,92 |
|
50 |
|
50,1 |
-0,078 |
-1 |
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1,88 |
0 |
|
3,76 |
|
0 |
|
|
3,76 |
-1 |
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
3 |
0,88 |
0 |
|
1,76 |
|
0 |
|
|
1,76 |
-1 |
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
4 |
-0,12 |
0 |
|
-0,24 |
|
0 |
|
|
0,24 |
+1 |
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Если нелинейная функция слишком сложная, чтобы ее можно было продифференцировать аналитически, то составляющие градиента аппроксимируются разностными соотношениями.
Например, для функции двух переменных (если разности берутся вперёд):
∂f (x(k) ) ≈
∂x1
∂f (x(k) ) ≈
∂x2
|
f [(x(k) + |
δ |
1 |
), x |
(k) |
]− f [x(k) |
,x |
(k) |
] |
|
||||||
|
1 |
|
|
|
2 |
|
|
1 |
|
|
2 |
|
|
; |
||
|
|
|
|
|
|
δ1 |
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
f [x(k) |
,(x |
(k) |
+ δ |
2 |
)] − f [x(k) |
, x(k) |
] |
|
|||||||
|
1 |
|
2 |
|
|
|
|
1 |
|
|
2 |
|
|
|
, |
|
|
|
|
|
|
|
δ2 |
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
где δi - некоторое малое отклонение.
Основной трудностью при использовании метода наискорейшего спуска является его зависимость от выбора масштаба оптимизируемых переменных.
5.2.2 Метод Ньютона.
75
В методе Коши применяется наилучшая локальная стратегия поиска точки с использованием градиента. Однако движение в направлении противоположном градиенту приводит в точку минимума, лишь в том случае, когда линии равного уровня функции f(x) представляет собой окружности. Т.о. направление противоположное grad не может служить приемлемым глобальным направлением поиска точек оптимума нелинейной функции.Метод Коши требует вычисления значений функции и ее первых производных на каждой итерации.
Для того чтобы построить более общую стратегию поиска, необходимо привлечь информацию не только о первых, но и о вторых переменных целевой функции. В методе Ньютона стратегия поиска экстремума функции f(x) строится на основе разложения целевой функции в ряд Тейлора, в
1
котором все члены разложения выше второго порядка отбрасываются.
> ∆ > …> •∆ 2 ∆•… > ∆
На основе этой аппроксимации сформируем последовательность |
||||||
итераций таким образом, |
чтобы во вновь получаемой |
точке Хк+ |
градиент |
|||
|
… > ∆ … > … > ∆ 0, |
|
||||
аппроксимирующей функции обращался в ноль. |
|
|
||||
|
|
|
|
|
|
|
тогда для приращения |
∆х можно записать: |
|
|
|||
Ž |
|
|
|
|
||
|
|
∆ . ’… > “, · … > ; |
|
|
||
Следовательно, |
для |
оптимизационного метода |
Ньютона |
получим |
||
формулу: |
>+ |
> . … > , · … > , |
|
|
||
|
|
|
|
|
|
|
где … > = • . матрица Гессе, представляющая собой квадратичную матрицу вторых частных производных взятых в точке >
76
|
|
|
|
|
|
|
|
|
Ž > |
|
|
Ž > |
$ |
|
|
|
|
|
|
||
|
|
|
•> |
Ž |
|
|
Ž Ž |
|
|
|
|
|
|
|
|||||||
|
|
|
|
Ž > |
|
|
Ž > |
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Пример: |
рассмотрим |
|
предыдущуюŽ Ž |
задачу,Ž |
в которой |
вновь |
надо |
||||||||||||||
минимизировать функцию |
|
|
|
|
|
25 , |
|
причём |
|
пусть |
по- |
||||||||||
прежнему поиск начинается из точки: 9 2,2 •. |
|
|
|
Ž |
|
|
|||||||||||||||
Ž |
|
|
|
Ž |
|
|
|
|
|
|
Ž |
|
|
|
|
|
|||||
Для вычисления |
нам потребуются значения для следующих выражений: |
||||||||||||||||||||
Ž |
2 |
4; |
|
Ž |
|
50 100; |
Ž |
2; |
Ž |
|
50; |
|
|||||||||
|
|
|
|
|
|
2 |
|
|
1 |
50 |
0 |
4 |
|
0 |
|
|
|
|
|
||
|
|
= ? |
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
=2? . 100 = |
0 |
2? . =100? =0? ; |
|
|
|
|
|||||||||||||
|
… • =0 50? ; |
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
2 0 |
|
H |
−1 = 50 |
0 . |
1 |
. |
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
0 |
2 100 |
|
|
|
|||||||
Таким образом задача минимизации квадратичной функции по методу Ньютона, в не зависимости от выбора начальной точки (из любой начальной точки), решается за один шаг.
77