Исследование операций и методы оптимизации

f (xk

+ λkdk )

51

+ λdk ).

Положить

= min f (xk

xk+1 = xk

+ λ

k

d

k

.

λ≥0

Шаг 3. Проверка критерия останова.

k = k + 1, → шаг 2.

Да: окончание поиска →

конец.

МК обладает устойчивостью,

.Нет:. при достаточно малом значении λ

k

обеспечивается выполнение

неравенства:

xk

.

f

(

xk+1

)

≤ f

(

)

МК позволяет существенно

уменьшить значение ЦФ (быстро спуститься

на «дно оврага») при

из точек, расположенных на значительных рас

с яниях от точки x

,движениино дальнейшем может произойти «зацикливание». П -

этому МК часто используются совместно с другими градиентными

методами

(например, ме

дом Ньютона) в качестве начальной процедуры.

Недостаток: для некоторых типов функций сходимость может оказаться

медленной. В самом деле, если

λk

минимизирует функцию

то должно быть

dg

(λk )

g(λ) = f (xk

+ λdk ),

k+1

= dk f (x

k

T

f (x

)= 0,

dλ

+ λkdk )= dk

откуда вытекает равенство:

T

dk+1 = 0,

dk

доказывает, что последовательные направления ортогональны. В с у

котороеч ярко вы аженной нелинейности («овражности») ЦФ происходит

«зацикли-

вание» (см. рис. 2.8).

Рис. 2.8 – Метод

траектории спуска

·······················

Пример 2.5

·······················

Методом Коши найти

x0 =

Критерии останова:(

=

+

+

[

]

)xk+1

− xk

≤ ε

ε =

Решение. Вычислим

компоненты градиента:

∂x

+1 =

∂x

(

)

построим первое приближе-

ние: С помощью формулы

− λk

1

=

+

2

=

+

∂f

∂f

Вычислим значение антиградиента в точке

:

=

− λ0

(

)

x1

+

x2

=

+

=

x

2

+

x

1

=

+

=

Выберем λ таким образом, чтобы минимизировать функцию по λ .

−

−f (x0 )=

−

Для решения задачи одномерной оптимизации используем метод равно-

0

0

0

0

0

мерного поиска (табл. 2.3).

−

λ ) (

− λ )+ ( − λ )

f

(λ

) = (

−

λ

) + (

0

0,01

Таблица 2.3 – Значения функции

0,08

0,09

0,1

0,02

0,03

0,04

0,05

0,06

0,07

λ

1700

1157

164

125

324

1040

f

720

389

45

32

629

(λ

)

Из

таблицы 2.3

видно,

что

минимальное

значение функции

наблюдается

при λ

=

.

0Следовательно, координаты новой точки будут равны:

x1 = x0 − λ0 f (x

0 )

=

=

−

−

−

Значение функции в данной точке равно:

xk+1

− xk

≤ ε :

Выполним проверку критерия останова

f (x1 )

=

(−

)2 +

(−

)

+

2

=

xk+1

− xk

2

2

= − −

+

−

=

Условие останова не

выполняется, переходим к следующей итерации.

Вычислим новую точку:

(

)

:1

(

)

Значение антиградиента в точке

(

)

=

− λ

1

2

2

1

(

)

(

)

x +

x

=

−

+

= −

x

+

x

=

+

(−

)

=

Выберем λ таким образом, чтобы минимизировать функцию по λ .

− f (x1 )

=

−

Для решения задачи одномерной оптимизации используем метод равно-

мерного поиска (табл. 2.4).

λ1) (

− λ1)+ (

− λ1)

f (λ1) = − +

λ1) + (− +

0

0,01

Таблица 2.4 – Значения функции

f (λ )

0,08

0,09

0,1

0,02

0,03

0,04

0,05

0,06

0,07

λ

32

25,281

19,51

14,681

10,815

7,891

5,916

4,889

4,811

5,681

7,501

f

(λ )

при

Из таблицы 2.4 видно, что

минимальное

значение функции

наблюдается

λ =

.

1Следовательно, координаты новой точки будут равны:

x2

= x1 − λ1 f

(x1 )

=

=

Значение функции в полученной точке равно:

f x2

−

+

)2

−

2 =

=

(

+

+

Проверим условие останова алгоритма:

(

)

2

2

xk+1 − xk

=

=

(

+ ) + (

−

)

образом решением задачи будет точка

x5

−

=

.

Таблица 2.5 – Результаты выполнения итераций

(

)

+ −

14,648

1

–2

1,6

32

2

0,048

0,96

4 811

2 146

3

–0,275

275

678

758

4

0,022

126

95

332

5

–0,029

0,045

0,012

0,096

·······································································

Несмотря на то, что МК не имеет большого практического значения, он

реализует важнейшие шаги большинства градиентных методов.

2.2.3 Метод Ньютона

Итерационная формула метода Ньютона (МН) имеет вид [2]:

+1

= − 2

(

) −1

(

)

Эта формула есть не что иное, как МН в применении к решению системы

нелинейных уравнений:

∂f (x) =

=

…

∂x

i

················ ····· ········································

В МН и направление, и шаг перемещения фиксированы.

Если

·····························································

( ) строго выпуклая функция, то МН сходится за одну итерацию.

·······················

Пример 2.6

·······················

Методом Ньютона найти

где x0 = [

( ) =

+

+

]

H f

(x) = 2 f (x0 )=

(

)

= (

+

+

)

Используя формулу МН, получаем:

что совпадает с точным решением.144

10

−4

200

−4

16

140

·······································································

Если

x1

= [

]

−

= [ ]

f (x)

не квадратичная, то МН не отличается высоким

быстродействиемфункциянадежностью.

2.2.4 Задача определения параметров регрессии

спрос

Руководитель торговой точки изменял цену на товар и

при каждом значении. Результаты наблюдений представленыфиксировалтабл це 2.6.

построить линейную функцию регрессии вид

′ =

+

, исполь-

Необходимозуя ме наименьших квадратов. Для этого нужно минимизировать

квадрат

разности наблюдаемого значения

и модельного значения

′ =

+

. Полу-

ченная функция имеет вид:

2 + − a − b

2 + − a − b 2

f a b

= − a

− b

→

(

Таблица 2.6 – Данные о спросе

)

)

(

)

(

Цена (

, тыс. руб.)

Спрос (

, тыс. шт.)

2

4

4

6

6

5

Для нахождения параметров

и

используем метод градиентного спуска

α =

, начальная точка [5;5].

Частные производные равны:

− a −

b)+ (

− a − b))= a + b −

∂ f a b = − (( − a

−

b)+ (

∂

∂

f a b = − (

(

− a −

b)+ (

− a −

b)+ (

− a − b))= a + b −

∂

Вычислим

):

координаты

новой

точки

по

итерационной формуле

= − α (

+

−

x1 = −

+

−

=

−

Результаты последующих 6 итераций представлены в таблице 2.7.

Таблица 2.7 – Результаты выполнения итераций

6

№ итерации,

2

4

5

4,006

3,971

3,977

3,977

3,977