4.2. Свойства выпуклых множеств и выпуклых функций

4.3. Необходимые и достаточные условия безусловного экстремума

Добавил:

Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Национальный исследовательский университет «МИЭТ»

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

Методы оптимизации / Книга_МО.pdf

Скачиваний:

636

Добавлен:

05.06.2015

Размер:

12.36 Mб

Скачать

☆

<<< < Предыдущая 3 4 5 6 7 8 9 10 11 12 13 1415 / 3315 16 17 18 19 20 21 22 23 24 25 26 27 > Следующая >>>

□ Выпишем квадратичную форму

xT H (x) x = (

x ,

= 2

x2 .

)

Очевидно,

xT H (x) x ≥ 0 для любого вектора

xT H (x)

x = 0

для

x = 0 и

любых

x2 ≠ 0 .

Согласно определению,

квадратичная

форма

(матрица

Гессе)

положительно полуопределенная. ■

Пример 4.6. Найти матрицу Гессе функции

f (x) = x2

− x2

и классифицировать

ее.

□ Следуя определению матрицы Гессе, получаем

. Выпишем

H (x) =

− 2

соответствующую ей квадратичную форму

xT H (x) x = ( x , x

= 2 x2

− 2 x2 .

)

− 2

При

x1 = 0 и любых x2 ≠ 0 квадратичная форма отрицательна, а при

x1 ≠ 0 и

x2 = 0 положительна. Квадратичная форма (матрица Гессе) неопределенная. ■

Решение задач минимизации в En , как правило, сопряжено со значительными трудностями, особенно для многоэкстремальных функций. Некоторые из этих трудностей устраняются, если ограничиться рассмотрением только выпуклых

целевых функций.
4.2. Свойства выпуклых множеств и выпуклых функций
Определение.	Пусть	x, y En . Множество точек		вида	{z} En ,
z =α x + (1 −α) y ,	α [0,1] называется отрезком, соединяющим точки x и y .
В пространстве En ,		n ≤ 3 это	соотношение определяет	обычный	отрезок,
соединяющий точки x и y .
Определение. Множество U En			называется выпуклым, если вместе с любыми
точками x и y U	оно содержит и весь отрезок z =α x + (1 −α) y ,			α [0,1] .

Необходимо отметить, что проверка условия выпуклости в большинстве случаев требует громоздких выкладок, поэтому на практике при исследовании выпуклости множества в пространствах E2 и E3 часто прибегают к решениям в графическом виде.

Образно говоря, выпуклыми являются множества, которые не содержат "вмятин", "дырок", и состоят из одного "куска". Примерами выпуклых множеств

являются само пространство En , отрезок, прямая, шар. Множество x2

+ y 2

=1 в E2

не является выпуклым.

Определение.

Функция f (x) , заданная на

выпуклом множестве

U En ,

называется:

− выпуклой, если

для любых точек

x, y U

любого

α [0,1]

выполняется

неравенство

f (α x + (1 −α) y) ≤α f (x) + (1 −α) f ( y) .

(4.3)

− строго выпуклой, если для всех α (0,1) неравенство

(4.3)

выполняется как

строгое

f (α x + (1 −α) y) <α f (x) + (1 −α) f ( y) .

(4.4)

− сильно выпуклой, с константой l > 0 ,

если для любых точек

x, y U и любого

α [0,1] выполняется неравенство

f (α x + (1 −α) y) ≤α f (x) + (1 −α) f ( y) −

α (1 −α)

x − y

2 .

(4.5)

Необходимо обратить внимание на следующее.

1. Функцию f (x) называют выпуклой, если ее график целиком лежит не выше отрезка, соединяющего две ее произвольные точки. Функцию называют строго выпуклой, если ее график целиком лежит ниже отрезка, соединяющего две ее произвольные, но не совпадающие точки.

2.Если функция сильно выпуклая, то она одновременно строго выпуклая и выпуклая. Если функция строго выпуклая, то она одновременно выпуклая.

3.Выпуклость функции можно определить по матрице Гессе:

− если H (x) ≥ 0	для любого x En , то функция выпуклая,
− если H (x) > 0	для любого x En , то функция строго выпуклая,
− если H (x) ≥ l E для любого x En , где E − единичная матрица, то функция

сильно выпуклая.

Пример 4.7. Исследовать на выпуклость функцию f (x) = x2 , определенную на множестве U ={x [−1, 1]}.

□ Функция является строго выпуклой, так как ее график целиком лежит ниже отрезка, соединяющего две ее произвольные, но не совпадающие точки. Более

того, функция		является сильно выпуклой, так как выполняется условие
′′	≥l	при 0 < l ≤ 2 . ■
H (x) = f (x) = 2

Пример 4.8. Исследовать на выпуклость функцию f (x) = x , определенную на множестве U ={x [0, 1]}.

□ Функция является выпуклой, так как ее график целиком лежит не выше отрезка, соединяющего две ее произвольные точки, но не является строго

выпуклой и тем более сильно выпуклой. ■
Пример 4.9. Исследовать на выпуклость функцию	f (x) = x2	+ x2		, определенную
	1		2
на множестве E2 .
□ Матрица Гессе функции удовлетворяет условию H (x) =		2	0		1	0	при
□ Матрица Гессе функции удовлетворяет условию H (x) =					≥ l		при
						1
		0	2		0	1

0 < l ≤ 2 . Следовательно, эта функция сильно выпукла. Одновременно она является строго выпуклой и выпуклой. ■

В дальнейшем часто используются следующие свойства выпуклых функций. 1. Если f (x) выпуклая функция на выпуклом множестве U , то всякая точка

локального минимума является точкой ее глобального минимума на U .

2.Если выпуклая функция достигает своего минимума в двух различных точках, то она достигает минимума во всех точках отрезка, соединяющего эти точки.

3.Если f (x) строго выпуклая функция на выпуклом множестве U , то она

может достигать своего глобального минимума на U не более чем в одной точке.

Первый способ. Матрица Гессе имеет вид

Необходимые условия экстремума первого порядка. Пусть x En есть точка

локального минимума (максимума)			функции f (x)		на множестве	En и f (x)
дифференцируема в точке x . Тогда градиент функции					f (x) в точке x равен нулю
		)	=	0 ,		(4.6)
или	f (x	)		0 ,
или						(4.7)
∂f (x	) = 0,		i =1, ..., n .			(4.7)


∂xi
Точки x , удовлетворяющие			условию (4.6)		или (4.7),	называются
стационарными.

Необходимые условия экстремума второго порядка. Пусть x En есть точка

локального минимума (максимума) функции		f (x) , определенной на множестве En
и функция f (x) дважды	дифференцируема	в этой точке. Тогда матрица Гессе
H (x ) функции f (x) ,	вычисленная в	точке x , является положительно

полуопределенной (отрицательно полуопределенной), т.е. H (x ) ≥ 0 , ( H (x ) ≤ 0 ).

Достаточные условия экстремума. Пусть функция f (x) в точке x En

дважды дифференцируема, ее градиент равен нулю, а матрица Гессе является положительно определенной (отрицательно определенной), т.е.

	)	=	0	и	H (x	)	>	0 , ( H (x	)	<	0 ).	(4.8)
f (x
Тогда x − точка локального минимума (максимума) функции f (x)												на En .

Проверка выполнения условий экстремума. Рассмотрим матрицу Гессе,

составленную для стационарной точки x

	h	h	...	h
	11	12		1n
H (x	h21	h22	...	h2n
H (x	) =		...	...	.
	... ...		...	...
	hn1	hn2	...	hnn

Угловыми минорами k -го порядка матрицы размера n ×n , где k ≤ n называются определители, составленные из элементов исходной матрицы, стоящих в ней на пересечении k верхних строк и k левых столбцов.

Главными минорами m -го порядка матрицы размера n ×n , где m ≤ n называются определители, составленные из элементов исходной матрицы, оставшихся после вычеркивания в ней любых (n − m) строк и (n − m) столбцов с одинаковыми номерами.

Существуют два основных способа проверки выполнения условий экстремума. Первый способ связан с исследованием положительной или отрицательной определенности угловых и главных миноров матрицы Гессе. Второй способ основан на анализе собственных значений этой матрицы.

В первом случае, при анализе знаков угловых и главных миноров матрицы Гессе, доказаны и обычно используются на практике два критерия − проверки достаточных и необходимых условий второго порядка. Приведем их без доказательства.

Критерий Сильвестра проверки достаточных условий экстремума

1. Для того, чтобы матрица Гессе	H (x ) была положительно определенной
( H (x ) > 0 ) и стационарная точка x	являлась точкой локального минимума,

необходимо и достаточно, чтобы знаки угловых миноров были строго положительны

(	1 > 0,	2 > 0, ...,		n > 0).
2. Для того, чтобы матрица Гессе			H (x )	была отрицательно определенной
( H (x ) < 0 ) и стационарная	точка	x	являлась точкой локального максимума,

необходимо и достаточно, чтобы знаки угловых миноров чередовались, начиная с отрицательного

( 1 < 0, 2 > 0, 3 < 0, ..., (−1)n n > 0).

Критерий проверки необходимых условий экстремума второго порядка

1. Для того, чтобы матрица Гессе H (x ) была положительно полуопределенной

( H (x ) ≥ 0 ) и стационарная точка x может быть являлась точкой локального

минимума, необходимо и достаточно, чтобы все главные миноры определителя матрицы Гессе были неотрицательны

( 1 ≥ 0, 2 ≥ 0, ..., n ≥ 0).

2. Для того, чтобы матрица Гессе H (x ) была отрицательно полуопределенной

( H (x ) ≤ 0 ) и стационарная точка x может быть являлась точкой локального

максимума, необходимо и достаточно, чтобы все главные миноры четного порядка были неотрицательны, а все главные миноры нечетного порядка − неположительны

( 1 ≤ 0, 2 ≥ 0, 3 ≤ 0, ..., (−1)n n ≥ 0).

Второй способ проверки условий экстремума связан с анализом собственных значений матрицы Гессе и применим только в случае, если эти значения удается вычислить.


Определение.	Собственные			значения λi , i =1, ..., n			матрицы	H (x ) размера
n ×n находятся	как корни		характеристического уравнения (алгебраического
уравнения n - й степени)		H (x ) − λE			= 0 .
уравнения n - й степени)		H (x ) − λE			= 0 .
Необходимо	отметить,			что		собственные	значения	вещественной
симметрической матрицы H (x )				вещественны.

Если собственные значения матрицы Гессе вычислены, то дальнейшая проверка условий экстремума не составляет затруднений. Приведем в виде таблицы порядок применения двух способов, позволяющих установить достаточные условия экстремума и необходимые условия второго порядка при соблюдении необходимых условий первого порядка f (x ) = 0 (табл. 4.1).

Критерии проверки достаточных и необходимых условий второго порядка при поиске безусловного экстремума. Таблица 4.1.

№	H (x )	Условия	Первый способ

1	> 0	Достаточные	1	> 0,		2 > 0,...,
		условия экстремума		> 0
			n	> 0

2	< 0	Достаточные	1 < 0,			2 > 0, 3 < 0, ...,
		условия экстремума	(−1)n		n	> 0

3	≥ 0	Необходимые условия	Все главные миноры
		экстремума второго	определителя матрицы
		порядка	H (x ) неотрицательны

4	≤ 0	Необходимые условия	Все главные миноры
		экстремума второго	четного порядка ≥ 0 ,
		порядка	нечетного порядка≤ 0 .

5	= 0	Необходимые условия	Матрица Гессе состоит
		экстремума второго	из нулевых элементов
		порядка
6	> 0, < 0	Необходимые условия		Не выполняются
		экстремума второго			условия 1-5.
		порядка

Второй способ		Тип
		стационарной
		точки x
λ1 > 0,..., λn	> 0	Локальный
		минимум
λ1 < 0,..., λn	< 0
λ1 < 0,..., λn	< 0	Локальный
		максимум
λ1 ≥ 0,..., λn	≥ 0
λ1 ≥ 0,..., λn	≥ 0	Может быть
		локальный
		минимум,
		требуется
		дополнит.
λ1 ≤ 0,..., λn	≤ 0	исследование
λ1 ≤ 0,..., λn	≤ 0	Может быть
		локальный
		максимум,
		требуется
		дополнит.
		исследование
λ1 = 0,..., λn	= 0
λ1 = 0,..., λn	= 0	Требуется
		дополнит.
		исследование
λi имеют разные		Нет экстремума
знаки

Алгоритм решения задачи следующий.

Шаг 1. Записать необходимые условия экстремума первого порядка и найти стационарные точки x в результате решения системы n в общем случае нелинейных алгебраических уравнений с n неизвестными. Для численного решения системы могут использоваться методы простой итерации, Зейделя, Ньютона.

Шаг 2. В найденных стационарных точках x проверить выполнение достаточных условий, а если они не выполняются, то необходимых условий второго порядка с помощью одного из двух способов (табл. 4.1).

Шаг 3. Вычислить значения f (x ) в точках экстремума.

Необходимо обратить внимание на следующее.

1.Если требуется определить глобальные экстремумы, то они находятся в результате сравнения значений функции в точках локальных экстремумов с учетом ограниченности функции на En .

2.Для функции одной переменной f (x) можно воспользоваться следующим правилом, заменяющим операции на шаге 2.

Если f (x) и ее производные непрерывны, то		точка x является точкой
экстремума тогда и только тогда,	когда m − четное,	где m − порядок первой не
обращающейся в нуль в точке x	производной. Если	f (m) (x ) > 0 , то в точке x −
локальный минимум, а если f (m) (x ) < 0 , то в точке		x − локальный максимум.
Если число m нечетное, то в точке x нет экстремума.

3. Часто на практике при применении численных методов поиска экстремума требуется проверить, выполняются ли необходимые и достаточные условия экстремума в некоторой точке. Такая проверка необходима, так как многие численные методы позволяют найти лишь стационарную точку, тип которой

требует уточнения.

Пример

4.10.

Найти экстремум функции

f (x) = x2

+ x2 ,

определенной

на

множестве E2 .

□ 1. Запишем необходимые условия экстремума первого порядка

∂f (x)

= 2x = 0;

∂f (x)

= 2x

= 0 .

∂x2

∂x1

В результате решения системы получаем стационарную точку x

= (0, 0)T .

2. Проверим выполнение достаточных условий экстремума.

Первый

способ.

Матрица Гессе

имеет

как

вид H (x ) =

. Так

= h = 2 > 0,

= 4 > 0 , то в точке x локальный минимум (строка 1 табл.

4.1).

Второй способ. Найдем собственные значения матрицы Гессе					2 − λ	0
							= 0 .
					0	2 − λ
Отсюда	(2 − λ)2 = 0, λ = λ		2	= 2 > 0 . Так как все собственные		значения
	1
положительны, то в точке		x		локальный минимум (строка 1 табл. 4.1). Так как

H (x ) > 0 , то функция строго выпукла на множестве E2 . Поэтому точка локального минимума является и точкой глобального минимума.

3. Вычислим значение функции в точке глобального минимума f (x ) = 0 . ■

Пример 4.11. Найти экстремум функции f (x) = x2

− x2 на множестве E

□ 1. Запишем необходимые условия экстремума первого порядка

∂f (x)

= 2x = 0;

∂f (x)

= −2x

= 0 .

∂x2

∂x1

В результате решения системы получаем стационарную точку x = (0,

0)T .

2. Проверим выполнение достаточных условий экстремума и необходимых

условий второго порядка.

Первый способ.

Матрица Гессе

имеет вид

Так

как

H (x ) =

− 2

= h = 2 > 0,

= −4 < 0 , то

достаточные условия

экстремума

не

− 2

выполняются (строки 1 и 2 табл. 4.1). Проверим выполнение необходимых условий

второго порядка. Главные миноры первого порядка					(m =1) получаются из 2 в
результате	вычеркивания		n − m = 2 −1 =1 строк	и	столбцов с одинаковыми
номерами,	а их значения равны соответственно −2			и	2 . Главный минор второго
порядка получается из		2	в результате вычеркивания n − m = 0 строк и столбцов и
совпадает	с 2 = −4 .	Отсюда следует, что необходимые условия экстремума

второго порядка не выполняются (строки 3 и 4 в табл. 4.1). Так как матрица Гессе не является нулевой, то делаем вывод, что в точке x экстремума нет (строка 6 в

табл. 4.1).

Второй способ. Найдем собственные значения матрицы Гессе:	2 −	λ	0
Второй способ. Найдем собственные значения матрицы Гессе:	2 −	λ	0	= 0 .
	0		− 2 − λ

Отсюда (2 − λ)(−2 − λ) = 0, λ1 = −2 < 0, λ2 = 2 > 0 , т.е. собственные значения имеют

разные знаки. Поэтому точка x не является точкой минимума или максимума (строка 6 в табл. 4.1).

3. Так как экстремума нет ни в одной точке, значение f (x ) не вычисляется. ■

Пример 4.12. Найти экстремум функции	f (x) = x2	+ x4	, определенной на
	1	2

множестве E2 .

□ 1. Запишем необходимые условия экстремума первого порядка

∂f (x) = 2x = 0;	∂f (x) = 4x3	= 0 .
1	2
∂x1	∂x2

Врезультате решения системы получаем стационарную точку x = (0, 0)T .

2.Проверим выполнение достаточных условий второго порядка. Матрица Гессе

имеет вид	2		0			2		0	. Так как		= h = 2 > 0,		=	2	0	= 0	, то
	2		0			2		0						2	0
	H (x ) =				2	=				1		2
		0	12x				0	0		1	11	2		0	0
		0	12x	2			0	0						0	0

достаточные условия экстремума не выполняются. Проверим выполнение необходимых условий экстремума второго порядка. Аналогично решению предыдущего примера получаем значения главных миноров первого порядка, соответственно 2 и 0 и главный минор второго порядка 0. Так как все главные

миноры неотрицательные, то в

точке x

может быть

минимум

требуется

дополнительное исследование.

3. Вычислим значение целевой функции в стационарной точке

f (x ) = 0

рассмотрим ε -окрестность точки x , а также поведение

функции

f (x)

на

множестве E2 . При

любых x E2 имеем

f (x) ≥ f (x ) = 0 .

Поэтому

точка

является точкой глобального минимума. ■

Пример 4.13. Найти экстремум функции

f (x) = −x2 − x

2 − x2

− x + x x

+ 2x

на

E3 .

□ 1. Запишем необходимые условия экстремума первого порядка

∂f (x)

= −2x −1 + x

= 0,

∂f (x)

= −2x

+ x = 0,

∂f (x)

= −2x

+ 2 = 0 .

∂x2

∂x3

∂x1

результате

решения

системы

получаем

стационарную

точку

x = (− 2

, − 1 , 1)T .

2. Проверим выполнение достаточных условий экстремума.

1 = −2 < 0, 2

− 2

= 4 −1 =3 > 0,

= (−2) 3 = −6 < 0

т.е.

знаки

угловых

− 2

миноров чередуются, начиная с отрицательного, то

−

точка

локального

максимума.

Второй способ. Найдем собственные значения матрицы Гессе

det (H − λE) =

− 2 − λ

= 0 .

− 2 − λ

Отсюда (−2 − λ)[(− 2 − λ)2

−1]= 0

− 2 − λ

и λ1 = −2 < 0,

λ2 = −1 < 0,

λ3 = −3 < 0 .

Так как все

собственные значения матрицы

Гессе отрицательны, то в точке x локальный

максимум.

3. Вычислим значение функции в точке локального максимума

f (x ) =

. ■

Пример 4.14. Найти экстремум функции f (x) = x3

+ x3

−3x x

на E

□ 1. Запишем необходимые условия экстремума первого порядка

∂f (x) = 3x2 −3x

= 0;

∂f (x) = 3x2

−3x = 0 .

∂x1

∂x2

Решая систему, найдем стационарные точки x

= (0, 0)T ; x = (1, 1)T .

2. Проверим выполнение достаточных условий второго порядка.

Первый способ.

−

−3

Матрица Гессе имеет вид H (x ) =

при

−3 6x2

−3 0

x = x . Так как

= h = 0,

−3

= −9,

то достаточные условия экстремума

−3

не выполняются. Проверим выполнение необходимых условий экстремума второго порядка. Главные миноры первого порядка равны 0, главный минор второго порядка равен -9. Необходимое условие второго порядка не выполняется,

следовательно, в точке

= (0, 0)T

экстремума быть не может.

В точке

= (1, 1)T

матрица

Гессе

имеет

вид

−3

Так

как

H (x ) =

−3 6x2

−3 6

= h = 6 > 0,

−3

= 27 > 0,

то выполняются достаточные

условия,

−3

следовательно,

x2 = (1, 1)T

− точка локального минимума.

Второй

способ.

Найдем

собственные

значения

матрицы Гессе

в точке

= (0, 0)T :

det (H −λE) =

−λ

−3

= 0 ,

откуда

λ = −3, λ

= 3 . Так как собственные

−3

−λ

значения имеют разные знаки, экстремума нет.

Найдем собственные значения матрицы Гессе в точке x2 = (1, 1)T :

det (H − λE) =	6 − λ	−3	= 0 , откуда λ = 3, λ	2	= 9 . Так как все собственные

	−3	6 − λ	1

значения положительны, следовательно, x2 = (1, 1)T − точка локального минимума.

3.Вычислим значение функции в точке локального максимума:

f (x2 ) = −1 . ■

Пример 4.15. Найти экстремум функции

f (x) = 5x6

−36x5 +

165 x4 −60x3

+36

на

E1 .

□ 1. Выпишем необходимое условие экстремума первого порядка

d f (x)

= 30x5

−180x 4

+ 330x3

−180x 2

= 30x 2 (x −1)(x − 2)(x − 3) = 0.

d x

Отсюда получаем стационарные точки x = 0, x =1, x = 2, x = 3.

2. Проверим выполнение достаточных условий экстремума

d 2 f (x)

=150x4

− 720x3

+ 990x2

−360x ,

d x2

f ′′(x1 ) = 0, f ′′(x2 ) = 60 > 0, f ′′(x3 ) = −120 < 0, f ′′(x4 ) = 540 > 0 ,

поэтому в точках

x2 ,

x4 − локальный минимум, а

в точке x3 − локальный

максимум. В точке

достаточные условия не выполняются,

поэтому вычислим

третью производную

′′′

− 2160x

+1980x −360 ,

′′′

(x) = 600x

(x1 ) = −360.

Так как эта производная отлична от нуля и имеет нечетный порядок, то в точке

экстремума нет.

3. Вычислим значения экстремумов функции f (1) =

; f (2) = −108; f (3) =

531

. ■

<<< < Предыдущая 3 4 5 6 7 8 9 10 11 12 13 1415 / 3315 16 17 18 19 20 21 22 23 24 25 26 27 > Следующая >>>

Соседние файлы в папке Методы оптимизации

#
05.06.2015221.03 Кб93lab3 2011.pdf
#
05.06.2015244.77 Кб91lab4 2011.pdf
#
05.06.2015156.31 Кб66lab5 2011.pdf
#
05.06.201547.51 Кб45Вопр к экз МО МП-5М .pdf
#
05.06.201549.75 Кб47Вопросы к экз МО 11.pdf
#
05.06.201512.36 Mб636Книга_МО.pdf
#
05.06.201564.28 Кб51Контр вопрос к главе 4.pdf
#
05.06.201572.61 Кб52Контр вопрос к лаб раб 1.pdf
#
05.06.201566.38 Кб47Контр вопрос к лаб раб 2.pdf
#
05.06.201578.05 Кб44Контр вопрос к лаб раб 3.pdf
#
05.06.201572.89 Кб45Контр вопрос к лаб раб 4.pdf