Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

ВОЕНЫ АЛЛАХА1АЗАЗАЗАЗ / 0_Введение_сент_9_2008

.pdf
Скачиваний:
40
Добавлен:
10.02.2015
Размер:
493.99 Кб
Скачать

О.А. Кашина, А.И. Кораблев

Введение

1. Безусловный минимум функции конечного числа переменных

Пусть

E

пространство,

ры x x1, ...,

n

n -мерное вещественное евклидово

 

элементами которого являются векто- xj , ..., xn , y y1, ..., y j , ..., yn , ... Пусть

на

E

n

задана функция

 

обозначим значение

f . Как обычно, через

функции

f

в точке

f x

x

.

Определение 1. Вектор

 

E

n

x

 

называется

точкой безусловного глобального минимума

функции

f

на

E

n

, если для всех

 

ется неравенство

f

x

 

 

f x .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Обозначим

f

 

f x

 

 

min f x .

 

 

 

 

 

 

 

 

 

 

 

 

 

x E

n

 

 

 

 

 

 

 

 

 

 

 

 

x En

выполня-

(1)

Для краткости

 

будем

использовать

термин

«минимум функции», имея

в виду точку миниму-

ма функции

f

на

E

n

. В литературе по

матема-

 

тическому анализу глобальный минимум также называют абсолютным минимумом.

4

Методы оптимизации: Часть I

Задача поиска

f

 

 

и

x

 

 

называется задачей

безусловной минимизации функции

f

.

Наряду с понятием минимума также существует понятие максимума. Задача максимизации функции f легко сводится к задаче минимизации:

max f x min f x . Понятия «минимум» и

«максимум» объединяются термином «экстре-

мум».

Определение 2. Вектор

 

E

n

x

 

точкой локального безусловного

называется

минимума

функции

 

 

f

на E

няется

 

для

всех

точки

x

 

.

 

 

 

n

,

x

если неравенство (1) выполиз некоторой окрестности

Локальный минимум также называют отно-

сительным

минимумом.

Пусть

функция

f

дифференцируема в точке

n

.

x E

вектор

Градиент

 

f x

, ... ,

 

x

 

 

1

 

функции

f x

,

x

 

 

 

n

 

f

в точке

x

состоящий из

(то есть

первых

частных производных функции f ) будем обозна-

чать через

f

 

x .

 

Теорема 1.

ного минимума

f

определена на

(Необходимое условие безусловпервого порядка) Пусть функция

E n и дифференцируема в точке

x . Тогда для того, чтобы точка x была ло-

5

О.А. Кашина, А.И. Кораблев

кальным безусловным минимумом функции

f

необходимо, чтобы выполнялось равенство

 

f x 0 .

(2)

Условие (2) можно записать покоординатно

как систему равенств

f x

 

 

 

 

 

 

 

x

 

 

 

0,

j

 

 

 

 

 

 

 

j

1, ...,

n

.

Определение 3.

Вектор

x

стационарной точкой функции

f ,

емой в

x , если

 

f

 

x 0 .

 

 

 

 

Таким образом,

 

стационарная

шение

системы

уравнений

 

 

f

x

 

0, j 1, ..., n

 

x

 

 

 

 

j

 

 

 

 

 

 

 

 

 

 

 

E

n

называется

 

дифференциру-

точка – это ре-

.

Точки локального минимума содержатся среди стационарных точек функции. Однако не всякая стационарная точка является точкой минимума. В частности, точки локального максимума и так называемые седловые точки также являются стационарными. Среди стационарных точек могут быть и точки, не являющиеся точками экстремума.

Пусть функция ема в точке x En .

f

дважды дифференциру-

Матрица

6

Методы оптимизации: Часть I

 

 

 

2

f

 

x

 

 

 

 

 

 

 

 

 

 

 

x

2

 

 

 

 

 

 

 

 

 

f

1

 

 

 

2

 

x

 

 

 

 

 

 

 

f x

 

 

x

x

 

 

 

 

 

 

2

 

1

 

 

 

 

M

 

 

 

 

 

 

 

 

 

f

 

x

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

x

x

 

 

 

 

 

 

 

n

 

1

,2 f x

x1 x2

,2 f x

x22

M

,2 f x

xn x2

,... ,

,... , M

,... ,

 

2

f x

 

 

 

 

 

 

x x

 

 

 

1

 

n

 

2

f x

 

 

 

 

 

x x

 

 

 

2

 

n

 

 

 

M

 

 

2

f x

 

 

 

 

 

 

x

2

 

 

 

 

 

 

 

 

 

n

 

 

 

         

,

состоящая из вторых частных

ции

f , называется гессианом

производных функ-

(матрицей Гессе)

функции f

в

Пусть

A

Функция

Ax,

точке x .

– квадратная симметричная матрица.

x

называется квадратичной фор-

мой.

Определение 4. Говорят, что

неотрицательно определена, если

матрица

Ax, x

0

A

при

всех

Ax,

x x

En

0 ,

, и положительно определена, если

x En , x 0 .

Аналогично определяются понятия неполо-

жительно и отрицательно определенных мат-

риц.

Теорема 2. (Необходимое условие безусловного минимума второго порядка) Пусть функция

f определена на E n и дважды дифференцируема в

точке x . Тогда для того, чтобы точка x была локальным безусловным минимумом функции f на

7

О.А. Кашина, А.И. Кораблев

E

n

, необходимо, чтобы матрица

 

отрицательно определена.

f x

 

 

 

 

была не-

Эта теорема позволяет отсеять те из стацио-

нарных точек функции

f , которые не могут быть

точками минимума.

 

Теорема 3. (Достаточное условие безусловного минимума второго порядка) Пусть функция

f определена на

E

n

 

и дважды дифференцируема в

стационарной точке

x

 

. Тогда для

того, чтобы

 

x

 

была

локальным

безусловным

минимумом, до-

 

статочно, чтобы матрица

f

 

 

 

была положи-

 

x

тельно

определена.

 

 

 

 

 

 

 

 

При помощи этого условия можно из стационарных точек, прошедших через «сито» предыдущей теоремы, отобрать точки локального минимума. Оставшиеся точки, а также особые точки функции, которые вместе со стационарными точками объединяются термином «критические» точки, требуют дополнительного исследования. При этом может потребоваться использование производных более высокого порядка.

8

Методы оптимизации: Часть I

2. Условный экстремум

2.1. Основные определения

В предыдущем параграфе рассматривалась задача на безусловный экстремум функции, то есть задача без ограничений на область изменения переменных. Однако во многих проблемах требуется отыскивать экстремум функции с условием, что аргумент может принимать значения только из

некоторого

множества D En .

E

 

, функция

f

Пусть

D

– множество из

n

 

 

 

 

 

 

 

 

определена на

E

n

. Задача минимизации функции

f

 

 

 

 

 

 

 

 

на множестве

D

 

называется задачей

на условный

минимум. При этом множество

D

принято назы-

вать допустимой областью, точки

x D допу-

стимыми, функцию f целевой функцией (кри-

терием)

задачи.

 

 

 

 

 

 

Введем некоторые

определения.

 

 

 

Определение

1.

Точка x D называется

точкой

условного

глобального минимума

функ-

ции f

на множестве D , если для всех

x D

вы-

 

 

полняется

неравенство

f x f x .

 

 

 

Для

краткости

будем использовать

термин

«условный минимум функции», имея в виду точ-

9

О.А. Кашина, А.И. Кораблев

ку минимума функции

f

на D . Обозначим

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

D

 

 

 

 

 

D, f

 

x

 

 

min f

 

x

 

,

 

 

x

: x

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x D

 

 

 

 

f

 

 

 

f

x

.

Определение 2. Точка

точкой

локального условного

ции

f

на

множестве

D ,

 

 

f x

выполняется

для

f x

x

 

D

называется

 

 

минимума функ-

если

неравенство

тех

x D , кото-

рые

сти

принадлежат также некоторой окрестно-

точки

x

 

.

 

Задача поиска

f

 

 

условной минимизации

и x

 

называется задачей

 

функции

f .

Для анализа и решения этой задачи существенно то, как задано множество D . В частности, далее рассмотрим два варианта:

1)допустимая область задана при помощи системы уравнений;

2)допустимая область задана при помощи системы неравенств.

2.2. Правило множителей Лагранжа

Рассмотрим так называемую классическую задачу на условный минимум или задачу с ограничениями в виде уравнений.

Пусть на E n заданы функции

f ,

f , ..., f

m

.

 

 

 

1

 

Положим D x : x En ,

fi x 0,

i 1, ..., m .

 

10

 

 

 

 

 

Методы оптимизации: Часть I

Таким образом, множество D представляет собой

некоторую

поверхность в

E

n

. Для

условной оп-

 

тимизации

наиболее содержательны

случаи, когда

D

– собственное подмножество

E

n

 

.

 

Теперь

определим

F x

f x , ..., f

m

x

 

 

1

 

 

 

запишем

D x : x E

n

 

.

,

на E

n

 

Тогда,

 

 

F(x) 0

вектор-функцию для краткости,

.

Введем

следующую функцию:

 

 

 

 

m

L x, y

f x

y, F x

 

f x yi fi x ,

 

 

 

 

i 1

где y y1, ..., ym . Эта функция n m переменных

называется функцией Лагранжа. Переменные называются множителями Лагранжа.

y

i

 

Теорема 1. (Правило множителей Лагран-

жа) Пусть функции

f , fi ,

i 1, ..., m

непрерывно

дифференцируемы на E n ,

точка x D

такова, что

 

 

 

m

 

 

система векторов fi

x

 

линейно независима.

 

 

 

 

i 1

 

Если

x

 

 

жестве

– локальный минимум функции

f

на мно-

D , то существует вектор

y

 

такой, что

 

 

 

, y

 

0.

 

 

 

(1)

Lx x

 

 

 

 

Согласно определению функции Лагранжа условие (1) можно записать как систему равенств

11

О.А. Кашина, А.И. Кораблев

 

 

 

 

 

 

i

i

 

 

 

 

f

 

 

 

 

 

m

 

 

f

 

 

 

 

 

x

 

 

y

 

x

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i 1

 

 

 

 

 

 

 

0

.

Как использовать эту теорему для отыскания условных экстремумов? Составим систему

 

x

 

 

 

0,

L

 

x, y

 

 

 

 

 

 

 

 

 

 

 

 

Ly x, y 0.

 

 

 

 

 

 

Запишем систему (2) подробнее:

(2)

 

 

 

 

 

 

m

 

i

 

 

 

 

x

 

i

x

0,

f

 

 

 

y

f

 

 

 

 

 

 

 

i 1

 

 

 

 

 

 

f

x 0,

i 1, ..., m.

 

i

 

 

 

 

 

 

 

 

 

 

Она состоит из

n m

уравнений относительно

n m

переменных. Пусть вектор x, y – некото-

рое ее решение.

В этом случае вектор x называ-

ется условно стационарной точкой функции

f .

Таким

образом,

решая

систему (2), мы можем

найти все условно стационарные точки. Среди них содержатся все точки условного локального минимума.

Теорема 2. (Необходимое условие условного минимума второго порядка) Пусть выполнены

все условия теоремы 1 и, кроме того,

функция f

дважды дифференцируема в точке

x

 

. Тогда для

 

того, чтобы x была локальным условным минимумом, необходимо, чтобы матрица f x была неотрицательно определена на подпространстве

12

Методы оптимизации: Часть I

 

 

 

 

i

 

 

 

 

 

H

 

n

,

f x

 

 

,

h

0,

 

h : h E

 

 

i

1, ...,

m

.

Так как это условие является только необходимым, оно позволяет отсеять те из условно стационарных точек, которые не могут быть точками условного минимума.

Теорема 3. (Достаточное условие условного минимума второго порядка) Пусть выполнены все предположения теоремы 2. Тогда для того,

чтобы условно

стационарная точка x была ло-

кальным условным

 

минимумом, достаточно, что-

бы матрица

f

 

 

была положительно опреде-

 

x

лена на подпространстве

H

.

При помощи теорем 2 и 3 можно из условно стационарных точек отобрать точки условного локального минимума. Те же условно стационарные точки, которые не удовлетворяют этим теоремам, требуют дальнейшего исследования.

2.3. Задача нелинейного программирова-

ния

Рассмотрим теперь задачу на условный минимум с ограничениями в виде неравенств. Поло-

жим

D x:

x

n

F( x) 0 .Часто простейшие

E,

ограничения системы неравенств выписывают отдельно. Например, такими ограничениями могут быть ограничения на знак переменных. В этом

13