9.0 Методы безусловной оптимизации. Введение

Решение многих теоретических и практических задач сводится к отысканию экстремума скалярной функции f(x) n-мерного векторного аргумента x.

Под x будем понимать вектор-столбец:

Вектор-строка получается путем транспонирования:

Оптимизируемую функцию f(x) называют целевой функцией, или критерием оптимальности.

В дальнейшем без ограничения общности будем говорить об отыскании минимума функции f(x)

f(x) → min.

Вектор x*, доставляющий минимум целевой функции, называют оптимальным.

Задачу максимизации можно заменить эквивалентной задачей минимизации и наоборот.

Рассмотрим это на примере функции одной переменной. Если x* – точка минимума функции y = f(x), то для функции y = –f(x) она – точка максимума. Т. е. min f(x) = –max (–f(x)) (рис. 9.1).

Рис. 9.1. Экстремумы

Сказанное справедливо и для функции многих переменных:

min (f(x₁, …, x_n )) = –max (–f(x₁, …, x_n )).

Так что далее речь будет идти только о минимизации.

Точка x* доставляет глобальный минимум функции одной переменной f(x), заданной на числовой прямой X, если x*X и f(x*)  f(x) для всех x  X.

Точка x* называется точкой строгого глобального минимума, если неравенство выполняется как строгое.

Если же в выражении f(x*)  f(x) равенство возможно при x  x*, то реализуется нестрогий минимум, а под решением понимают множество x* = {x  X: f(x) = f(x*)} (рис. 9.2).

Рис. 9.2. Глобальный минимум: а – строгий; б – нестрогий

Точка x*  X доставляет локальный минимум функции f(x) на множестве X, если при некотором, достаточно малом  > 0 для всех x  x*, x*  X, удовлетворяющих условию |x – x*|  , выполняется неравенство f(x*)  f(x).

Если неравенство строгое, x* является точкой строгого локального минимума.

Все определения для максимумов функции получаются заменой знаков в неравенствах на обратные.

На рис. 9.3. показаны экстремумы функции одной переменной f(x) на отрезке [a, b].

Рис. 9.3. Экстремумы функции. Точки x1, x3, x5 – локальные максимумы; точки x4, x6 – локальные минимумы; точка x2 – глобальный минимум; точка x7 – глобальный максимум

Проиллюстрируем трудности оптимизации на примере очень простых функций.

Минимумы любого типа отсутствуют, когда функция не ограничена снизу	f(x) = x
Даже если она ограничена снизу, минимум может отсутствовать	f(x) = e –x
Возможно бесконечное число локальных и глобальных минимумов	f(x) = sin x
Возможно бесконечное число локальных и ни одного глобального минимума	f(x) = x + 2sinx
Если функция или ее производная разрывна, ситуации могут быть очень своеобразные: глобальный минимум есть, а локального нет! В точке минимума производная !
В точке x = 0 производная , а минимума нет	f(x) = x3
Седловая точка функции двух переменных – по одной переменной достигнут максимум, по другой – минимум	z(x, y) = x2 – y2