Основные понятия.

1. X- множество вариантов или допустимое множество.

2. f : XR₁­ - целевая функция.

3. Точка x*X - оптимальная, если выполняется f(x*)=min f(x), xX (­­*).

Если верно (*) для любого xX, то точка x- точка глобального минимума.

Если нет, но существует R₁,  >0 такое что:

f(x)  f(x*), для любого x из - окрестности, то есть ||x-x*||< , то

x* - точка локального минимума.

Надо найти экстремумы функции f на множестве X.

Содержание курса состоит в поисках экстремумов.

Будем искать min f(x), xX , так как max f(x)= - min(-f(x)), xX.

Множество X бывает:

1. Конечным (конечное множество элементов, например графы).

2. Конечномерным (когда совпадает или является подмножеством множества евклидова пространства).

3. Бесконечномерным (не вкладывается в евклидово пространство ,например множество непрерывных функций на отрезке).

Соответствие методов и множеств.

1. Методы решения переборных задач (метод ветвей и границ, динамическое

программирование и др.)

2. Методы решения задач математического программирования

(условная/безусловная минимизация, нелинейное, выпуклое и линейное

программирование).

3. Методы вариационного исчисления и методы оптимального управления

(уравнение Эйлера-Лагранжа, принцип максимума).

1. Безусловная оптимизация (многомерные функции).

min f(x), x = R­ⁿ, то есть минимизация на всем пространстве.

Определение:

Минимизация заданная неравенствами, равенствами и другими ограничениями называется условной.

Пусть:

1. x = Rⁿ (евклидово n-мерное пространство);

2. Функция f дифференцируема хотя бы один раз,

тогда в точке минимума выполняется равенство:

f(x)=0, где

(вектор частных производных по каждому аргументу)

f(x)=

В большинстве случаев это приводит к решению системы нелинейных уравнений, что само по себе проблема. Существуют релаксационные методы, в основе которых лежит построение релаксационной последовательности со следующими свойствами:

1. x_iX,i;

2. f(x₀)>f(x₁)>...;

3. x_ix* = argmin f(x), i, xX.

Это методы нахождения локального минимума (т.е. корня уравнения f(x) =0). Все рассматриваемые методы делятся на несколько групп в зависимости от того, какой максимальный порядок производной функции f используется для вычисления последовательности. Если производные не используются, то методы нулевого порядка, затем -первого и так далее. Мы будем рассматривать порядок не выше второго.

Общая схема безусловной оптимизации

xR_n

x_k+1 = x_k+ t_kS_k , где S_k -вектор, определяющий направление изменения x_k

t_k - скаляр, определяющий длину шага.

S_k может зависеть от xk: Sk = (x_k), а может от x_k-1. В зависимости от этого критические методы делятся на:

• одношаговые ((x_k));

• двухшаговые ((x_k, x_k+1)).

Эти методы имеют основное распространение.

1. Методы первого порядка (градиентные методы)

Для вычисления t и S используются значение функции и первая производная.

Известно, что градиент функции в точке дает направление наибольшего возрастания функции в точке. Направление наибольшего убывания - это направление антиградиента.

Пусть S_k = -f(x_k), t_k - длина шага.