Задача выпуклого программирования.

Пусть дана функция и система ограничений:

, где - выпуклые на некотором множестве Rn;

Z - либо выпукла, либо вогнута. Задача выпуклого программирования состоит в отыскании такого решения системы ограничений, при котором целевая выпуклая функция Z достигает минимального значения или вогнутая максимального. (Условие не отрицательности переменных можно считать включенными в систему ограничений).

Пусть ф-ия f(x) диффер‑ма в R_n. Вектор -градиент ф‑ии f(x)

SRn называется направлением спуска для ф‑ии f(x) в т. x, если f(x),s  0 Можно показать, что для зафиксированных x,SR_n, где S- направление спуска, f(x+ts)<f(x)

Теорема: Пусть f(x) – выпуклая и непрерывно-диффер‑ая в пр‑ве R ф‑ия. Тогда для любой пары точек вып‑ся нер‑ва: f(x₂), x_1‑x₂  f(x₁) ‑ f(x₂)  f(x₁), x₁-x₂

Линейное программирование является частным случаем вогнутого.

Выделение задач выпуклого программирования в специальный класс объясняется экстремальными свойствами выпуклой функции:

• локальный минимум выпуклой функции (максимум - вогнутой) является одновременно глобальным;

• выпуклая (вогнутая) функция достигает на замкнутом множестве глобального минимума (максимума).

Если целевая функция Z является строго выпуклой (вогнутой) и если область решений системы ограничений не пуста и ограничена, то задача выпуклого программирования имеет единственное решение.

Минимум выпуклой функции (максимум вогнутой) достигается внутри области решений, если там имеется стационарная точка, или на границе этой области, если внутри нет стационарной точки.

В общем случае множество оптимальных решений задач выпуклого программирования является выпуклым.

69. Методы безусловной минимизации выпуклых функций (метод наискорейшего спуска, метод покоординатного спуска, метод Ньютона)

М н‑во GR_n наз‑ся выпуклым, если x₁,x₂ G и (0,1) выполняется x₁+(1‑)x₂G. Пустое мн-во и мн-во, состоящее из одной точки считаются выпуклыми.

выпуклое не выпуклое

Ф-ия f(x) наз‑ся выпуклой на выпуклом мн-ве GR_n, если x₁,x₂ G, (0,1) выполняется: f(x₁ + (1-)x₂)  f(x₁) + (1-)f(x₂). Ф‑ия наз‑ся строго выпуклой, если неравенство – строгое.

Общая схема алгоритмов безусловной минимизации выпуклой ф‑ии: min f(x), xR_n Для решения поставленной задачи строится последовательность приближений {x_k}, k K={0,1,…} по следующей схеме: x0 – выбирается произвольно (как правило); пусть построена итерационная точка x_k, kK

1. точки x_k строятся в направлении s_k – (направление спуска) для ф‑ии f(x) b полагается x_k+1 = x_k+_ks_k шаговый множитель _k выбирается так, чтобы вып‑сь нерав‑во f(x_k+1) < f(x_k)

2. Если ||x_k+1 - x_k||  , то процедура зак‑ся и в качестве реш‑ия выбирается точка x_k+1

З амечание: направление s_k и шаги _k нужно выбирать так, чтобы либо , либо

Если хотя бы одно из придельных соотношений вып-ся, то метод наз‑ся сходящимся. Все методы безусловной минимизации отличаются друг от друга выбором s_k и _k.

Метод наискорейшего спуска: для решения задачи строится последовательность приближений {x_k}, kK следующим образом:

Произвольно выбирается x₀R_n. Пусть построено приближение x_k. Тогда:

1. вычисляется вектор-градиент f(x_k)

2. если f(x_k) = 0, то x_k – решение задачи. процесс прекращаем; иначе полагается s_k = - f(x_k) – антиградиент

3 . полагается x_k+1 = x_k + _ks_k, где шаг _k выбирается из условия

Т еорема (сходимость метода) Пусть f(x) – выпукла, непрер. диф‑ма в R_n, мн‑во X₀={xR_n: f(x)  f(x₀)} – ограничено и последовательность {x_k} построена по методу наиск. спуска. Тогда

Метод покоординатного спуска заключается в следующем: произвольно выбирается x₀R_n – начальное приближение. На k‑ом шаге:

1 . вычисляется f(x_k) – градиент если f(x_k) = 0, то x_k – решение; процесс прекращаем среди компонент градиента взятых по модулю отыскивается максимальная, напр i=i₀

2 . если , то выбирается если же , то полагается

3. полагается x_k+1=x_k+ _kS_k, где _k – полный шаг.

Этот метод тоже сходящийся.

Метод Ньютона: пусть в добавление к прежним условиям, ф-ия f – дважды непрерывно диффер‑ма.

Метод заключается в следующем: x₀R_n

1. на k­‑ом шаге выч‑ся f(x_k). если f(x_k) = 0, то процесс заканчивается, иначе вычисляется матрица f(x_k) вторых частных производных ф‑ии f в т x_k и полагается S_k=( f(x_k))^-1 f(x_k).\

2. полагается x_k+1=x_k + _kS_k, где _k >0

Замечание: шаг _k может выбираться по разному. В частности можно положить _k=1, или _k – полный шаг или близкий к полному.

Этот метод является сходящимся.