Моп_Л1_2сем_ПМ.doc из "Лекция 01.doc" и "Лекция 2_1.doc" 2011-2012 учебный год 12 лекц. – ПМ-САУ, 6 лекц.- ИНФ

Предисловие к конспекту лекций 2-го семестра по методам оптимизации

В пределах раздела или лекции нумерация формул – сплошная. При ссылке на формулу другого раздела, номер формулы предваряется номером раздела, например, 3.11. Ссылки на формулы и теоремы из других лекций начинаются с № лекции: Л2.3.11. Ссылки на источники даются внутри каждой лекции. В работе использованы более двух десятков «бумажных» и электронных источников. Многие уже стали классикой жанра у нас и за рубежом. Поэтому считаю полезным и удобным сохранять обозначения каждого из них там, где это не вызывает путаницы.

План конспекта лекций 2-го семестра

Моп_Л1_2сПМ.doc Классификация задач условной оптимизации. Функция Лагранжа.

Моп_Л2_2сПМ.doc Сходимость и обзор непрямых методов.

Моп_Л3_2сПМ.doc* Элементы выпуклого анализа.

Моп_Л4_2сПМ.doc* Конусы релаксационных и возможных направлений.

Моп_Л5_2сПМ.doc* Выпуклое программирование.

Моп_Л6_2сПМ.doc* Линейное программирование и специальные задачи математического программирования.

Моп_Л7_2сПМ.doc Проекция градиента. Метод Кели.

Моп_Л8_2сПМ.doc Приведенный градиент. Методы возможных направлений. Метод Зойтендейка.

Моп_Л9_2сПМ.doc Аппроксимирующее программирование. Обзор.

Моп_Л10_2сПМ.doc* Геометрическое программирование с ограничениями.

Моп_Л11_2сПМ.doc* Декомпозиция задач большой размерности.

Моп_Л12_2сПМ.doc Многокритериальные задачи. Пакеты программ.

В связи с сокращением количества часов для специальностей ИНФ, помеченные «*» лекции могут быть пропущены или отнесены в «консультации» без ущерба для практического применения методов и алгоритмов. Для них остался курс „ad usum ddelphini”. ПМ и СА курс читается в полном объёме. В основном, изложение соответствует источнику:

Сухарев А.Г., Тимохов В.А., Федоров В.В. Курс методов оптимизации. –М. : Наука, 1985. – 341с.

Лекция 1 (и 1-ая консультация, если не успеваю) Классификация задач условной оптимизации. Функция Лагранжа

1. Напомним необходимые сведения из анализа.

Далее x и оба означаютn-мерный вектор-столбец; x^T – строку. Скалярное произведение обозначается как (a,b), либо a^T∙b. ||.|| - норма.

Градиент как линейное локальное приближение.

Скалярная функция f(x), х  Rⁿ (краткая запись f: Rⁿ  R¹ ) называется дифференцируемой в точке х, если найдётся вектор f(x), называемый градиентом функции такой, что

f(x+y)=f(x)+(f(x),y)+о(у),  yRⁿ,

где о(y) обозначается величина, удовлетворяющая соотношению о(y)/0 при  0. Градиент определяется однозначно, при этом . Другие обозначения: gradf(x), f  (x).

Величина называется производной по направлениюy функции f (x) в точке x.

Вторые производные. Квадратичное представление.

Скалярная функция f(x) на Rⁿ называется дважды дифференцируемой в точке x, если она дифференцируема в этой точке и найдется симметричная nn матрица ²f(x), называемая матрицей вторых производных (матрицей Гессе), такая что

f(x+y) = f(x) + (f(x),y) + (²f(x)y,y)/2 + o(||y||²) ,  y  Rⁿ

2. Классификация задач и методов

Ранее мы познакомились с задачами безусловной оптимизации вида

(в дальнейшем, для определенности, min)

и методами их решения, включая численные. Здесь Eⁿ обозначает n-мерное линейное пространство. Если хотят подчеркнуть, что это – обычное вещественное эвклидово пространство, то пишут: Rⁿ

Однако, во многих проблемах требуется отыскивать экстремум функции с условием, что аргумент может принимать значения только из некоторого множества . В литературе также часто используются обозначения:X или   Rⁿ.

Итак, пусть – множество из, функцияопределена на. Задача минимизации функциина множественазываетсязадачей на условный минимум. При этом множество принято называтьдопустимой областью, точки –допустимыми, функцию –целевой функцией (критерием) задачи. Задачу обычно записывают в виде:

Для анализа и решения этой задачи существенно то, как задано множество . В частности, далее рассмотрим два варианта:

1) допустимая область задана при помощи системы уравнений;

2) допустимая область задана при помощи системы неравенств.

Пусть на заданы функции,. Положим. Если определить навектор-функцию, то для краткости, можно писать. Таким образом, множество представляет собой некоторую поверхность в . Для условной оптимизации – собственное подмножество в . Это - так называемаяклассическая задача на условный минимум или задача с ограничениями в виде уравнений.

Если хотя бы одно из ограничений имеет вид неравенства, то говорят о задаче математического программирования. Если хотя бы одна из функций f_i нелинейна, то это – задача нелинейного программирования, в противном случае говорят о задаче линейного программирования (ЗЛП), которая обычно изучается в курсе «исследование операций». Так сложилось исторически. В прикладных курсах, связанных с экономикой, ее часто называют «линейным планированием», а допустимые решения – «планами».

Задачи нелинейного программирования редко можно решить аналити­чески в конечном виде. Большинство методов – численные; их анализу посвящены последующие лекции.

В общем случае численные методы решения задач нелинейного программирования можно разделить на прямые и непрямые.

Прямые методы оперируют непосредственно с исходными задачами оптимизации и генерируют последовательности точек {x[k]}, таких, что f(х[k+1]) < f(x[k]). В задачах на минимум такая последовательность {x[k]} часто называется релаксационной, а сами такие методы – методами спуска.

Математически переход на некотором k-м шаге ( k 0, 1, 2, ...) от точки х[k] к точке x[k+1] можно записать в следующем виде: x[k+l] x[k] + a_kp[k],

где р[k] — вектор, определяющий направление спуска; а_k — длина шага вдоль данного направления. При этом в одних алгоритмах прямых методов точки х[k] выбираются так, чтобы для них выполнялись все ограничения задачи, в других эти ограничения могут нарушаться на некоторых или всех итерациях.

Таким образом, в прямых методах при выборе направления спуска ограни­чения, определяющие допустимую область G, учитываются в явном виде.

Непрямые методы сводят исходную задачу нелинейного програм­мирования к последовательности задач безусловной оптимизации некоторых вспомогательных функций. При этих методах ограничения исходной задачи учитываются в неявном виде.

Далее в этой лекции рассмотрим непрямые методы для задач с ограничениями-равенствами.