82

Тезисы лекций и лабороторных занятий (на основе книги Пантелеева)

1 ИСТОРИЯ РАЗВИТИЯ МЕТОДОВ ОПТИМИЗАЦИИ И ОБЗОР КУРСА 3

1.1 Основные этапы развития теории оптимизации 3

1.2 Обзор курса 7

2 АЛГОРИТМЫ МЕТОДОВ ПОИСКА ЭКСТРЕМУМОВ 10

2.1 Классификация методов программирования 10

2.2 Необходимые и достаточные условия безусловного экстремума (§ 20) 10

3 ТЕОРЕМА КУНА-ТАККЕРА 41

3.1. Предыстория: линейное программирование и принцип и метод Лагранжа 41

3.2. Классификация задач нелинейного программирования 44

3.3. Метод Лагранжа 50

3.4. Банаховы и гильбертовы пространства 53

3.5. Роль выпуклости 54

3.6. Формулировка и доказательство теоремы Куна-Таккера 55

3.7. Минимаксная трактовка задачи на условный экстремум 60

3.8. Минимаксная трактовка задачи на условный экстремум 65

3.9. Теорема Куна-Таккера 71

3.10. Связь теоремы Куна-Таккера с теорией игр и седловыми точками 74

ЛИТЕРАТУРА 76

ПРИЛОЖЕНИЕ 78

1 История развития методов оптимизации и обзор курса

1. Основные этапы развития теории оптимизации

Как это не выглядит странно, но первые задачи по оптимизации не являлись самыми простыми задачами по нахождению минимумов и максимумов обычных функций нескольких переменных :

.

Они относятся к классу конечномерных задач, так как аргумент, состоящий из n вещественных чисел, является вектором конечномерного пространства. Кроме того, в её простейшем варианте, отсутствуют дополнительные условия, которые можно задавать равенствами или неравенствами для других функций, которые называют ограничениями.

А именно, ещё в древней Греции была решена более сложная, связанная с именами Евклида, Архимеда и Аристотеля изопериметрическая задача Дидоны на нахождение фигуры на плоскости с максимальной площадью при заданном периметре. Она относилась к бесконечномерным задачам, так как аргументом являлась функция, т.е. объект, который зависит от бесконечного числа переменных, а оптимизировался определённый интеграл, являющийся функционалом на пространстве функций. Эта задача относиться к вариационным задачам с ограничениями, а не к поиску экстремума функций без ограничений.

Следующим важным моментом развития в районе 1650 года явилась теорема Ферма о том, что в экстремальных точках называемый градиентом вектор частных производных функции равен 0. После этого и ещё до решения задачи нахождения экстремума функции при наличии ограничений Иоганн Бернулли в 1699 году поставил, а затем и получил решение этапной задачи о брахистохроне: кривой, по которой материальная точка в поле силы тяжести спуститься из одной точки в другую, более низкую, точку, за минимальное время. Решение было получено очень быстро, за 1-2-года, и не только Бернулли, но и ещё Эйлером, Лейбницем и анонимным автором, оказавшимся Ньютоном.

Решая эту и подобные вариационные задачи, Эйлер получил обыкновенные дифференциальные уравнения, названные позднее уравнениями Эйлера, которым должно удовлетворять решение. Напомним, что более простые конечномерные задачи поиска экстремума функций имели аргументом конечномерный вектор в . Вариационные задачи связаны с оптимизацией интегралов, имеют аргументами функции, которые, вообще говоря, являются бесконечномерными объектами, определёнными на континууме. Поэтому вариационные задачи относят к бесконечномерной оптимизации, которые в целом, значительно сложнее конечномерной.

Однако вначале учёные занимались вариационными задачами. Правда, метод исследования был основан на рассмотрении конечномерных объектов. А именно, Эйлер заменял интегралы на интегральные суммы, которые уже зависели от конечного числа точек-аргументов, и соответствующая экстремальная задача была уже конечномерной.

Так, для изопериметрической задачи произвольная кривая на плоскости приближалась ломаными, образующими треугольники и многоугольники. И сначала решение искалось для этих многоугольников, которые в пределе давали уравнения Эйлера и соответствующее решение.

Эталонная вариационная задача состоит в минимизации интеграла

среди всех кривых C: , соединяющих две заданные точки.

Для параметрических кривых интеграл соответственно модифицируется

,

при этом должно выполняться условие однородности, унифицирующее параметрическое представление

, .