Содержание

Введение

Тема 1. Задачи одномерной безусловной минимизации

1.1. Постановка задачи

1.2. Метод перебора

1.3. Метод поразрядного поиска

1.4. Метод деления отрезка пополам (метод дихотомии)

1.5. Метод Фибоначчи

1.6. Метод золотого сечения

1.7. Метод средней точки

1.8. Метод Ньютона

Тема 2. Задачи многомерной безусловной минимизации

2.1. Необходимые сведения из курса линейной алгебры

2.2. Постановка задачи многомерной оптимизации

2.3. Необходимые сведения из курса математического анализа

2.4. Методы спуска

2.5. Метод градиентного спуска с дроблением шага

2.6. Метод наискорейшего спуска

2.7. Метод сопряженных градиентов

2.8. Метод покоординатного спуска

2.9. Метод Ньютона

Тема 3. Задачи многомерной оптимизации при наличии ограничений. Линейное программирование

3.1. Постановка и классификация задач математического программирования

3.2. Постановка задачи линейного программирования

3.3. Графическое решение ЗЛП

3.4. Симплекс-метод

3.5. Метод искусственного базиса

Указания к выполнению лабораторных работ

Указания к выполнению типового расчета

Краткие сведения о математиках

Список литературы

Введение

Всякая задача, в которой ищется максимум или минимум некоторой функции n действительных переменных f(x₁, x₂, …, x_n), относится к задачам оптимизации. Функция f(x₁, x₂, …, x_n) называется целевой функцией. Если на переменные x_i не наложено ограничений, т. е.  < x_i <, то задача оптимизации называется задачей безусловной оптимизации, в противном случае говорят о задаче условной оптимизации. В силу того, что max f(x₁, x₂, …, x_n) = min(f(x₁, x₂, …, x_n)), всегда можно свести задачу оптимизации к задаче минимизации. Учитывая это, будем в дальнейшем говорить о задаче минимизации функции f(x₁, x₂, …, x_n).

Тема 1. Задачи одномерной безусловной минимизации

1.1. Постановка задачи

Пусть f(x) – действительная функция одной переменной, определенная на множестве X  (, ). Точка x^*  X называется точкой локального минимума f(x) на множестве X, если существует такая -окрестность этой точки, что для всех x из этой окрестности, т. е., если | x  x^*| < , выполняется условие f(x^*)  f(x). Если выполняется условие f(x^*) < f(x), то x^* называется точкой строгого локального минимума. У функции может быть несколько локальных минимумов. Точка x^* X называется точкой глобального минимума f(x) на множестве X, если для всех x  X выполняется условие f(x^*)  f(x). Значение функции f(x^*) называется минимальным значением f(x) на множестве X, Для нахождения глобального минимума необходимо найти все локальные минимумы и выбрать наименьшее значение.

В дальнейшем будем рассматривать задачу нахождения локального минимума.

Известно, что для того, чтобы точка x^* была точкой локального минимума дифференцируемой функции f(x), необходимо, чтобы выполнялось равенство

f '(x^*) = 0. (1.1)

Точка x^*, удовлетворяющая равенству (1.1), называется стационарной точкой. Если функция f(x) дважды дифференцируема, то для того, чтобы стационарная точка x^* была точкой строгого локального минимума, достаточно, чтобы выполнялось неравенство

f ''(x^*) > 0. (1.2)

Если дважды дифференцируемая функция f(x) задана на отрезке [a, b], то можно предложить следующий путь решения задачи нахождения глобального минимума:

1. Найти все стационарные точки на отрезке [a, b] из условия (1.1), т.е. найти корни уравнения f '(x) = 0, принадлежащие отрезку [a, b].

2. Найденные стационарные точки исследовать на выполнение условия (1.2), т.е. из найденных стационарных точек выделить точки локальных минимумов, для которых выполняется неравенство f ''(x) > 0.

3. Сравнить между собой значения f(x) на концах отрезка [a, b] и в точках локальных минимумов. Наименьшему из этих значений соответствует точка глобального минимума f(x) на отрезке [a, b].

Пусть функция f(x) определена на отрезке [a, b]. Функция f(x) называется унимодальной, если на этом отрезке имеется единственная точка x^* локального минимума функции f(x), причем функция строго убывает при x  x^* и строго возрастает при x  x^*. Многие алгоритмы минимизации функции одной переменной построены в предположении, что функция унимодальна на некотором отрезке. Этот отрезок будем называть отрезком локализации точки x^*.

Из определения унимодальной функции вытекает следующее важное свойство. Пусть f(x) унимодальная функция на отрезке [a, b] и a  x₁ < x₂  b. Тогда

если f(x₁)  f(x₂), то x^*  [a, x₂];

если f(x₁) > f(x₂), то x^*  [x₁, b], (1.3)

где x^* – точка минимума f(x) на отрезке [a, b].

Иллюстрация свойства (1.3) представлена на рис 1.1 и 1.2.

Рис. 1.1

Рис. 1.2.

Аналитический метод нахождения минимума функции одной переменной состоит в решении в явном виде уравнения (1.1) и проверке условия (1.2). Однако во многих случаях это или невозможно, или затруднительно. В таких случаях используются численные методы решения. Мы будем рассматривать методы прямого поиска, основанные на построении минимизирующих последовательностей x₁, x₂, …, x_n, …,. Точки x₁, x₂, …, x_n, … называют пробными точками.