МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ

Государственное бюджетное образовательное учреждение высшего образования «УЛЬЯНОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ»

Факультет математики , информационных и авиационных технологий

Кафедра прикладной математики

Д. Р. Воденин Численные методы оптимизации Учебно-методическое пособие

Ульяновск 2016

УДК 519.83

ББК 22.183.41 я73

В 63

Печатается по решению Ученого совета факультета математики, авиационных и информационных технологий Ульяновского государственного университета (протокол № от )

Рецензент:

А. Ю. Богданов ‑ к.ф.-м.н., доцент

Воденин Д. Р.

В 63 Численные методы оптимизации : учебно-методическое пособие / Д. Р. Воденин. – Ульяновск : УлГУ, 2016. ‑ 62 с.

В учебно-методическом пособии представлены численные методы одномерной оптимизации, многомерной оптимизации без ограничений и многомерной оптимизации с ограничениями.

Пособие предназначено для студентов направления математика и информатика, изучающих дисциплину методы оптимизации, факультета математики, информационных и авиационных технологий.

ã Воденин Д. Р., 2016

ã Ульяновский государственный университет, 2016

Оглавление

Оглавление 3

Глава 1. Одномерная оптимизация 14

Глава 2. Многомерная оптимизация без ограничений 25

2.1. Основные понятия 25

- n- мерное евклидово пространство. Точки этого пространства будем обозначать: 25

.При этом . 25

Норму вектора будем обозначать так: 25

25

Нам требуется найти такой вектор 26

(2.1) 26

Напомним, что задача поиска максимума функции сводится к задаче поиска минимума путем замены знака перед функцией на противоположный. 26

(2.2) 26

Заметим, что определения 1-5 в многомерном случае сохраняются, при этом вместо модуля понимается норма.(именно поэтому мы взяли такое обозначение нормы в многомерном случае). 26

Определение 8. Поверхностью уровня функции называется множество точек, в которых функция принимает постоянное значение, 26

(2.3) 26

(2.4) 27

(2.5) 27

(2.6) 27

2.2. Классический подход. 28

(2.7) 28

Точки, удовлетворяющие соотношению (2.7) называются стационарными. 29

29

Теоремы 6 и 7 дают необходимые условия существования экстремума функции нескольких переменных. Теперь мы рассмотрим достаточные условия существования экстремума. 29

. Тогда является точкой локального минимума. 29

2.3. Классификация численных методов поиска экстремума функции нескольких переменных без ограничений 30

При этому 30

2.4. Метод покоординатного спуска 32

Данный метод является одним из самых простых. Основная идея метода заключается последовательном просмотре каждой координаты, и движении в том случае, если значение функции в данном направлении уменьшается. 32

Итак, делаем шаг вправо по первой координате. Если значение функции в полученной точке меньше, чем в исходной, то переходим в новую точку. Если же больше, то делаем шаг влево по этой же координате. Если значение функции в полученной точке меньше, чем в исходной, то переходим в новую точку. Если же оно снова больше или равно, то первая координата не меняется. 32

После этого переходим ко второй координате и делаем для нее все тоже самое. 32

Если после прохода по всем координатам перешли в другую точку, то повторяем для нее все сначала. Если же после прохода по всем координатам точка не изменилась, то уменьшаем шаги по тем, координатам, по которым они больше заданной точности. Метод заканчивает работу, когда шаги по всем координатам будут меньше заданной точности. 33

При этом есть модификации метода, когда шаги по каждой координате одинаковы и когда эти шаги разные. Мы рассмотрим второй случай, так как первый является частным случаем второго. 33

Введем обозначения - единичные орты по каждой координате. 33

Приведем алгоритм метода покоординатного спуска. 33

Алгоритм 34

1. Задать: начальную точку ;точность ;шаги по координатам 34

;коэффициент уменьшения ; 34

2. а) Если то ; 34

б) Если то ;иначе 34

в) ; 34

3. Если ; то ; на 2; иначе 34

4. Если то на 2;иначе 34

5. Если ; то ;конец; иначе 34

Если то на 2 34

Следует отметить главный недостаток данного метода. Если значения шагов по координатам уменьшилось, а до точки минимума еще далеко, то метод будет работать медленно из-за малой величины шагов по координатам. И чем меньше эти щаги, тем хуже работает метод. Ниже мы рассмотрим метод, который в какой-то степени исправляет этот недостаток. 34

2.5. Метод Хука и Дживса(метод конфигураций) 34

Метод Хука и Дживса представляет собой комбинацию исследовательского поиска(реализованной в методе покоординатного спуска) и ускоряющего поиска по образцу. Исследовательский поиск ориентирован на выявление локального поведения целевой функции и определения направления убывания ее вдоль «оврагов». Полученная информация используется при поиске по образцу при движении вдоль «оврагов». 34

Алгоритм 35

1.Задать: начальную точку ;точность ;шаги по координатам 35

;коэффициент уменьшения ;коэффициент ускорения ; 35

2.Осуществить исследовательский поиск 35

а) Если то ; 35

б) Если то ;иначе 35

в) ; 35

3. a)Если ; то ; на 2; иначе 35

б) Если то на 4;иначе 35

на 5. 35

4. Провести поиск по образцу. 35

35

на 2. 35

5. Если ; то ;конец; иначе 35

Если то на 2 35

2.6. Метод наискорейшего спуска 35

Основная идея метода заключается в том, чтобы осуществлять оптимизацию в направлении наискорейшего спуска, а это направление задаётся антиградиентом, то есть направлением противоположным градиенту в данной точке. Поиск шага в этом направлении осуществляется с помощью одного из методов одномерной минимизации. В простейших случаях можно использовать классический подход, но, как правило, приходится использовать численный метод. Обычно в качестве такового выбирают метод «золотого» сечения. 35

Алгоритм 36

1.Задать: начальную точку ;точность ; 36

2.Вычислить ;; 36

3.Если , то ;конец;иначе 36

4. Находим 36

5. 36

6.переход на 2. 36

Теорема 10. Пусть функция дифференцируема и ограничена снизу на пространстве а ее градиент удовлетворяет условию Липшица 36

. (2.13) 36

Тогда при произвольной начальной точке последовательность точек , построенная методом наискорейшего спуска, обладает свойством . 36

Следует отметить, что теорема, гарантирует сходимость последовательности точек к стационарной точке. Поэтому найденная в результате применения метода наискорейшего спуска точка нуждается в дополнительном исследовании. 36

2.7. Метод Флетчера-Ривса 36

Метод Флетчера и Ривса (Fletcher R.,Reeves C.M.) основан на том, что для квадратичной функции переменных одномерных поисков вдоль взаимно сопряженных направлений позволяет найти минимум. 36

Определение 16. Система линейно независимых направлений поиска называется сопряженной по отношению к некоторой положительно определенной матрицы ,если 36

37

Алгоритм 37

1.Задать: начальную точку ;точность ;; 37

2.Вычислить ;; 37

3. Находим 37

4. 37

5. 37

6. .Если , то ;конец; иначе 37

7. , где 37

8.переход на 3. 37

Замечание 1. Для квадратичной функции метод Флетчера-Ривса является конечным и сходится за число шагов, не превышающих . В этом случае говорят, что метод имеет свойство квадратичного окончания. 37

Замечание 2. Часто используется модификация метода, принадлежащая Полаку и Рибьеру: 37

Теорема 11. Пусть функция дифференцируема и ограничена снизу на пространстве , а ее градиент удовлетворяет условию Липшица 37

. 37

Тогда при произвольной начальной точке последовательность точек , построенная методом Флетчера-Ривса (в том числе в модификации Полака-Рибьера), обладает свойством . 37

2.8. Эвристический выбор начального интервала одномерной минимизации 38

В предыдущих алгоритмах поиск оптимального шага на каждой итерации производился с помощью методов одномерной минимизации. При этом, если использовать численный метод (например, метод «Золотого» сечения), то требуется для запуска этого метода задание начального интервала. В то же время нам требуется найти , где .Таким образом, возникает задача – указать верхнюю границу интервала изменения переменной . Рассмотрим алгоритм Свена(Swann W.H.), решающий эту задачу. 38

Алгоритм 38

1. Задать параметры: начальная точка ;начальный шаг ; 38

38

2. Вычислить функцию в трех точках; 38

3. Проверить условие окончания: 38

a) если и то , конец; иначе 38

б) если и то функция не унимодальна, конец; иначе 38

в) 38

4. 38

5.Если то ; переход на 4; иначе ; 38

В результате работы алгоритма получим начальный интервал 38

2.9. Метод Давидона-Флетчера-Пауэлла 39

Метод Давидона-Флетчера-Пауэлла (Davidon W.C.,Fletcher R., Powell M.J.D) на построении последовательности положительно определенных матриц в пределе сходящихся к матрице, обратной матрице Гессе, которые позволяют определить направление поиска на каждом шаге. 39

Алгоритм 39

1.Задать: начальную точку ;точность ;; 39

2.Вычислить ;; 39

3. Находим 39

4. 39

5. 39

6. Находим 39

7. .Если , то ;конец; иначе 39

8. , 39

9. где ; 39

10.переход на 3. 39

Теорема 13. Пусть функция дифференцируема и ограничена снизу на пространстве , а ее градиент удовлетворяет условию Липшица 39

. 40

Тогда при произвольной начальной точке последовательность точек , построенная методом Давидона-Флетчера-Пауэлла обладает свойством . 40

2.10. Методы Ньютона и Ньютона-Рафсона. 40

Пусть функция дважды непрерывно дифференцируема в окрестности точки . Тогда 40

40

Обозначим через 40

Найдем экстремум данной квадратичной функции. 40

40

40

40

Алгоритм 40

1.Задать: начальную точку ;точность ;; 40

2.Вычислить ; 40

3. .Если , то ;конец; иначе 40

Алгоритм 41

1. Задать: начальную точку ;точность ;; 41

2. Вычислить ; 41

3. Если , то ;конец; иначе 41

Теорема 14. Пусть функция дважды непрерывно дифференцируема и сильно выпукла на пространстве с константой , а ее матрица Геесе удовлетворяет условию Липшица 41

. 41

Начальная точка такова, что 41

Тогда последовательность точек , построенная методом Ньютона(в том числе в модификации Рафсона), сходится к точке минимума с квадратичной скоростью. 41

2.11. О методе наименьших квадратов 41

Рассмотрим одно довольно важное приложение рассмотренных выше методов. Предположим, некоторая функция одной переменной задана таблично(например, получена в результате измерений). 42

42

x 42

x₁ 42

x₂ 42

… 42

x_N 42

y 42

y₁ 42

y₂ 42

… 42

y_N 42

Предположим, что функция зависит от нескольких параметров: 42