kostrub_lab_method

Аналогичные вычисления продолжаем осуществлять до тех пор, пока длина рассматриваемого нами отрезка не станет меньше, чем .

2. Исследовать на минимум функцию J (u) u3 (u 2 1) при условии, что

действия получим, что u* 0,618; J (u* ) 0,382 .

Задание. Найти решение задачи одномерной минимизации

J (u) inf u a, b .

Значения коэффициентов целевой функции

J (u) a0u5 a1u 4 a2u3 a3u 2 a4u a5

приведены в таблице. Помимо точек минимума посчитать число итераций и сделать вывод о целесообразности использования каждого из методов в той или иной ситуации. Приближенное решение задачи искать на промежутке унимодальности a,b с точностью до 10 2 методом: а) деления отрезка

пополам; б) "золотого сечения"; в) парабол; г) Ньютона. Решение поставленной задачи оформить в виде отчёта.

Замечание: для нахождения промежутка унимодальности найдите J (u) , затем корни уравнения J (u) 0 . Промежутки, в которых J (u) 0 и будут отрезками унимодальности J (u) .

Для метода Ньютона выбор начального приближения рекомендован в алгоритме.

ВЫПУКЛЫЕ МНОЖЕСТВА И ВЫПУКЛЫЕ ФУНКЦИИ

для любых элементов u1,u2 множества U .

ли это.

12

Поскольку для выпуклой функции выполнено неравенство J (u) , 0 , где u U , то воспользуемся этим.

J (u) ln u 1 1 ln(1 u) ,

J (u) u1 1 1 u .

Вторая производная всегда больше нуля, так как 1 u u 0 при u U . u(1 u)

3. Является ли выпуклой функция

J (u1 , u2 ) a11u12 2a12u1u2 a22u22 ?

Посчитаем первую производную и вторую производные

инайдем min . Получаем уравнение 2 2 (a11 a22 ) 4(a122 a11a22 ) . Корни его

(a11 a22 ) (a11 a22 )2 4a122 . Т.е. (a11 a22 ) (a11 a22 )2 4a122 . Возводя в

квадрат и преобразуя получаемое выражение, получим систему

13

a11a22 a122 , a11 a22 0

откуда следует, что min 0 .

4. Исследовать области выпуклости и вогнутости функции

J (u1 , u2 ) u13 / 6 u23 / 6 u12 / 2 u22 u1u2 2u1 .

Составим матрицу Гессе и вычислим главные миноры

Функция J выпукла в любой области, где матрица Гессе неотрицательно определена. Область положительной определённости определяется условиями 1 u1 1 0 , 2 (u2 2)(u1 1) 1 0 ,

обеспечивающими строгую выпуклость. Выпуклость будет на замыкании этого множества. Функция J вогнута в любой выпуклой области, где матрица Гессе неположительно определена. Область её отрицательной определенности определяется условиями 1 u1 1 0 , 2 (u2 2)(u1 1) 1 0 ,

обеспечивающими строгую вогнутость. Вогнутость будет на замыкании этого множества.

Рис. 5

14

Задания. 1. Выяснить, влияют ли линейные члены квадратичной функции на её выпуклость?

2. Построить вид областей выпуклости и вогнутости следующих функций:

2.1.J (u1 , u2 ) (u1 1)3 (u2 1)3 ;

2.2.J (u1 , u2 ) (u1 1) (u2 1)3 6u1u2 .

3. Построить вид областей выпуклости и вогнутости функций в зависимости от параметра p :

3.1.J (u1 , u2 ) pu12 u1u2 pu22 ;

3.2.J (u1 , u2 ) pu12 4u1u2 u22 ;

3.3.J (u1 , u2 ) u13 pu23 .

ЧИСЛЕННЫЕ МЕТОДЫ МНОГОМЕРНОЙ МИНИМИЗАЦИИ

Пусть функция n переменных J (u1 ,..., un ) задана на некотором множестве пространства Rn . Известно, что если J (u) дифференцируема в точке P(u1 ,..., un ) , то в этой точке существуют частные производные

J (u1 ,..., un ) , i 1,..., n

ui

и наоборот, если фукнция J (u1 ,..., un ) имеет частные производные по всем аргументам в некоторой окрестности точки P0 (u10 , u20 ,..., un0 ) , причем все эти частные производные непрерывны в самой точке P0 , то указанная функция дифференцируема в точке P0 .

Определение. Говорят, что функция J (u) имеет в точке P0 локальный

максимум (локальный минимум), если найдется такая -окрестность точки P0 , в пределах которой значение J (P0 ) является наибольшим (наименьшим)

среди всех значений J (u) этой функции.

Если функция J (u1 ,...,un ) обладает в точке P0 (u10 , u20 ,..., un0 ) частными производными первого порядка по всем переменным (u1 ,...,un ) и имеет в этой

точке локальный экстремум, то все частные производные первого порядка обращаются в точке P0 в нуль, т.е.

15

Определение. Точки, в которых обращаются в нуль все частные производные первого порядка функции J (u) , называются стационарными

точками этой функции.

МЕТОД ГРАДИЕНТНОГО СПУСКА

Метод градиентного спуска использует условие дифференцируемости функции J (u) в Rn . В качестве критерия остановки этого метода, как

правило, выбирается условие || grad J (u k ) || . В качкестве направления

движения для нахождения минимума в метода градиентного спуска на каждом шаге выбирается вектор-антиградиент vk grad J (u k ) , так как в

малой окрестности точки uk антиградиент обеспечивает наискорейшее убывание функции. Рассмотрим два варианта метода, отличающиеся способом нахождения величины .

Шаг 3. Решить задачу одномерной оптимизации

( ) J (u0 grad J (u0 )) min , при 0 , т.е. найти * . Положить u0 u0 * grad J (u0 ) . Перейти к шагу 2.

Замечание. Кроме рассмотренных методов выбора шага на практике часто применяют методы с изначально заданным шагом, например,

k 1/(k 1) , где k - номер итерации.

МЕТОД НЬЮТОНА МНОГОМЕРНОЙ МИНИМИЗАЦИИ

Итерационный метод вида u k 1 u k * grad J (u k )H 1 носит название

метода Ньютона. В этой формуле H 1 - это обратная матрица к матрице вторых частных производных

Для квадратичной функции с положительно определённой матрицей Гессе применение метода Ньютона с шагом 1 обеспечивает получение точки глобального минимума ровно за одну итерацию, независимо от выбора начальной точки. Для выпуклой квадратичной функции применение этого метода обеспечивает, как правило, быструю сходимость. Однако, если точка u0 Rn выбрана недостаточно близко к оптимальному решению, то последовательность u k Rn может расходиться (как и в одномерном случае). Существенным недостатком метода Ньютона является необходимость вычисления и обращения матрицы Гессе на каждой итерации.

АЛГОРИТМ

Шаг 1. Задать начальную точку u0 Rn , 0 - требуемую точность, вычислить J (u0 ) .

Шаг 2. Найти grad J (u0 ) и проверить критерий остановки метода

|| grad J (u0 ) || . Если он выполнен, то вычисления завершаются. Полагаем u* u0 , J * J (u0 ) .

Шаг 3. Положить u0 u0 grad J (u0 ) H 1 . Вычислить J (u0 ) . Перейти к шагу 2.

17

МЕТОД ШТРАФНЫХ ФУНКЦИЙ

Основная идея метода штрафных функций состоит в преобразовании задачи минимизации функции с соответствующими ограничениями в задачу поиска минимума функции без ограничений.

Преимущество, которое получаем в результате такого перехода к новой функции, достигается за счет применения более простых алгоритмов.

Постановка задачи. Требуется найти минимум функции J (u1 ,...,un ) при ограничениях gi (u1 ,...,un ) 0, i 1,2,..., m или

J (u1 ,..., un ) inf,

gi (u) 0, i 1,2,..., m .

Введём функцию

F(u1 ,..., un ) J (u1 ,...,un ) P(u1 ,..., un ) .

Здесь P(u1 ,..., un ) выступает в роли штрафа. Штраф можно выбрать в виде

m

P(u1 ,..., un ) r | 1/ gi (u1 ,..., un ) |

i 1

или в виде

m

P(u1 ,..., un ) r gi 2 (u1 ,..., un ) ,

i 1

где - некоторый положительный параметр.

ПРИМЕРЫ

1. Один из вариантов выбора штрафной функции таков. Пусть дана функция J (u1 , u2 ) u1 (u2 1)2 при ограничениях u1 2, u2 0 . Выберем штраф

P(u1 , u2 ) r | 1/(u1 2) 1/ u2 | .

В результате минимизируем функцию

F(u1 , u2 , r) u1 (u2 1)2 r | 1/(u1 2) 1/ u2 | .

18

2. Ещё один из вариантов выбора штрафной функции. Требуется

Таким образом, методы штрафных функций определяются как выбором вида штрафа, так и выбором параметра r.

3. Рассмотрим теперь один из параметрических методов (метод внутренней точки).

Пусть требуется минимизировать функцию J (u1 , u2 ) u12 6u1 u22 9u2 при ограничениях ui 0, i 1,2.

Исходная точка поиска A0 (1;0,5) .

1. Строим функцию без ограничений, используя штраф

2.Пусть r0 1. Найдем минимум функции P(u1 , u2 , r0 ) любым методом безусловной оптимизации, например, градиентным

19

Итак далее. Получим AОпт (r0 ) (0,38;0,325); PОпт (r0 ) 11,16 .

3.Уменьшаем r. Полагаем r1 r0 / C, C 1. Пусть C 10 . Минимизируем P(u1 , u2 , r1 ) тем же градиентным методом, теперь за исходную точку

принимаем A0 (0,38;0,325) .

0

И так далее. Получим AОпт (r1 ) (0,127;0,106); PОпт (r1 ) 3,47 . 4. Вновь уменьшаем r. Полагаем r2 r1 / C и т. д.

20