2.3.1. Метод градиентного спуска

В соответствии с основной идеей градиентного метода будемстроить элементы минимизирующей последовательности {Х^к}с помощью рекуррентной формулы (2.21), где в качестве направле­ния S выбирается направление антиградиента как направлениенаискорейшего убывания функции ДАО в малой окрестности точ­ки X . Вычислительная схема метода градиентного спуска такова:^'⁼*-а_кГ(Х^к),к = 0, 1,2,... (2.22)

Величина шага выбирается так, чтобы выполнялось условиеАХ^ш)</(Х^к),к = 0,1,2,... (2.23)

34

_{fruZbl** (2-25)}

11/(*)1|£е,, (2.26)

где г.- заданные параметры точности.

Опишем алгоритм рассмотренного метода градиентного спуска.

Шаг 0. Задать параметр точности г > 0, начальный шаг а > 0, параметр алгоритма Х.е(0;1), выбратьХ°еЕ", вычислить зна-чение/Х-Л"⁰), положить к = 0. ■

Шаг1. Найти градиент/' (X*) и проверить условие достиже­ния заданной точности ||/' (Х^к) || < s. Если оно выполняется, то перейти к шагу 4, иначе - к шагу 2.

Шаг 2. Найти новую точку в направлении антиградиента Х=Х^к - <*/'(**) и вычислить/^- Если/(Х) <f(X^k), то положить Х*^+> = X^k,f(X^k*') =f(X^k),k=k+\,n перейти к шагу 1, иначе- перей­ти к шагу 3.

Шаг 3. Положить а = аЛ, где 0 < А. < 1 и перейти к шагу 2.

Шаг 4. Завершить вычисления, положив Х"- X^k,f'=f(X^k).

2.3.2. Метод наискорейшего спуска

В этом варианте градиентного метода минимизирующая последовательность {Х^к} также строится по правилу (2.22). Од­нако величина шага а_к находится в результате решения вспомо­гательной задачи одномерной минимизации

min{q>_t(a)|a>0}, (2.27)

где ф₄(а) =/(#*- а /'(**))• Таким образом, на каждой итерации в направлении антиградиента S* = -/' (**) выполняется исчерпы­вающий спуск. Для решения задачи (2.27) можно воспользовать­ся одним из методов одномерного поиска, изложенных в разд. 1, например, методом поразрядного поиска или методом золотого

сечения.

Опишем алгоритм метода наискорейшего спуска.

35

ШагО,Задать параметр точности е > 0, выбратьХ*еЕ\ по-

^Л0ЖИШаМ°Найти/' (X) и проверить условие достижения за-

' м /• iv*\ ii <■ р Venn оно выполняется, то перейти

данной точности ||/ (л)||<£. £сли они се

к шагу 3, иначе - к шагу 2.

Шаг 2 Решить задачу (2.27), т.е. найти а,. Найти очередную

_УТ^Х-а/ЧПположитьА ^1ипе_ршагу1. Шаг 3. Завершить вычисления, положив л -л ,/ /(.л ;.

2.3.3. Типовой пример

Минимизировать функцию

f(X) = xf +4х₂²-6^-8^ +13. (2.28)

Вначале решим задачу классическим методом. Запишем сис­тему уравнений, представляющих собой необходимые условия безусловного экстремума:

а»,

Решив ее, получим стационарную точку X *= (3; 1). Далее про­верим выполнение достаточного условия, для чего найдем мат­рицу вторых производных:

_{Ч :)}

Так как согласно критерию Сильвестра, эта матрица поло­жительно определена при УХеЕ², то найденная точка X* являет­ся точкой минимума функции/(А). Минимальное значение / ⁼/(Х )=0. Таково точное решение задачи (2.28). ,-> лс ^В^^{полним ОД}"У итерацию метода градиентного спуска для (2.28). Выберем начальную точку X" =(1; 0), зададим начальный шаг а = 1 и параметр X = 0,5. Вычислим/^⁰) = 8. 36

Найдем градиент функции Дл) в точке л"⁰:

(2.29)

Определим новую точку Х= Х°- а/'(Х°), вычислив ее коор­динаты:

|

х. =х, -сс-

(2.30)

. = х, -а-

дх,

- = 0-а(-8) = 8а =

Вычислим/(Х) =f(X°- а/' (л"°)) =200. то выполняем дробление шага, полагая а = а\= 1 0,5 = 0,5. Снова вычисляем по формулам (2.30) х,=1+4а = 3; х = 8а = 4 и находим значение/(А) = 39. Так как опять/(л) >ДХ°), то еще уменьшаем величину шага, полагая а = аХ=0,5-0,5 = 0,25. Вычисляем новую точку с координатами х,=1+40,25=2; х₂=8-0,25=2 и значение функ­ции в этой точке/(л) = 5. Поскольку условие убыванияДА) <f{X°) выполнено, то считаем, что найдена очередная точка минимизи­рующей последовательности X^х = (2;2). Первая итерация градиен­тного спуска завершена.

Выполним одну итерацию по методу наискорейшего спуска для (2.28) с той же начальной точкой А"°= (Г, 0). Используя уже найденный градиент (2.29), находим

^{1 8а J}

и строим функцию _Фо(а) =/(Х°- а/'(А°)) = (4а - 2)²+ 4(8а - I)². Минимизируя ее с помощью необходимого условия _Ф'_о(а) = 8(4а - 2) + 64(8а - 1) = 0,

находим оптимальное значение величины шага а_о=5/34.

37

Определяем точку минимизирующей последовательности

'27

17

20 U7J

1 + 4--

34

8-1

34 J

Первая итерация завершена. Подсчитав компоненты векто-ра/'СДГ¹)

20 17

48. 17'

27

17

24^

дх.

17'

можно убедиться, что скалярное произведение

т.е. что 1" - точка минимума функции (2.28).

Порядок выполнения лабораторной работы 1. Кратко описать изучаемые градиентные методы 1 ^геометР^ическУ^ю иллюстрацию полученного индиви-

комплекса

асче™Генн^Ь - ^{ИШОЛЬЗОВанием} компьютерного

Задания для лабораторной работы

36. Минимизировать функцию /(Х)=л,² +4л₂² -4х, -8х, +5из начальной точки Z°=(l; 2).

37. Минимизировать функцию f{x) = 4xf +x₂² -16x, -2х₂ +17из начальной точки Х°= (0;0).

38. Минимизировать функцию f{X) = х,² +4х₂² -Юл:, -48х₂ ++ 169 из начальной точки Х"= (0;0).

39. Минимизировать функцию /(А^г) = 4х,² +.х:² -40х, -12х₂ ++ 136 из начальной точки Х°= (0;0).

40. Минимизировать функцию /(X) = .v,² +4,r₂ -6х, -8х₂ +13из начальной точки Х°= (0;0).

41. Минимизировать функцию f(X) = Ах²_х + х\ - 24х, - 2л-₂ + 37из начальной точки X"— (2;0).

42. Минимизировать функцию f(X) = x* +9xj -4л:, -18jc₂ +13из начальной точки Х^а= (1;0).

43. Минимизировать функцию f(X) = 9х,² + л-² - 36л, - 2х₂ + 37из начальной точки Х°= (2;0).

на итерационный процесс решен™ ^{Пс1рамет}Ров алгоритмовотразить в работе. ^заДачи. Содержание отчета

3S

3. МЕТОДЫ ОПТИМИЗАЦИИ ПРИ НАЛИЧИИ ОГРАНИЧЕНИЙ

Рассмотрим в общей постановке задачу нелинейного про­граммирования, заключающуюся в отыскании минимума функ­ции многих переменных при заданных ограничениях в виде ра­венств и неравенств.

Целевую функцию/W = /(*,, х_г,..., х„) и функции h^X) -= hj(x_lt x_v..., х„), j =1, ..., m; g,(X) = &(*„ x_v..., x_n), s = 1, ..., p, задающие ограничения, будем рассматривать как функции, за­данные в точках «-мерного евклидова пространства Е".

Изучим наиболее употребительные методы решения рас­сматриваемых задач вида

mm{f{X)\XeR}, (3.1)

где R допустимая область, задаваемая ограничениями типа ра­венств и неравенств

() г 0,s = 1,...,р). (3.2)

В случае гладких выпуклых функций f(X), h (X) g(X) по­ставленная задача (3.1) может быть решена применением необ­ходимых и достаточных условий, устанавливаемых теоремами куна - 1 аккера. Однако для решения большинства практических задач используются приближенные численные методы. Рассмот­рим некоторые из них, представляющие две группы методов. ^Г^{ДИСПОЛЬЗУЮЩИе11рб}

в рассмотрение вспомога-

40

тельных функций. Эти методы называют методами последователь­ной безусловной оптимизации.

2. Методы решения задачи условной оптимизации, основан­ные на движении из одной допустимой точки, где выполняются все ограничения, к другой допустимой точке с меньшим значени­ем целевой функции. Таким методом является, например, метод возможных направлений.

Основная идея методов первой группы состоит в том, что­бы аппроксимировать исходную задачу условной оптимизации некоторой вспомогательной задачей, решение которой менее сложно. Очевидно, что ограничившись лишь одной вспомогатель­ной задачей, можно получить лишь приближенное решение. Если же использовать надлежащим образом построенную последова­тельность задач без ограничений, то искомое решение исходной задачи может быть найдено с требуемой точностью как предел соответствующей последовательности приближенных решений.

Методы непосредственного решения задачи условной опти­мизации, образующие вторую группу, позволяют построить для целевой функции минимизирующую последовательность допус­тимых точек, сходящуюся к искомому точному решению постав­ленной задачи.

3.1. Методы последовательной безусловной оптимизации