Метод Лагранжа
Начнём рассмотрение
задачи поиска экстремума функции
с ограничениями равенствами
с «метода
множителей Лагранжа».
Алгоритм метода состоит из следующих шагов:
составим функцию Лагранжа в виде линейной комбинации целевой функции
и
функций
взятых с коэффициентами,
называемыми множителями
Лагранжа –
:
; (3.2)будем считать все функции непрерывно дифференцируемыми и приравняем 0 градиент функции Лагранжа
:
;составим систему n+m уравнений, состоящих из равенства 0 градиента и уравнений ограничений:
(3.3)
найдём решения этой системы уравнений, которые будут стационарными точками задачи – определяющими необходимые условия решения задачи поиска условного экстремума.
Рассмотрим эвристические геометрические рассуждения на плоскости, помогающие понять смысл метода. Для этого рассмотрим изображённый на рисунке двумерный случай:
Рисунок 5.1 – Линии уровня целевой функции двух переменных f(x,y) и кривой ограничений g(x,y)
В двумерном случае
имеем целевую функцию двух переменных
при
условии, задаваемом уравнением g
.
На рисунке изображены линии уровня
функции
(т.е. геометрическое место точек, где
=const)
и кривую ограничений
.
Так как все функции непрерывно
дифференцируемы, то и все кривые являются
гладкими. Тогда задача сводится к
нахождению экстремума функции f на
кривой S.
Будем также считать, что S
не проходит через точки, в которых
градиент целевой функции равен нулю:
.
В точках, где кривая S трансверсальна (пересекает под ненулевым углом) линиям уровня, двигаясь по кривой S из этой точки можно попасть как на линии уровня, соответствующие большему значению, так и меньшему значения функции f. Следовательно, такая точка не может быть точкой экстремума, и стационарными точками являются такие точки, где кривые пересекаются под нулевым углом, т.е. их касательные параллельны и градиенты пропорциональны:
(3.4)
- некоторое число, отличное от нуля, являющееся множителем Лагранжа.
В общем многомерном случае условию аналогичному параллельности касательных является параллельность касательных плоскостей, которому также соответствует пропорциональность градиентов.
Рассмотрим
регулярный случай, т.е. невырожденность
градиента, и рассмотрим функцию
Лагранжа,
как зависящую также и от
:
. (3.5)
Необходимым условием ее экстремума является равенство нулю градиента функции трёх переменных x, y, :
. (3.6)
В соответствии с правилами дифференцирования, оно записывается в виде равенства 0 частных производных по x, y и уравнения ограничения.
Мы получили систему,
первые два уравнения которой эквивалентны
необходимому условию локального
экстремума (1), а третье — уравнению
g
.
Из нее можно найти
.
При этом
,
поскольку в противном случае градиент
функции f
обращается
в нуль в точке
,
что противоречит нашим предположениям.
Следует заметить, что найденные таким
образом точки
могут
и не являться искомыми точками условного
экстремума, ведь рассмотренное условие
носит необходимый, но не достаточный
характер. Нахождение условного экстремума
с помощью вспомогательной функции 
и
составляет основу метода множителей
Лагранжа, примененного здесь для
простейшего случая двух переменных.
Оказывается, вышеприведенные рассуждения
обобщаются на случай произвольного
числа переменных и уравнений, задающих
условия.
На основе метода множителей Лагранжа можно доказать и некоторые достаточные условия для условного экстремума, требующие анализа вторых производных функции Лагранжа.