2.2. Методы внутренней точки

Возможные способы решения задач условной оптимизации базируются на предположении, что мы умеем эффективно решать безусловные задачи. Тогда можно попытаться приблизить исходную задачу последовательностью безусловных. Эту идею используют метод штрафных функций и метод барьеров. В методе штрафных функций штраф осуществляется при выходе за границы допустимой области, в барьерном методе – при подходе к границе изнутри, при этом начальная точка должна принадлежать допустимой области. По этим причинам класс таких методов называют «методами внутренней точки»?

Рассмотрим следующую задачу выпуклой оптимизации:

где функции f и g – выпуклые и дважды дифференцируемые, а допустимая область непуста. Выпуклые задачи обладают множеством хороших свойств, в частности, любое решение является глобальным.

Для описания метода решения этой задачи последовательно изложим алгоритмы решения частных подзадач, при этом делая акцент на основных идеях, не останавливаясь на технических деталях.

2.3. Метод Ньютона

Рассмотрим задачу безусловной оптимизации .

Одним из способов решения таких задач является метод Ньютона, к которому можно прийти разными способами.

Пусть мы находимся в точке х, достаточно близкой от решения, и хотим сделать шаг d, такой чтобы прийти в минимум. Тогда должно выполняться условие экстремума . Линеаризуя его, получим

,

откуда

.

Рассмотрим также другой способ вывода шага Ньютона. Для этого аппроксимируем функцию первыми тремя членами разложения в ряд Тейлора:

.

Мы хотим найти такое направление d, при котором функция наиболее уменьшится. Получили задачу безусловной квадратичной оптимизации:

.

Разрешая относительно d необходимое условие экстремума, придем к шагу Ньютона .

Таким образом, следующую точку можно найти по текущей как , где – длина шага, в оригинальном методе равная единице.

Метод Ньютона сходится квадратично, т. е. значительно быстрее градиентных методов, однако в общем случае обладает малой областью сходимости. Также недостатком является необходимость вычисления и обращения функции Гессиана на каждой итерации.

2.4. Метод Ньютона с ограничениями типа равенств

Рассмотрим теперь задачу с линейными ограничениями типа «равенство»:

Воспользуемся тем же приемом – аппроксимируем целевую функцию членами вплоть до квадратичного в разложении в ряд Тейлора:

Предположим, что текущая точка х принадлежит допустимой области, т. е. , тогда уравнение эквивалентно . Таким образом, получили задачу квадратичной оптимизации с линейными ограничениями типа «равенство»:

Уравнения ККТ для таких задач представляют собой линейную систему уравнений:

.

На каждой итерации метода необходимо решать систему линейных уравнений, что может быть сделано вычислительно эффективно.

Заметим, что тот же результат можно получить, линеаризуя необходимые условия экстремума.

Еще раз отметим, что начальная точка в методе должна принадлежать допустимой области. В качестве упражнения предлагается модифицировать систему, чтобы устранить это условие.

2.5. Прямой метод внутренней точки

В предыдущих разделах мы научились решать задачи с ограничениями в виде линейных уравнений. Поэтому попытаемся свести общую задачу к этому случаю, например, представив в следующем виде:

где

К сожалению, индикаторная функция недифференцируема, поэтому мы не можем воспользоваться ранее рассмотренными методами. Возможный выход состоит в аппроксимации, например: . Тогда, введя обозначение и домножая целевую функцию на τ, получим следующую аппроксимацию исходной задачи:

(2.2)

Полученная задача является выпуклой, и точность аппроксимации увеличивается при увеличении τ. Очевидным способом решения представляется решение полученной аппроксимации при достаточно большом τ. Однако при больших τ решение полученной задачи методом Ньютона сопряжено с некоторыми трудностями, поскольку функция Гессиана возле границы изменяется чрезвычайно быстро. Поэтому в прямом методе внутренней точки решают последовательность полученных при аппроксимации задач (2.2) при увеличивающихся τ. При этом начальная точка для каждой итерации по τ берется как оптимальное значение для предыдущего τ.