ЧИСЛЕННЫЕ МЕТОДЫ ОПТИМИЗАЦИИ
Оптимизация. Метод
наименьших квадратов
Константин Ловецкий Октябрь 2012
Кафедра систем телекоммуникаций1
Метод наименьших квадратов
•Используемые в сочетании с квазиньютоновским методом процедуры линейного поиска получили широкое
применение. Эти методы также используются и в подпрограммах нелинейной оптимизации по методу наименьших квадратов. В задачахf (x)
на метод наименьших квадратов подлежащая минимизации функция представляет собой
сумму квадратов:1 |
|
|
|
F (x) |
|
2 |
|
1 |
i |
F (x) |
2 |
|
|
|
|
||||||||||
min f (x) |
|
|
|
|
|
|
|
|
||||
x Rn |
2 |
|
|
|
|
|
2 |
|
2 |
i |
|
|
|
|
|
|
|
|
|||||||
7/1/19 |
2 |
Метод наименьших квадратов
Подобного типа задачи широко распространены и имеют ряд практических применений, особенно при подборе модельной функции для некого набора данных, т.е. определение нелинейных параметров модели. Эти задачи также широко распространены в теории управления, где в
конечном итоге необходимо получить некую |
, соответствующую |
|||
|
|
y(x,t) |
для вектора |
и скаляра |
некой непрерывной модельной траектории |
||||
. |
(t) |
x |
t |
|
|
|
|
|
|
Данная задача может быть сформулирована как:
min t1 ( y(x,t) (t))2 dt
x Rn t2
где y(x,t) и (t) есть некие скалярные функции.
7/1/19 |
3 |
Метод наименьших квадратов
При дискретизации интеграла посредством подходящих квадратурных формул уравнение может быть сформулировано как задача на метод наименьших квадратов:
min f (x) |
|
( y(x,t |
) (t |
))2 |
x Rn |
i |
i |
|
|
|
i |
|
|
|
где - y и включают в себя веса квадратичной схемы. Отметим, что
F (x) |
понимается: |
|||
в данной задаче под вектором |
||||
y(x,t1 ) (t1 ) |
|
|||
y(x,t |
) (t |
) |
||
F (x) |
2 |
2 |
|
|
|
|
... |
|
|
|
|
|
|
|
y(x,tm ) (tm )
7/1/19 |
4 |
Постановка задачи
• |
В задачах данного типа невязка |
|
, по-видимому, |
||||||
|
|
|
|
F (x) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
должна быть наименьшей в |
|
|
|
точке |
|
|
|
оптимума, |
|
|
|
|
|
|||||
|
поскольку согласно общепринятой практике |
||||||||
|
необходимо провести искомую траекторию как |
||||||||
|
можно ближе к реальной траектории. Хотя |
||||||||
|
приведенная функция для метода наименьших |
||||||||
|
квадратов (уравнение ) может быть минимизирована |
||||||||
|
с помощью общего метода оптимизации без наличия |
||||||||
|
ограничений, определенные характеристики данной |
||||||||
|
задачи часто могут быть использованы для |
||||||||
|
улучшения итеративной эффективности данной |
||||||||
|
методики решения. Градиент и матрица Гессе для |
||||||||
|
задачи метода наименьших квадратов имеют особую |
||||||||
|
структуру. |
|
|
||||||
7/1/19 |
5 |
Постановка задачи
|
|
|
|
|
|
|
F (x) |
|
После обозначения матрицы Якобиана для |
|
|||||||
|
|
m n |
J (x) |
через |
, вектора |
|||
размерностью |
|
|
||||||
f (x) |
G(x) |
|
|
|
|
H (x) |
|
|
градиента функции |
|
|
Гессе через |
и |
||||
|
F (x) |
H (x) |
|
|
||||
|
черезi |
|
, матрицыi |
|||||
матрицы Гессе |
T |
F (x) |
|
|
|
|||
для каждой |
G(x) 2J (x) |
|
получим |
|
||||
|
через |
2Q(x) |
|
|||||
|
|
H (x) 2J (x)T J (x) |
|
|
||||
где
m
Q(x) Fi (x)Hi (x)
i 1
7/1/19 |
6 |
Постановка задачи
Матрица Q(x) обладает тем свойством, что когдаF (x) невязка стремится к нулю при стремлении к точке решения, то и сама матрица стремится к нулю. ТакимF (x) образом, при небольших значениях
в точке решения одним из наиболее эффективных методов является использование направления Ньютона—Гаусса в качестве основы для процедуры и оптимизации.
7/1/19 |
7 |
Метод Левенберга—Марквардта
•В основу метода Левенбрга-Марквардта положено направление поиска, которое находится при решении системы линейных
уравнений: |
k |
k |
k |
|
k |
k |
k |
) |
|
(J |
(x )T J |
(x |
) I )d |
|
J (x |
)F (x |
|
||
k |
задаетk |
как величину, так и k |
|||||||
где скалярk |
|||||||||
d |
|
|
|
|
|
|
|
|
d |
|
|
|
|
|
|
|
|
||
направление |
|
|
|
|
равенk |
нулю, то |
|
||
параметра |
. Когда |
|
|
|
|||||
направление dk |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
будет идентично этому же параметру из |
|
||||||||
метода |
|
|
|
|
|
|
|
|
8 |
7/1/19 |
|
|
|
|
|
|
|
|
|
Ньютона—Гаусса. По мере того как |
|
||||||||
Метод Левенберга—Марквардта
В данном случае предполагается, что для
достаточно |
k |
|
справедливым |
больших значений(F(x ) dостается) F(x ) |
|||
k |
k k |
k |
|
Следовательно, членk может быть контролируемым с
целью обеспечения спуска в случае необходимости
учета членов второго порядка, которые, в свою очередь, заметно ограничивают эффективность метода Ньютона—Гаусса.
7/1/19 |
9 |
Метод Левенберга—Марквардта
•Отсюда следует, что метод Левенберга—Марквардта основан на направлении поиска, являющегося сочетанием направления Ньютона—Гаусса и наискорейшего спуска. Решение для функции Розенброка сходится после 90 обращений к расчету функции по сравнению с 48 для метода Ньютона— Гаусса. Такая низкая эффективность отчасти объясняется тем, что метод Ньютона—Гаусса обычно более эффективен в случае, когда в решении невязка равна нулю. Однако такая информация не всегда является заранее доступной, и повышенная устойчивость метода Левенберга—Марквардта компенсирует его иногда имеющую место слабую эффективность.
7/1/19 |
10 |