Власов_Методы оптимизации и оптимального управления_2013

Последняя система уравнений решается с помощью исключения переменных: a = − λ2 и b = − λ2 . После чего получается одно урав-

нение λ42 = S0 . Окончательно решение системы можно записать в

ложительным, так как это приведет к отрицательным длинам a,b ; в математической постановке задачи программирования для корректности сразу следовало ввести ограничения: a >0 , b >0 . Зна-

чение величины λ нас не интересует.

Понятно, что рассмотренный пример можно решить значительно проще. Учитывая ограничение ab − S0 = 0 , исключим одну из

переменных b = Sa0 . Тогда решение задачи сведется к оптимизации функции одного аргумента P = 2(a + Sa0 ) . Приравнивая нулю про-

изводную dPda , получим оптимальное решение a = S0 . Поэтому,

казалось бы, можно предложить следующий алгоритм решения задачи на условный экстремум:

•из системы уравнений (1.3.2) можно выразить m переменных xi как функции остальных m − n переменных, представить ограничения (1.3.2) в виде

xk = ψk (xm+1,..., xn ) , k =1,2,...,m ;

•подставить только что полученные соотношения в выражение (1.3.1) и получить новую функцию, которая будет зависеть уже только от n − m переменных, не связанных дополнительными условиями;

•найти безусловный экстремум новой функции.

Однако часто бывает трудно или вообще невозможно аналитически решить систему уравнений (1.3.2) относительно некоторых

11

переменных. Поэтому для отыскания экстремума функции многих переменных (1.3.1) с ограничениями (1.3.2) на независимые переменные в виде равенств используют метод неопределенных множителей Лагранжа.

Метод неопределенных множителей Лагранжа получается из следующих рассуждений.

Общим необходимым условием экстремума является равенство нулю дифференциала функции

Не имеет значения, наложены ли ограничения на дифференциалы аргументов.

Однако если ограничения наложены, то неправильно было бы приравнивать все частные производные нулю, поскольку дифференциалы переменных dxi (i =1,2,..., n) в выражении (1.3.3) не все

являются независимыми.

Предположим, что в некоторой точке x0 с координатами x10 , x20 ,..., xn0 функция f имеет экстремум. При этом условия

(1.3.2) в данной точке выполняются.

Продифференцировав условия (1.3.2), получим систему равенств, связывающих дифференциалы dxi в любой точке, в том

числе и в точке x0 :

dx1,..., dxm в каждой точке являются линейными функциями сво-

бодных дифференциалов.

Умножим каждое из равенств системы (1.3.4) на пока неопределенный персональный множитель λk и сложим все эти равенства с

выражением (1.3.3).

Тогда, объединяя слагаемые с одинаковыми дифференциалами dxi , найдем

12

Равенство (1.3.5) должно быть справедливо в точке условного экстремума.

В соотношении (1.3.5) произвольно можно изменять лишь независимые дифференциалы. Для того чтобы исключить m зависимых дифференциалов выберем m множителей λ1 ,..., λk так, чтобы коэф-

фициенты при этих дифференциалах обратились в нуль в точке условного экстремума, т.е. обеспечим равенства

мых с независимыми дифференциалами. Поскольку получена линейная форма из независимых дифференциалов, равная нулю при любых их значениях, то коэффициенты этой формы должны быть равными нулю. Это означает, должны выполняться равенства (1.3.6) для остальных значений индекса i :

Понятно также, что координаты точки, где достигается условный экстремум, удовлетворяют ограничениям (1.3.2). Таким образом, совокупность уравнений (1.3.2), (1.3.6), (1.3.7) позволяет найти (n + m) значений переменных x1, x2 ,..., xn , λ1, λ2 ,..., λm , при которых

достигается условный экстремум функции (1.3.1), причем значения неопределенных множителей нас уже не интересуют.

Легко проверить, что совокупность уравнений (1.3.2), (1.3.6), (1.3.7) может быть получена с помощью приравнивания нулю частных производных от функции

Ф(x1 , x2 ,..., xn , λ1 , λ2 ,...,λm ) = f (x1 , x2 ,..., xn ) +

+λ1φ1 (x1, x2 ,..., xn ) +... + λmφm (x1 , x2 ,..., xn ).

Значение метода множителей Лагранжа состоит и в том, что он применяется в качестве вспомогательного средства оптимизации в аналитических задачах. Например, он успешно используется при

13

решении задачи линейного статистического оценивания коэффициентов.

1.4. Пример применения метода неопределенных множителей Лагранжа для поиска наибольших значений функций

Требуется найти наибольшие и наименьшие значения функции z = x2 + 2 y2 + 2 6xy в замкнутой области D , определенной неравенствомx2 + y2 ≤ R2 .

Порядок решения задачи следующий:

•находим все точки стационарности функции z (точки, в которых может достигаться экстремум);

•выбираем те из них, которые принадлежат области D ;

•вычисляем значения функции в выбранных точках;

•находим с помощью метода неопределенных множителей Лагранжа точки на границе области D , в которых может достигаться условный экстремум функции z ;

•вычисляем значения функции z в найденных точках границы, в которых может достигаться условный экстремум функции z ;

•простым перебором всех изученных точках определяем

наибольшее и наименьшее значение функции z .

Для поиска всех точек стационарности функции z приравняем нулю частные производные от нее по аргументам x, y и получим

систему уравнений:

2x + 2 6y = 0,

4 y + 2 6x = 0.

Определитель этой однородной системы отличен от нуля. Поэтому имеется единственная точка M0 стационарности с координатами x = 0, y = 0 , которая принадлежит области D . Значение функции z в этой точке равно нулю.

14

Для изучения точек границы области D найдем условный экстремум функции z при ограничении x2 + y2 − R2 = 0.

Функция Ф , учитывающая множители Лагранжа, имеет вид

Ф = x2 + y2 + 2 6xy + λ(x2 + y2 − R2 ) .

Приравнивая к нулю частные производные от этой функции по аргументам x, y,λ, получим систему нелинейных уравнений

x2 + y2 = R2 .

Поскольку при любых значениях λ первые два уравнения есть

системы, поскольку этот тривиальный случай уже рассмотрен. Ненулевые решения однородной системы возможны только при равенстве ее определителя нулю. Из этого условия удается найти возможные значения λ. Для этого нужно решить квадратное уравнение (1+ λ)(2 + λ) −6 = 0 . У этого уравнения имеются два корня:

λ1 =1, λ2 = −4 .

Сначала рассмотрим случай, когда λ1 =1. Понятно, что первые

два уравнения в этом случае линейно зависимы. Поэтому второе уравнение можно не рассматривать и искать значения x, y из сис-

темы уравнений:

Выражая переменную y с помощью первого уравнения через x ,

получим y = − 26 x и, подставляя полученное выражение во вто-

рое уравнение, определим два возможных значения переменной x : x1 = 0,6R, x2 = − 0,6. Им соответствуют два значения переменной y : y1 = − 0,4R, y2 = 0,4R . Таким образом, найдены две точки

15

границы, в которых может достигаться экстремум. Аналогично на-

z(x1, y1 ) = −R2 , z(x2 , y2 ) = −R2 , z(x3 , y3 ) = 4R2 , z(x4 , y4 ) = 4R2 .

В итоге найдены наибольшее и наименьшее значения функции

z , равные 4R2 и− R2 соответственно, а также точки, в которых они достигаются.

1.5. Общая постановка задачи линейного оценивания параметров

Задача линейного оценивания неизвестных параметров с минимальной дисперсией приведена во многих источниках [2, 3, 4, 5].Чтобы было проще осознать ее постановку, рассмотрим сначала простейший пример.

Пусть имеется ящик с большим количеством однотипных весов. Каждые весы имеют свою конкретную ошибку измерения. Заранее все ошибки были определены с помощью эталонных измерений, и выяснилось, что средняя ошибка всех весов равна нулю, а средний

квадрат ошибок равен σ2 . Взвешивается на случайно выбранных из ящика весах некоторое тело. Чтобы уменьшить ошибку определения веса P тела, взвешивание производится на n независимо случайно выбранных весах. Если использовать выражение для оценки

ем n и стремится к нулю при n стремящемся к бесконечности. Таким образом, использование многих измерений уменьшает ошибку определения требуемой величины P .

Рассмотрим более общую задачу. Имеется некоторый объект, который описывается уравнением

16

где y зависит от переменных x1 , x2 ,..., xp , которые изменяются со

временем, но их значения в каждый момент времени известны (например, устанавливаются экспериментатором), величины β1 ,β2 ,...,βp , называемые коэффициентами регрессии, неизвестны.

Требуется следить за переменной y (ее называют значением по-

верхности отклика), которая меняется со временем.

Для достижения цели следует найти значения коэффициентов β1 ,β2 ,...,βp . Это можно сделать, если при различных значениях ар-

гументов x1 , x2 ,..., xp (эти аргументы часто называют факторами) определить значения переменной y , т.е. подготовить невырожденную систему линейных уравнений

где xi1 , xi2 ,..., xip – установленные значения переменных x1 , x2 ,..., xp

в эксперименте с номером i , yi – значение отклика в эксперименте с номером i .

Однако измерить величины yi , входящие в систему (1.5.2), без ошибок часто не удается. Поэтому результаты измерений ηi будут отличаться от yi , т.е.

где εi – ошибки измерений.

Выражение (1.5.3) совместно со сведениями о свойствах ошибок εi составляют модель измерения.

Приведем наиболее распространенные сведения о свойствах ошибок εi , которые используют на практике. Они заключаются в

том, что εi объявляются независимыми случайными величинами (в данном разделе достаточно считать εi некоррелированными),

17

имеющими нулевые математические ожидания и одинаковые дисперсии σ2[ε] .

Обычно стараются провести большое число n экспериментов (n >> p) и с максимальной точностью оценить коэффициенты

i=1

где cji – постоянные коэффициенты, значения которых определяют

конкретный вид линейных оценок. Если ввести матричные обозначения:

η – вектор с составляющими ηi , i =1, 2,..., n (вектор результатов наблюдения или просто вектор наблюдения);

ε – вектор с составляющими εi = 1, 2,…, n (вектор ошибок измерений);

Y – вектор с составляющими yi = 1, 2,…, n (вектор измеряемых величин);

β – вектор с составляющими β1 ,β2 ,...,βp (вектор коэффициентов регрессии);

βˆ – вектор с составляющими βˆ1,βˆ 2 ,...,βˆ p (вектор оценок коэф-

фициентов регрессии);

X Т – матрица с элементами xij ,i = 1, 2,…,n, j = 1, 2,…, p (матрица значений аргументов xij ,i = 1, 2,…,n, j = 1, 2,…, p , называемая матрицей плана); Т – символ транспонирования;

C – матрица с элементамиcji , можно записать матричные соотношения:

18

Задача заключается в том, чтобы найти несмещенные линейные

i=1

Поскольку имеет место равенство (1.5.2), то условие несмещенности оценки βˆ j можно записать в виде

Соотношения (1.5.6) и являются условиями несмещенности (всего p условий) оценок βˆ j . Например, для j =1 они имеют вид

c11x11 +c12 x21 +... +c1n xn1 =1,

c11x12 +c12 x22 +... +c1n xn2 = 0,

……………………………...,

c11x1 p +c12 x2 p +... +c1n xnp = 0.

n

Поэтому минимизация σ2[βˆ j ] = σ2[ε]∑c2ji является задачей на

i=1

условный экстремум с p ограничениями (5.6). Ее решение может быть осуществлено методом неопределенных множителей λj1 , λj 2 ,..., λjp Лагранжа, для чего образуется функция

19

частные производные от которой по аргументам cji , λj1 , λj 2 ,..., λjp

полагаются равными нулю, и затем находятся оптимальные значения констант cj1 ,cj 2 ,...,cjn . Всю совокупность множителей

λj1 , λj 2 ,..., λjp (для вех задач с номерами ј) можно рассматривать

как матрицуλ. Поэтому проще применить матричные обозначения и рассмотреть систему матричных уравнений:

2σ2[ε]C + λX = 0,

(1.5.7)

CX Т = E,

где E – единичная матрица.

Уравнения (1.5.7) получаются путем дифференцирования функций Фj по аргументам cji , λj1 , λj 2 ,..., λjp и приравниванием произ-

Вектор оценок коэффициентов регрессии вычисляется по фор-

Выражения (1.5.8), (1.5.9) являются решением задачи оптималь-

формул (1.5.8), (1.5.9) получить выражение для ковариационной матрицы Kβˆ вектора βˆ :

20