книги из ГПНТБ / Сейдж Э.П. Идентификация систем управления
.pdf3.3] |
НЕИЗВЕСТНЫЕ АПРИОРНЫ Е РАСП РЕДЕЛЕНИ Я |
81 |
отношении алгоритмом для М 1 (А): |
|
|
М-* (А) = М-1 (к - 1) - М 1(к - 1) Нт (к) X
X[1 + Н (к) М-1 (А) Нт (А)]'1 Н (к) М"1 (к — 1).
Ксожалению, для более сложных задач, чем рассмот ренная нами, не удается получить решение в последо вательностной или даже непоследователыгостной форме
столь простым образом, как в данном случае. Например, если априорная дисперсия х конечна, оценка (непосле довательностная), дающая решение задачи сглаживания
для х, имеет |
вид |
|
|
к1 |
|
|
|
х (А, |kf) = Г 2 |
НТ(А) (к, |kf) Н (к) |
|
|
л=1 |
|
Ч |
|
|
|
|
|
|
X ГVxVx + |
2 |
rT (ft) Vv1(А/1kf) z (A) |
|
L |
ь._, |
|
и не может быть определена без предварительного нахож
дения оценки V0 (kf |kf), в свою очередь зависящей от х (kf |kf). Возникающие здесь затруднения удается раз решить вычислительными методами, излагаемыми в сле дующих главах.
из |
В заключение примера получим ДТКЗ, возникающую |
|
задачи минимизации |
/ . Итак, необходимо минимизи |
|
ровать |
|
|
J = |
0,51 х (0) — fixf _! + |
0,5А^ In Vv (к) + |
|
vx |
|
Ч
+0,5 2 V ;1(ft)[z(A )-H (A )x(A )]*
К= 1
при ограничениях
х (А + 1) = х (к), |
Vv(k + 1) = Vv(k). |
Канонические уравнения в соответствии с (3.3.21) — (3.3.30) запишутся в виде
£ (А + 1 1kt) = х (к |kf),
82 ФУНКЦИИ Ш ТРАФ А В ЗА Д А Ч А Х ИДЕНТИФИКАЦИИ [ГЛ . 3
X (к + |
1 1kf) = X{к |kf) -I- НТ(А + |
1) V;1 (к + |
1 1к,) х |
|
|
|
X [г (к + 1) - н (к + 1) i (к + 1 1Щ , |
||
|
V„ (к |
1 1kf) = |
Vv (к |kf), |
|
SB(А + |
1 1akf) = v (к j kt) — |
+ |
|
|
|
+ у; №°+5, , |
IM* + |
») - н (t + |
1) i (t + 1 ц,)|. |
Эти уравнения должны быть решены при двухточечных граничных условиях
X(01kf) = |
У"1 [х (01kf) — цх], X{kt |kf) = О, |
3» (О |к,) = |
О, So(A/ |ft/) = 0. |
Обратимся теперь к формулировке задач идентифика ции с использованием метода максимума правдоподобия.
3.4. ИДЕНТИФИКАЦИЯ ПО КРИТЕРИЮ МАКСИМУМА ПРАВДОПОДОБИЯ
В предыдущем изложении штрафных функций для задач идентификации предполагалось, что необходимо оценить (идентифицировать) параметры и состояние си стемы. Избавимся теперь от формального требования идентифицировать состояние системы. Таким образом, при идентификации по максимуму апостериорной вероят
ности необходимо |
максимизировать р [0 |
|Z (kf)] или |
p [ e \ z ( t f ) ] , где 0 |
обозначает неизвестные |
постоянные |
параметры (не включающие состояние системы), по отно шению к которым осуществляется максимизация. При идентификации по критерию максимума правдоподобия максимизируется p{ Z{ kf ) |0] или p [ Z { t f) |0] относи тельно 0. Если неизвестные параметры распределены рав
номерно или имеется |
значительная неопределенность |
(V0велика) в априорном |
распределении, то, как показа |
но в предыдущем разделе, методы идентификации по максимуму правдоподобия и апостериорной вероятности эквивалентны. В этом разделе будут исследованы только оценки максимального правдоподобия для параметров системы (в том числе и для параметров априорных рас пределений). Если известны априорные значения пара-
a.4j |
КРИТЕРИЙ МАКСИМУМА ПРАВДОПОДОБИЙ. |
8 3 |
метров распределений неизвестных параметров системы, их можно включать в штрафные функции, рассматрива емые в данном разделе. Однако подробно этот случай рас сматриваться не будет. Как и прежде, вначале исследуются дискретные системы. Затем результаты формулируются и для непрерывного случая. Для простоты рассмотрим сначала случай, когда помеха наблюдений не зависит от входного шума, а затем снимем это ограничение.
Рассмотрим нелинейную модель формирования и на блюдения сигнала (3.2.1), (3.2.2)
х (к + 1) = |
<р [х (к), к, а] + |
Т[х(к), к, b] w (к), |
(3.4.1) |
z (к) = |
h [х(А), к, с] + |
v (к), |
(3.4.2) |
где а, b и с — векторы неизвестных параметров, которые необходимо идентифицировать. Кроме того, некоррели рованные гауссовские шумы объекта и наблюдений с ну левыми средними значениями могут иметь ковариацион ные матрицы, также подлежащие идентификации. Пусть символ 6обозначает все неизвестные константы, которые должны быть идентифицированы. Мы не будем в явной форме указывать зависимость ф, Г и h от неизвестных па
раметров a, b и с, но должны постоянно помнить, |
что в ф, |
||
Г и Ь содержатся эти |
параметры. |
Необходимо |
макси |
мизировать функцию |
р [Z (kf) |0], которую, используя |
||
определение условных |
вероятностей, |
можно переписать |
|
р [Z (kf) I 0] = |
Ч |
|
|
П Р [z (A) IZ (А — 1), 0]. |
(3.4.3) |
||
к^кг
Поскольку по предположению в момент к0 наблюдения не производятся, то
Р \г (/ci) | z (А0), 0] = |
Р [ъ (Ai) 10ф |
(3.4.4) |
Определим условные моменты: |
|
|
Ь [х (к), /с|0] = $ {z (к) |Z (А — 1), 0} = |
|
|
= &{h [х (к), k ] \ Z ( k - 1), 0}, |
(3.4.5) |
|
V2(к |А - 1,0) = var {z (А) |Z (A - |
1), 0} = |
|
= V -(A | A -1 ,0 ) + Vv (A), |
(3.4.6) |
|
V ~ (A 1A — 1 , 0 ) = v a r { h [ x ( к), к] | Z (A — 1 ), 0 ) . |
( 3 . 4 . 7 ) |
|
84 ФУНКЦИЙ Ш ТРАФА В ЗА Д А Ч А Х ИДЕНТИФИКАЦИИ [ГЛ.
Плотности распределений в (3.4.3), вообще говоря, не гауссовские. Возможно, однако, получить «псевдобайесовскую» плотность, допуская, что условные плотности в (3.4.3) гауссовские, так что
р [ж (к) IZ (к — 1), 0] = |
------ р--------------------------- -т |
|
|
1 |
V |
(2я)й/а [det \х (к\ к — 1, 0)]'2 |
|
|
X ехр {— 0,5 [г (к) — h [х (к), к |0Ц1 х |
|
|
|
X V;1(к ( к — 1, 0) [г (к) — h [х(А), к |0]]}. |
(3.4.8) |
|
При подобном псевдобайесовском допущении функция
правдоподобия примет |
вид |
|
||
|
Ч |
|
|
|
p [Z (k f)\Q] |
ГГ ____________ 1____________ X |
|
||
|
,сД (2H)K/2[detVz(/£|A-l,0)]V. |
|
||
X ехр |
- 4—1z (к |к - |
1, 0) II2_ !(к\к — 1, 0)} , (3.4.9) |
||
|
^ |
|
Vz |
> |
где z (к |к — 1, 0) — так |
называемый процесс |
«невязки» |
||
(Сейдж и Мелса [127]), |
|
|
||
z (к |к — 1, 0) = z (к) — h [х (к), к |0] = |
|
|||
|
= г (к) |
— ё {z(k)\Z (к — 1), 0}, |
(3.4.10) |
|
который представляет новую информацию, вносимую на блюдением z (к). Часто удобнее минимизировать взятый с обратным знаком логарифм выражения (3.4.9), а не
максимизировать саму функцию (3.4.9). |
|
||
Таким |
образом, идентификация по методу максимума |
||
правдоподобия осуществляется минимизацией по |
0функ |
||
ции |
штрафа |
|
|
/ = |
4~ 2 |
ln d e t{V ,(A | A -l,0 )} |
|
|
к=1с, |
+ | z ( A | A - l,0 ) ^ 1(4t_i>e). |
(3.4.11) |
|
|
||
Используя методы стохастического анализа Ито, можно показать, что по мере сгущения точек фиксации миними-
3.4] |
К р и т е р и й м а к с и м у м а п г Ав д о г г о д о й и й |
НЙ |
зация (3.4.11) или максимизация (3.4.9) становится бес смысленной операцией. Это связано с двумя факторами. Дисперсии шумов объекта и измерений в непрерывном случае бесконечны. Кроме того, плотность (3.4.9) беско нечномерна по переменной Z (tf) в непрерывном случае. При этом отсутствует возможность идентификации Vw или Vv, поскольку они бесконечны. Отказавшись от возможности оценки Vv, задачу идентификации можно переформулировать как задачу максимизации отношения правдоподобия
|
L [Z (kf ) |0] |
Р [Z (ft,) | Жи 0] |
|
(3.4.12) |
||||
|
Р [Z (kf) | Жч\ |
' |
||||||
|
|
|
|
|
|
|||
где Ж\ означает |
гипотезу, согласно |
которой |
|
|||||
|
г (к) = h [х (к), к] -\- v (к), |
|
(3.4.13) |
|||||
и Ж 0 — гипотеза, |
утверждающая, |
что |
|
|
||||
Легко |
показать, |
|
что |
z (к) = у (к). |
|
|
(3.4.14) |
|
|
|
|
|
|
|
|||
р [ г ( к ) \ Ъ { к ~ \ ) , Ж , ] = |
|
|
|
|
|
|||
________ 1_______ |
X exp |
|
|
(3.4.15) |
||||
(2я)К;2 Idet Vy (д-)уА |
|
|
|
|
|
|||
так что отношение правдоподобия принимает |
вид |
|||||||
|
ту |
|
|
|
det [Vv (ft)]1'. |
|
|
|
L [ Z( kf) |0] = i i |
[det v- |
|
i * —i ,e)+ vv д а |
x |
|
|||
|
|
|
|
|
X exp {§ [Z (kf) |0]), |
(3.4.16) |
||
где $ |
есть достаточная |
статистика |
|
|
|
|||
|
|
|
Ч |
|
|
|
|
|
S [ Z ( i , ) | e i - - A - S |
|
i , « ) f l 4 | , N i , - |
||||||
|
|
|
|
|
- ! Z(A) ^V yW(ft) - |
(3-4Л7) |
||
Если идентификация Vv не предусматривается, максими зация (3.4.16) по 0 эквивалентна максимизации (3.4.11)
80 ФУНКЦИИ Ш ТРАФ А В ЗА Д А Ч А Х ИДЕНТИФИКАЦИЙ [ГЛ. 3
по 0. Теперь все готово для перехода к пределу при стрем лении к пулю шага фиксации.
Можно показать (Маклендон и Сейдж [95]; Сейдж и Мелса [127]), что по мере сгущения точек фиксации мак симизация (3.4.16) становится эквивалентной миними зации
|
U |
|
J = - |
(0 ^ (t) h [х (0 ,110] + |
|
|
^0 |
|
|
4- ЬТ [x (0, ^] в] 'F-1(0dU (<)} + |
|
|
4 |
|
+ |
- i- ^ hT [X (0 ,110] W ? (t) h [X (t),110] dt, |
(3.4.18) |
где |
dU (t) — z (t) dt |
(3.4.19) |
|
представляет наблюдения, а первый интеграл понимается
в смысле Ито. Как и в |
дискретном случае, |
|
|
h [х (0, t 10] = |
%{h [х (t), t] |Z (t), 0). |
(3.4.20) |
|
К сожалению, мы не в состоянии определить штраф |
|||
ные функции |
(3.4.9) и |
(3.4.11), порождаемые |
членами |
h [х (ft), к (0)] |
и V2(к\к — 1, 0), которые, вообще говоря, |
||
не удается найти точно. По-видимому, наиболее разумным способом определения этих членов является аппроксима
ция |
h [х (к), |
к] |
отрезком |
ряда |
Тейлора |
в |
окрестности |
х (к) |
= х (к |к — |
1, 0), причем |
оценка — условное ма |
||||
тематическое |
ожидание — определяется |
как |
|
||||
|
х (Л |ft — 1,0) = |
(x(ft)|Z(ft — 1),в). |
(3.4.211 |
||||
Для |
линейного приближения получим |
|
|
||||
Ь [х (к), ft] = h [х (ft |ft — 1, 0), ft] + |
|
|
|
||||
dhT [x (ft] ft —1,0), ft] |
(ft) — X (ft I ft — 1,0)]. |
(3.4.22) |
|||||
+ |
|
|
[X |
||||
Э х ( к | к — 1 , 0 )
Подстановка этого выражения в (3.4.5) — (3.4.7) приводит к следующей линейной аппроксимации рассматриваемых
3.4] КРИТЕРИЙ МАКСИМУМА ПРАВДОПОДОБИЯ 87
величин |
|
|
|
|
|
|
h [х(&), к 10] |
h [х (к |к — 1, 0), Л], |
(3.4.23) |
||||
V 5 ( * | f t - M ) |
3 h T [ х ( к | к — 1, 0 ) , Л] |
V- (Л|А |
1, 0) X |
|||
dx(k\k — i,Q) |
||||||
|
|
|
||||
|
_ _ |
dhT[х (к|к ■ 1, В)к]' |
(3.4.24) |
|||
|
X |
дх(к\ к — 1, 0) |
||||
где |
|
|
||||
|
|
|
|
|
||
V- (к j к — 1,0) = |
var {х (к |к — 1, 0)} = |
|
|
|||
|
= |
var {х (к) \Ъ{к — 1), 0), |
(3.4.25) |
|||
z (к |к - |
1, 0) ж z {к) - |
h [х (к |к — 1,0), к], |
(3.4.26) |
|||
Vz (к |к — 1, 0) ж Vv (к) |
+ V s (к |к - 1,0). |
(3.4.27) |
||||
Линейная аппроксимация штрафной функции в этом
случае |
такова: |
|
|
к1 |
|
J — - j - |
2 1П det {V2(к |к — 1,0)} + |
|
|
^ ^ |
|
|
+ |
(3.4.11) |
причем различные составляющие этого выражения опре деляются формулами (3.4.23) — (3.4.27). Таким образом, получен интересный и фундаментальный результат: для определения штрафной функции максимального правдо подобия необходимо знание решения задачи одношаговой экстраполяции х (к), т. е. оценки х (к |к — 1, 0), даже в том случае, если задача оценивания х (к) первоначально не ставилась. Для действительно эффективного исполь зования этой функции штрафа необходимо обладать алго ритмами определения х (к |к — 1, 0) и Vi (к |к — 1, 0)
по Z (к — 1).
Вообще говоря, алгоритмы оценивания, основанные на условном математическом ожидании, которые можно вывести для нелинейной модели формирования сигнала (3.4.1), бесконечномерны, и для получения реализуемых алгоритмов необходимо производить аппроксимацию. Один возможный способ аппроксимации заключается
88 ФУНКЦИИ Ш ТРАФ А В ЗА Д А Ч А Х ИДЕНТИФИКАЦИИ [ГЛ. 3
в допущении гауссовости плотностей р [х (к) |Z (к — 1), 0] |
|||
и р [г (к) |
|z (к — 1, |
0)] |
для получения «псевдобайе- |
совского» |
приближенного |
алгоритма, подобно тому, как |
|
в предыдущем разделе было получено «псевдобайесовское» приближение для отношения правдоподобия.
Для облегчения определения искомых алгоритмов оценивания следует использовать теоремы об условном среднем значении и дисперсии гауссовских случайных величин. Эти теоремы утверждают, что для гауссовских случайных величин я и J3 условное математическое ожи дание и условная дисперсия я относительно § определя
ются формулами |
|
|
Щ(а |Р) = |
р„ + VapVp1(Р — рр), |
(3.4.28) |
var {а |Р) = |
Va — VapVj^Vpo, |
(3.4.29) |
вкоторых
Р« = § {а},
V„ = |
var {а} = Щ{(а — р а) (а — р а)т }, |
(3.4.30) |
|
V„p = |
cov (а, Р) = Ш{(а — р а) (Р~Рр)т }. |
||
В частности, если каждое |
из условных |
распределений |
|
х (к) и z (к) относительно |
Z (к — 1) — гауссовское, то |
||
x(*|0) = ff{x(*)|Z(*),0} = |
$ (х (к) \Z(k — 1), z (к), 0} = |
||
= Ш(х (к) |Z (к — 1), 0} + cov {х (к), z(k)\Z(k — 1), 0} х
X v a r 1{z (к) |Z ( к - 1), 0} [z (к) — $ {z(k)\Z(k — 1), 0}], (3.4.31)
так что оценка условного математического ожидания при
нимает |
вид |
|
х (к 10) == х (к |к — 1, 0) + cov (х (к), z (к) |Z (к — 1), 0} х |
||
X var'1(z (к) |Z {к — 1), 0} [z {к) - h [х {к), к 10Ц. |
(3.4.32) |
|
Обращение к аналогичной теореме об условной дис |
||
персии |
(3.4.29) дает |
|
var (х (к) |Z (к), 0} = var {х (к) |Z (к — 1), 0} —
— cov (х (к), z{k)\Z(k — 1), 0} var-1 (z (к) |Z (к — 1), 0} х
X cov (z (к), х (к) |Z (к — 1)., 0}. |
(3.4.33) |
3.4} |
КРИТЕРИЙ МАКСИМУМА ПРАВДОПОДОБИЯ |
вз |
Точно |
так же |
|
V~ (k [ в) — var (х (к) — х (к) |Z (к), 0} = |
|
|
|
= var {х (к) |Z (к), 0}, |
(3.4.34) |
V- (к |к — 1, 0) = var {х (к) — х (к) [ Z (к — 1), 0} = |
|
|
|
= var {х (к) |Z (к — 1), 0}, |
(3.4.35) |
носкольку оценка условного среднего несмещенная. Таким образом, теорема об условной дисперсии приводит к при ближенному соотношению для дисперсии ошибки филь трации
V - {к 10) = |
V- (к \к— 1, 0) — cov (х (к), z (А) |Z (к — 1), 0} х |
X var-1{г |
(к) |Z (к — 1), 0} cov {(&), х (к) j Z (к —1), 0). (3.4.36) |
Уравнения (3.4.32) и (3.4.36) выражают, следовательно, приближенные алгоритмы для дискретной нелинейной фильтрации методом условного среднего и для дисперсии
ееошибки.
Для использования алгоритмов необходимо определить
выражения для cov (х (к), z (к) |
| Z (к — 1), 0} и |
var (z (к) |Z (к — 1), 0}. Поскольку |
задача существенно |
нелинейна, эти соотношения не могут быть найдены точно, так что возникает необходимость в дальнейших аппроксимациях. Порядком этих аппроксимаций опреде ляется окончательный вид алгоритмов фильтрации.
Линейное приближение для указанных выше ковари аций можно получить, заменяя <р и h линейными членами соответствующих рядов Тейлора в окрестности решений
задач |
фильтрации и |
одношаговой |
экстраполяции: |
|||||
<р [х (£),£] ^<р[х(&| 0), А]+ |
|
|
|
|
||||
|
+ |
9<р [х (к|0), к] 1",Тт |
|
■х (Л|в)Ь |
(3.4.37) |
|||
|
дх (к|0) |
-J |
!*(*)■ |
|||||
h [х (к) , А] ^ |
h [х ( к |к — 1,0), к] + |
|
|
|
||||
аъ? [ х ( к \ к - 1,9),АПТ [х |
|
|k _ 1 ,0)J. |
|
|||||
+F |
Эх(А|А-1,0) |
J |
W |
V 1 |
J |
(3.4.38) |
||
|
|
|
|
|
|
|
|
|
Далее |
используется |
аппроксимация |
первого |
порядка *) |
||||
*) Для получения аналогичного результата можно исполь-
!^ВрТД ? аппроксимацию нулевого порядка Г [х (к), Л] ==
— Г [х (к'1 в), А],
9 0 ФУНКЦИИ Ш ТРАФ А В ЗА Д А Ч А Х ИДЕНТИФИКАЦИИ СГЛ. 3
для rV wr T в окрестности решения задачи фильтрации
х(А |0)
Г[х (А), A] Vw(A)rT[x(*),A]:
:г [х (А 10), A] Vw (к) Г [х (к 10), к] -f- [х (к) — х (к 10)] х
X |
г [i (к 10), A:] Vw(к) Гт [X (к |0), к) (, (3.4.39) |
д х |
( к | 0 ) |
что позволяет нам оценить (приближенно) искомые кова риации. Эти оценки таковы:
cov (х (к), z (А) |Z (А — 1), 0} =
= cov {х {к |к — 1,0), h [х (к), А] |Z (А — 1), 0} ^
^ у - (к |к — 1,0) 9hT Iх (* 1к ~ *’ 9)’ к], |
(3.4.40) |
||
xV 1 |
' |
дх(к\к —1,0) |
4 |
var {г (к) |Z (к — 1), 0} = var {h [х (к), А]|Z (А — 1), 0} +
|
|
X |
X P h 1 [ x ( f c | f c — 1 , 9 |
) , /с] j+ Vv (A). |
(3.4.41) |
P x (/с | к — 1 , 0 ) |
|
|
Для завершения вывода уравнений этого фильтра первого порядка, основанного на методе условного математиче ского ожидания, осталось определить априорную дис персию ошибки. С помощью разложения в ряд легко по лучить, что
Vx (A| А — 1,0) = var {х (к) j Z (А — 1), 0} = |
|
|||||
|
= var {х (А) |Z (А — 1), 0} = |
var (ср [х (А — 1), А — 1] |
|
|||
|
+ Г [х(А — 1), А — 1] w(A — 1) |Z (А — 1), ©} ^ |
|
||||
^ |
a<p[x(fc — 110), Ат — 1] |
у /д. |
^ 10чdyT[x(k — l\Q),k — l] |
|||
|
д х ( к — 1 10) |
х' |
1 J |
д х { к — 1|0) |
"Г |
|
|
+ Г [X (А - |
1 10), А - |
1] Vw (А - 1) Гт [х (А — 1 10), А — 1]. |
|||
|
|
|
|
|
(3.4.42) |
|
|
Оценка, |
осуществляющая |
экстраполяцию на |
один |
||
шаг для функции правдоподобия (3.4.9), |
легко выражается |
|||||
в |
терминах |
оценки |
х (А 10) |
подстановкой разложения |
||
(3.4.37) в модель формирования сигнала (3.4.1) и взятием условного математического ожидания относительно Z (А)
