Загребаев Методы обработки статистической информации в задачах контроля 2008

Так как QU = I , то можем записать

QDηQт ≥ U тDη−1U −1 .

Учитывая (3.3.43) и (3.3.53), можем записать

ˆ − ≥ ˆ − var(bL b ) var(bMV b ) ,

что и требовалось показать. Очевидно, линейная оценка минимальной дисперсии (3.3.51) обладает, кроме доказанного свойства минимальности дисперсии, теми же свойствами, что и оценка наименьших квадратов.

3.3.6. Метод максимума правдоподобия

плотность вероятности. Такие оценки получили название – оценки максимального правдоподобия, а метод – максимума правдоподобия.

Таким образом,

201

Если выход объекта в каждый i-й момент времени является аддитивной функцией возмущений η(i) , т.е.

где z(i) – вектор наблюдений, и известна функция распределения шума η − f (η(i)) , то нетрудно заметить, что

p( y(i) / c = c ) = f (η(i)) η(i)=y(i)−Ψ(z (i),c )=ε(i) .

Если измерения некоррелированны, то для N взаимно некоррелированных измерений можно записать

В том случае, когда измерения коррелированны, плотность рас-

где ε – вектор невязок, сформированный по N измерениям. Рассмотрим частный случай решения задачи максимального

правдоподобия при нормальном законе распределения вероятности ошибок измерений

Согласно (3.3.56), (3.3.61) и (3.3.62), критерий качества будет иметь вид:

J (c ) = ln[(2π)N /2 (det Dη)1/2 ] + 12 εт(c )Dη−1ε(c ) .

~

Так как первое слагаемое последнего выражения от c не зависит то можно записать:

J (c ) = εт(c )Dη−1ε(c ) ,

ε ~

или, подставляя вместо (c ) его выражение, получим:

202

Как видно, последнее выражение соответствует критерию качества метода наименьших квадратов при R = Dη−1 .

3.3.7. Метод максимума апостериорной вероятности

Тогда, используя формулу Байеса, можно записать апостериор-

ˆ

Оценка cMAP , обеспечивающая максимальное значение апосте-

риорной плотности распределения = ~ , называется оцен- p(c c / y)

кой максимального правдоподобия.

Таким образом, в качестве критерия в методе максимума апостериорной вероятности может быть использована функция:

Подставляя в (3.3.65) формулу Байеса, и принимая во внимание,

В общем случае, решение задачи (3.3.67) не может быть получено в явном виде.

Рассмотрим решение этой задачи для линейной системы (3.1.6) при нормальном законе распределения ошибок измерений η и

нормальном законе априорной плотности распределения p(b ) :

203

Принимая во внимание, что при линейном объекте и аддитивной

где Im – единичная матрица размера m × m .

Используя обозначение (3.3.72), выражение (3.3.71) можно переписать в виде:

Производя дифференцирование и разрешая полученное матрич-

ˆ

ное уравнение относительно bMAP , найдем

Нетрудно заметить, что форма уравнения (3.3.73) совпадает с формой уравнения (3.3.13), однако в данном случае используется расширенная матрица входа U * и расширенный вектор измерений

204

y * , причем вектор математического ожидания μb рассматривают-

ся как дополнительные измерения. Подставляя (3.3.72) в (3.3.73), запишем формулу для оценки в ином виде:

как матрицу дисперсий объединенного вектора ошибок измерений

ной дисперсии по отношению к линейному объекту вида: y* =U *b + η* .

Ковариационная матрица ошибок оценки, согласно формуле (3.3.55), может быть записана следующим образом

или, подставив обозначения (3.3.75 ) и произведя несложные преобразования, получим

Отметим, что в случае отсутствия априорной информации о параметре, дисперсия оцениваемого параметра Db = ∞ . Тогда

205

3.3.8. Байесовские оценки

Можно заметить, что методы оценивания, описанные ранее, представлены в порядке возрастания априорной информации, необходимой для их реализации. Так, для использования метода наименьших квадратов не требуется никаких дополнительных сведений ни о статистических характеристиках шумов измерений или помех, ни о плотности распределения самого оцениваемого параметра. Конечно, статистические свойства полученной оценки зависят от этих характеристик. Для реализации метода максимума правдоподобия требуется знание плотности распределения

~

p( y / c ) , а для метода максимума апостериорной вероятности на-

~

ряду с p( y / c ) должна быть известна и априорная плотность рас-

~

пределения p(c ) .

Для получения байесовских оценок, кроме функций распреде-

~ ~

ления p( y / c ) , p(c ) , p( y) , необходимо знание и некоторой

−∞

При квадратичной функции штрафа (3.2.23) функционал (байесовский риск) принимает вид:

−∞

Оценка cˆB , обеспечивающая минимум критерия (3.3.78), по сути, является оценкой с минимальной среднеквадратической ошиб-

206

относительно cˆB . Равенство (3.3.79) можно переписать в виде:

∞∞

сˆB ∫ P(c / y)dc = ∫cP(c / y)dc .

−∞ −∞

Учитывая теперь, что функция P(c / y) является плотностью

∞

распределения и, следовательно, ∫P(c / y)dc =1, получаем форму-

−∞

лу для оценки

∞

−∞

Нетрудно показать [14], что рассмотренная процедура минимизации действительно приводит к минимально возможному значению байесовского риска (3.2.23). Очевидно, выражение (3.3.80) представляет собой условное математическое ожидание M{c / y}

параметра c при конкретной реализации выхода y , т.е. оценка cˆB

совпадает с апостериорным средним значением параметра c . Рассмотрим более подробно задачу нахождения байесовской

оценки параметров линейного регрессионного объекта (3.1.6) при нормальных законах распределения f (η) и p(b ) , которые описы-

ваются формулами (3.3.68) и (3.3.69). В качестве функции штрафа будем использовать квадратичный критерий (3.3.78). Как было по-

казано, в этом случае ˆ представляет собой апостериорное сред- bB

нее (3.3.80), т.е.

−∞

207

Апостериорная плотность распределения p(b / y) может быть определена по формуле Байеса:

В этой формуле p(b ) (априорная плотность распределения оцениваемого параметра) имеет, по условию, нормальный закон распределения, p( y / b ) = f (η) η=y−Ub – также представляет собой

нормальный закон распределения. Кроме того, учитывая, что объект линейный относительно параметра b и шума η , и исходя из

свойств нормального закона распределения [5], можно заключить, что P( y) – нормальный закон распределения с параметрами:

Подставляя в (3.3.82) выражение для p( y / b ) , p(b ) , p( y) , определяемые формулами (3.3.68), (3.3.69) и (3.3.83), получим:

[det(UDbU т + Dη)]1/ 2 p(b / y) = (2π)m / 2[det Db det Dη]1/ 2 ×

×exp − 1 ( y −Ub )т D−1( y −Ub ) − (b −μ )т D−1(b −μ ) +

η b b b

2

+ ( y −Uμ )т(UD U т − D )−1( y −Uμ ) .

b b η b

Раскрывая скобки в показателе экспоненты и приводя подобные члены, можно записать:

208

Как и следовало ожидать, p(b / y) имеет нормальный закон

распределения с параметрами:

M{b / y} = ξ ; var{b / y} = G −1 .

Таким образом, учитывая (3.3.81), можно заключить:

Сравнивая последние выражения с оценкой максимума апостериорной вероятности для линейного объекта при нормальных зако-

нах распределения b и η , можно заметить, что эти оценки полностью совпадают.

3.4. Рекуррентные сходящиеся алгоритмы при полной априорной информации о помехе

3.4.1. Метод стохастической аппроксимации для решения скалярных стохастических уравнений

Метод стохастической аппроксимации был предложен в 1951 г. Робинсоном и Монро [14] для решения скалярных стохастических уравнений вида

209

где с – искомый параметр; η(i) – случайная последовательность с характеристиками

M{η(i)} = 0 , cov{η(i),η( j)} = ση2 δk (i − j) .

Для нахождения корня стохастического уравнения (3.4.1) было предложено использовать рекуррентную последовательность

Задача состоит в подборе такого коэффициента γi+1 , который

обеспечивал бы состоятельность оценки в среднеквадратичном, а именно:

i→∞ i

Запишем математическое ожидание квадрата ошибки оценки на (i + 1)-м шаге через математическое ожидание квадрата ошибки оценки на i-м шаге:

M{(cˆi+1 − c)2} = M{[cˆi − γi+1(ψ(cˆi ) − y(i +1)) − c]2} =

= M{(cˆi − c)2} + M{γi2+1(ψ(cˆi ) − y(i +1))2} −

оценки на каждом шаге в принципе могла уменьшаться, необходимо выполнение условия:

В противном случае, математическое ожидание квадрата ошибки оценки будет монотонно увеличиваться.

210