Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

книги из ГПНТБ / Медич Д. Статистически оптимальные линейные оценки и управление

.pdf
Скачиваний:
63
Добавлен:
25.10.2023
Размер:
13.81 Mб
Скачать

Центральная предельная

теорема

 

Как отмечалось ранее, центральная предельная тео­

рема частично

обосновывает

использование

гауссовского

распределения

в приложениях. Эта теорема

приводится

здесь без доказательства [Л. 3-1—3-5].

 

 

Теорема 3-1. Пусть

х\

і=\,

...,

 

г — множество

неза­

 

висимых

одинаково

распределенных

 

случайных

п-векто-

 

ров

с

конечными

 

математическими

ожиданиями

х1

и

 

корреляционными

матрицами

Р\

Пусть

уг—случайный

 

п-вектор

 

вида

 

 

 

 

г

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a zT

— п-вектор

вида

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

zr =

[

P r r

i { y

_ r

)

t

 

 

 

 

 

 

где

 

 

 

 

 

 

 

г

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

і=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

г

Р\

 

 

 

 

 

 

 

 

 

 

 

 

 

 

P r

= r j

 

 

 

 

 

 

 

 

Тогда

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

lim f г )

=

т е г е

х р ( - ^ }

 

 

 

 

 

 

 

r-vco

 

 

 

 

 

I

Иными

словами,

при г—>-оо

вектор

zr

становится

га-

!

уссовским

случайным

вектором

с

 

нулевым математиче-

'

ским

ожиданием

и

единичной

корреляционной

матри­

 

цей. Это означает, что если

случайное

явление,

 

на­

 

блюдаемое

на

макроскопическом

 

уровне,

является

!

суперпозицией произвольно

большого

числа

независи-

Iмых случайных явлений, происходящих на микроскопи­ ческом уровне, но такое явление можно описывать с по­ мощью гауссовского распределения.

Линейные

преобразования и линейные

комбинации

Большая

часть

дальнейшей

работы

будет

связана

о линейными

преобразованиями

и линейными комбина­

циями гауссовских

случайных

векторов.

Здесь

будет

UP

показано, что эти операции вновь приводят к

гауссов-

ским

случайным векторам.

 

 

 

 

 

 

 

Предположим,

что х — гауссовский

случайный п-век-

тор с математическим ожиданием х

и

корреляционной

матрицей

Рхх,

а А — матрица размера

тХп.

Тогда

слу­

чайный m-вектор

у=Ах

 

является гауссовским

вектором

с математическим

ожиданием у=Ах

и корреляционной

матрицей РѴУ=АРХХА'.

 

Доказательство

этого утвержде­

ния

легко получить

 

с

помощью

характеристических

функций.

Согласно уравнению

(3-32)

характеристиче­

ская

функция

X имеет вид:

 

 

 

 

 

 

 

 

 

ІР, (s) =?Е (e'x's)

 

=

ехр ( jx's

-

s'Ps^.

(3-44)

Характеристическая

функция

у по определению

 

где г — m-вектор.

Ь(г)

 

=

Е(е'у'г),

 

 

 

(3-45)

 

 

 

 

 

 

 

 

 

 

 

Так как у —Ах,

то

 

 

 

 

 

 

 

 

 

 

 

(г) =

Е [ехр / {Ах)'

г) =

Е [ехр jx'

{А'г)} =

<?х

(А'г)

=

 

 

=

ехр

jx'A'r

 

г'АРА'г

 

 

 

 

 

 

=

ехр

j (Ах)'

г

\г-г' (АРА') г

 

 

 

и исходное утверждение доказано.

 

 

 

 

 

Теперь допустим, что х и у—гауссовские

случайные

n-вектор и m-вектор соответственно

с совместной харак­

теристической функцией (3-34). Пусть

А и В — действи­

тельные матрицы

размера

рХп

и рХт.

Покажем,

что

случайный

р-вектор

z=Ax+By

является

гауссовским

вектором с математическим ожиданием z=Ax

+ By и

корреляционной матрицей

 

 

 

 

 

 

 

 

Рzz=АРХХА

-\-АРХѴВ'-\-ВРѴХА

-\-ВРл1уВ'.

 

Доказательство в основном совпадает с доказатель­ ством, приведенным выше. Пусть % — случайный (п + т)- мерный вектор вида

% =

Пусть, кроме того, q означает

(п + т)-мерный

вектор,

а С

обозначает матрицу \\АВ\\

размера

рХ(п+т).

Тогда

z = C\.

 

 

I l l

Согласно

уравнению

(3-32)

 

 

 

 

 

 

 

: ехр

 

1

 

(3-46)

 

 

 

 

 

 

где

 

 

р

 

 

 

 

 

 

Р =

РхУ

 

 

 

 

 

1 XX

 

 

 

 

 

 

РУх

Руу

 

 

 

Характеристическая функция z имеет вид

 

 

 

<?z(s)=E(eiz's),

 

 

 

(3-47)

где s — р-вектор.

 

 

 

 

 

 

Так как

2 = С £ ,

из уравнений

(3-46)

и (3-47)

сле­

дует, что

 

 

 

 

 

 

 

Ь (s) = Е [ехр j (Ck)' s] =

E [ехр j?

(Сs)] =

<р. (Сs)

=

=

ехр ß'(C's)

lT{C's)'P(C's)]

=

 

 

— ехр

j(CÏ)'

s--^-s'

 

{CPC')s^.

 

Это означает, что z является гауссовским случайным вектором с математическим ожиданием

 

z=Œ^\\A

В\

=

Ах +

Ву,

и корреляционной

матрицей

 

 

 

PZZ

= CPC^=\\А

В

Р*х

РхУ

А'

В'

 

 

 

 

 

Рух

РѴѴ

=

АРХХА'

+

АРхуВ'

+

ВРухА>

+

ВРууВ',

что и требовалось доказать.

 

 

і

Вывод

формулы

для

плотности

распределения

С помощью обратного преобразования (3-21) здесь будет показано, что плотность распределения (3-33) со­ ответствует гауссовской характеристической функции (3-32).

Пусть X — гауссовский случайный n-вектор с харак­ теристической функцией (3-32). Предположим, что ма­ трица Р положительно определена. Тогда матрице Р со­ ответствует единственная положительно определенная 112

матрица А = Рм, т. е. такая матрица, что А2

= Р (см.

[Л. 3-6]).

 

Теперь рассмотрим случайный я-вектор

 

у = Р-Ч2(х-х),

(3-48)

где матрица Р _ І / 2 является матрицей, обратной Р 1 / 2 . Слу­ чайный вектор у, очевидно, гауссовский, поскольку он получен из X с помощью линейного преобразования. Ясно, что

Е (У) =

0; Руу = Е (уу') = P-Wppr-W

=

; .

Следовательно,

 

 

 

?ѵ (s) =

exp ( Y s's\ = exp I - - i

 

-

s2 J.

 

4

1=1

'

 

 

 

 

Подставляя этот результат в уравнение (3-21), полу­ чаем:

 

 

 

 

 

00

 

00

 

 

 

 

 

 

 

— 0 0 — 0 0

 

 

 

X

 

 

 

 

 

 

 

 

Так как

 

»=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

j "

exp {—'msi

 

Ys2j

dsi

=

 

 

—00

 

 

 

 

 

 

 

 

 

00

 

 

exp ( d s *

 

 

=

J exp (r-iyiSi)

 

=

 

 

—00

 

 

 

 

 

 

 

00

 

 

 

 

 

 

 

-

-yiß

 

 

 

 

 

 

 

 

I

cos (t/t-s,-) exp ( —

Y

d s

=

V2ve

 

i = V%

 

то отсюда

следует, что

 

 

 

 

 

 

 

 

 

1

 

exp

 

 

 

 

 

 

î(y)

= Ѵ{2к)п

--ТУ'У)-

 

 

Из уравнения (3-48)

 

 

 

 

 

 

у'у = (je

-

je)' р-'12р-1'2

(Х-х)

=

(х-

х)' Р'1 (х— X)

8—85

113

й искомая плотность распределения имеет вид

f{x) =

V (2п)" ехр

• (х %)' Р~1

х) =

 

 

-^(х-х-уР-Чх-х)

Ѵ ( 2 я ) " | Р |

где J = \ P \ -1/2

якобиан преобразования (3-48).

Независимость и

корреляция

В § 3-4 показано,

что два независимых случайных

вектора являются некоррелированными, а обратное утверждение в общем случае неверно. Однако если эти два случайных вектора нормально распределены, то та­

кое утверждение становится справедливым. Это

важное

и полезное свойство гауссовского распределения легко

доказать.

 

 

 

Пусть X и у соответственно п- и m-мерные

гауссов-

ские

некоррелированные

случайные

векторы.

Тогда

ху

и уравнение (3-34)

принимает

вид:

 

(s,

r) =

ехр//(*'s

+

y ' r ) - 4 -

 

О

Р,

 

 

 

 

 

 

 

 

 

 

 

ѵѵ

 

 

ехр / {x's

+

у'г)

-

4 - (s'Pxxs +

r'Pyyr)

 

=

ехр ( jx's

 

к- s'Pxxs)

ехр ( jy'r

2

r'Pyyr ) =

 

 

 

 

 

=

 

?x{s)fy(r),

 

 

 

что и требовалось доказать. Это свойство

можно

также

получить

для

совместной

плотности

 

распределения

f(x, у)

в предположении, что матрицы Рхх

и Рѵѵ

поло­

жительно

определены.

 

 

 

 

 

 

Сформулируем два основных результата, полученных

выше,

в виде

теоремы.

 

 

 

 

 

 

Теорема 3-2.

 

 

 

 

 

 

 

 

1)

Независимые

 

гауссовские

случайные

векторы не-

коррелированы

и

наоборот.

 

 

 

 

2)

Линейное

преобразование

и линейная

комбинация

гауссовских

случайных

векторов

являются

гауссовскими

случайными

векторами.

 

 

 

 

 

 

1U

 

 

 

 

 

 

 

 

 

 

 

Свойства

гауссовского условного

математического

ожидания

 

 

 

 

 

В заключение параграфа получим некоторые свой­

ства условного

математического ожидания

гауссовских

случайных векторов. Эти свойства имеют

фундаменталь­

ное значение для задач оценки.

 

 

 

1. Е(х\у)—случайный

вектор, компоненты

которого

являются линейной комбинацией компонент у.

 

Это

свойство следует

непосредственно

из

уравнения

(3-41)

и п. 2 теоремы 3-2.

 

 

 

 

2. Разность

x—Е(х\у)

не зависит от случайного век­

тора, полученного с помощью любого линейного преоб­

разования

вектора

у.

 

 

 

 

что х — п-вектор,

Чтобы

показать

это, предположим,

у — г-вектор,

а

А — произвольная

матрица

размера

mXr.

Случайные

векторы £ = х—Е(х\у)

и t, = Ay

явля­

ются

гауссовскими. Очевидно,

 

 

 

 

 

 

 

 

1 = Е®

= х-Е[Ех(х\у)]

=

0;

 

 

 

 

 

 

 

Z=

E®

=

Ay.

 

 

 

 

Отсюда

ясно, что

 

 

 

 

 

 

 

 

 

 

Р К = Я [ ( 5 - Г ) ( С - Q ' ] =

 

 

 

— Е{[х — Е (х\у)} (у -

у)' А'} =

Е {[(x - х)

-

 

-

Р*уР^

ІУ -

П

(У-Т>'}А'

= (р-

Л , ) Л ' = О,

и искомый

 

результат

сразу

следует

из п. 1

теоремы

3-2.

 

у

и z

 

 

 

 

где z — m-мерный,

ay —

3.

Если

независимы,

r-мерный случайные

векторы, то

 

 

 

 

 

 

Е(х\у,

z)=E(x\y)+E(x\z)—x.

 

 

(3-49)

Для доказательства свойства определим | как (г + пг)- мерный вектор вида

Тогда из уравнения (3-41) имеем:

Е (х\у, г) = Е (х\І) = x - f РАР-' (* _ 6).

U5

Но

У —7

II PxyPxz ||>

Z 2

 

( I I I I J I K - ^ ' ( 3 ^ ' 0 r =

Рѵѵ

0

- 1

р - 1

0

 

^ УУ

 

0

р

 

0

р - і

 

 

 

 

' ZZ

где использовано равенство Pj/Z = 0, поскольку случайные векторы у и z независимы. Следовательно,

 

 

 

 

 

 

 

 

«/ — У

 

 

 

 

 

 

О

Р.,—1

г —

г

 

= * + л * * 3 " 1

(у - у ) + ( z - s ) =

 

 

 

 

= £ С ф ) + £ ( . * | г ) - * .

 

 

4. Если

г/ и z не обязательно

независимы, то

 

 

 

£(х|г/,

z ) = £ ( * | & z);

 

(3-50)

 

 

Е(х\у,

z)=E(x\y)

 

+E(x\z)—x,

 

(3-51)

где

z=zE(z\y).

 

 

 

 

 

 

Уравнение (3-51) сразу следует из свойств

2 и 3, до­

казанных

выше.

 

 

 

 

 

 

 

Чтобы

доказать (3-50), убедимся, что в силу уравне­

ния

(3-41)

 

 

 

 

 

 

 

 

 

Е(х\у.

г) =

х\+\\РіуРх

РУУ

РѴг -1

У — У

 

 

 

 

 

 

Ргу

Р гг

Z 2

 

Из уравнений

(3-36) — (3-38)

получим:

 

 

 

 

 

 

Руу

Руг

 

 

 

 

 

 

 

 

Ргу

Ргг

 

 

 

 

 

 

РУУ + РУУ

РугСРгУРш

-Р^\Р«гС

 

 

 

 

 

 

 

,—1

 

 

 

 

 

 

 

~СРгуР\Гуу

 

 

 

 

где

 

 

 

 

 

 

 

 

 

 

 

С

(PzZ

Pzy^uu Pyz)

* '

 

 

116

Следовательно,

 

 

Е {х\у,

z)

=

X + {РхуР-1

 

+

Piyp->PyzCPzyP^

 

 

 

-

 

 

-

P*zCPZyP-1)

 

-

у)

! +

(Р«С -

P*yP-'PyzC)

 

(z

-

г) =

 

 

=

* + I V " 1

+

iP^Pyz

 

-

P*z)

CPzyP^\

 

X

 

 

 

 

 

 

Х(У-У)

 

+

(P*z -

P^Pyz)C(z—z).

 

 

 

(3-52)

 

С

другой

стороны,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

E(x\y,

г) =

Е(х\у)

+ Е(у\г')-х

 

=

 

 

 

 

 

 

=

* +

P*»P~l

(У-У)

 

+

Р „PZl

-

 

E{z)\.

 

Ho

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

£(z) =

£ [ z - £ ( z | t , ) ] =

0;

 

 

 

 

 

 

 

 

 

P

„ =

E{(x~x)[z-E{z)}>}

 

 

=

 

 

 

 

 

 

 

 

 

 

xz

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

=

E{(x-x)[z-z-PzyP~l

 

 

 

 

(y -

y)]'}

=

 

 

 

 

 

 

 

 

 

 

P*z

 

PxyPyy

Pyz-

 

 

 

 

 

 

 

Кроме

того,

 

 

 

 

PzyP~x

 

 

 

 

 

 

 

 

 

P^

z z

=

E{[(z-

 

z) -

{y -

y)} [(z

-

z

)

-

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

-

PryP'l

{У -

У)}'}

 

=

Pzz

-

PzyP^Pyz-

 

 

 

 

Следовательно,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

E

(x\y.

z) =

X +

 

P^P-1

(y -

 

jr) +

 

 

 

+

(/>«

-

P*yP~lpyz)

(Pzz

-

V "

'

Py r ) " 1

[Z

Я

( ф ) ]

=

 

 

 

=

* +

 

 

(У -

 

 

+

(P«

- P*yP~lPyz)

 

X

 

 

 

 

 

 

X C [ ( z - 2 ) - P n , P - , 0 / - ^ ) ] =

 

 

 

 

=

* +

 

l * V £

+ ( Л ^ Ч *

-

P*z) CPzyP-1]

(У-У)

+

v

 

 

 

 

+ ( ^ z - - P x y P - 1 P y 2 ) C ( z - 2 ) .

 

 

(3-53)

Из уравнений (3-52) и (3-53) сразу следует уравнение (3-50).

117

Заметим, что если бы все случайные векторы имели нулевые математические ожидания, то многие преобра­ зования существенно упростились. Поскольку математи­ ческое ожидание случайного вектора изображается сред­ ней точкой евклидова пространства, около которой рас­ пределены точки, изображающие значения случайного вектора, часто бывает удобно перенести начало коорди­ нат с помощью формулы % — х—x и проводить все опера­ ции со случайным вектором g, имеющим нулевое мате­ матическое ожидание. Ненулевое математическое ожида­ ние можно ввести вновь в любое удобное время. В дальнейшем обычно будет использоваться именно та­ кой подход.

З А Д А Ч И

К ГЛ. 3

 

 

 

 

 

 

 

 

 

 

 

3-1. Вывести уравнение (3-3).

 

 

 

 

 

 

 

 

3-2.

Как

выглядит функция

f(x\y)

в

примере

3-2

для

случаев

ï = + l и у

=—П

 

 

 

 

 

 

 

 

 

 

 

 

3-3.

Изобразить функцию f(xi,

xz)

из примера 3-3

для Хі = х2 и

отметить на рисунке х.

 

 

 

 

 

 

 

 

 

 

 

3-4. Доказать четыре основных свойства условного математиче­

ского ожидания,

приведенные на стр. 98.

 

 

 

 

 

 

3-5.

Вывести

уравнения

(3-36) — (3-38).

 

 

 

 

 

 

3-6.

Пусть

x — гауссовский

случайный п-вектор с

математиче­

ским ожиданием х и корреляционной матрицей

Рхх.

Показать, что

вектор у=Ах+Ь,

 

где А—матрица

размера тХп,

а Ь — постоянный

гсг-вектор, является гауссовский

случайным

вектором

и определить

его математическое ожидание и корреляционную

матрицу.

 

3-7..

С помощью гауссовской плотности распределения

(3-33),

используя

определение Е(х)

и Е[(х—х)(х—г)1],

показать, что Е(х) =

= х и Е[(х—х)

(х—х)'] =

Р.

 

 

 

 

 

 

 

 

 

 

3-8.

Пусть

x — гауссовская

случайная

величина

с нулевым мате­

матическим

ожиданием и

дисперсией

Р =

о"2 >0.

Показать,

что А-й

момент

x,

определяемый

соотношением

р-ь = £ ( * * ) ,

где k—\, 2,

имеет вид

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1 X 3 X

•• • X

{k — 1) о* для четных k;

 

 

 

 

 

 

 

 

 

 

 

 

для

нечетных

k.

 

Указание.

 

Использовать

характеристическую

функцию случайной

величины и вывести соотношение

 

 

 

 

 

 

 

 

~ds* «=0

где }=Ѵ—1. Этот результат в n-мерном случае называется теоремой моментов [Л. 3-4].

3-9. Если x — гауссовский случайный п-вектор, то следует ли отсюда, что ^-вектор, включающий любые k компонент вектора х,

m

при k=\,

2, ..., h—i также является гауссовским случайным

векто­

ром?

 

 

 

 

 

 

 

 

 

 

 

3-10. Показать с

помощью

функции

плотности

распределения

(3-35), что два некоррелированных

гауссоЕСких

случайных

вектора

независимы в предположении, что матрицы РХх

и Руѵ

положительно

определены.

 

 

 

 

 

 

 

 

 

Остальные задачи имеют своей целью

иллюстриро­

вать

возможность

применения

некоторых

результатов

главы для получения оптимальных оценок

случайного

вектора.

 

 

 

 

 

 

 

 

 

3-11.

Пусть X и у

случайные векторы с нулевыми математиче­

скими ожиданиями п- и m-мерные соответственно.

 

 

Предположим,

что

вектор у

известен,

и

обозначим через jT=

= h (у)

 

оценку х,

где

 

h — определенная

л-мерная

вектор-функция

вектора у; т. е. значение

Л(-) известно при любом заданном

значе­

нии у.

Поскольку ошибка

оценки,

определяемая

здесь

как х

—х,

не будет в общем случае нулевой, требуется определить х таким об­ разом, чтобы минимизировать некоторую меру ошибки х. Одной из возможных мер ошибки является величина

называемая среднеквадратической ошибкой. Разумеется, возможны и другие меры ошибки, обычно называемые функциями потерь, функ­ циями штрафов, показателями или критериями качества и т. д. По­ казать, что значение х, минимизирующее среднеквадратическую

ошибку L, определяется выражением х = Е(х]у). Указание: Использовать тот факт, что

и

положить

 

£* [g (*)] =

£« {£*[g

(*)ЫЬ

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

g(x)

~?'&

=

(х—х)'

{х — х).

 

 

 

 

 

Этот результат показывает, что для квадратичного критерия ка­

чества наилучшей или оптимальной

оценкой

является

условное мате­

матическое

ожидание.

 

 

 

 

 

 

 

 

 

 

 

 

3-12. Как выглядит выражение для оптимальной оценки в задаче

3-11, если X и у

независимы?

 

 

 

 

 

 

 

 

 

 

 

3-13. Пусть

X — «-мерный,

а

у — /«-мерный

случайные

векторы

с

нулевыми

математическими

ожиданиями

и известной

совместной

плотностью

распределения f(x,

у).

Предположим,

что

значение у

известно и нужно определить

оценку х

вида

х=А°у,

где

А0—матрица

размера пхпг. Предположим

также, что А0

требуется

отыскать среди

множества всевозможных матриц А размера пХпг

таким

образом,

чтобы минимизировать

критерий качества

 

 

 

 

 

 

 

 

 

 

L =

 

E[(x-Ay)'(x-Ay)).

 

 

 

 

119

Соседние файлы в папке книги из ГПНТБ