книги из ГПНТБ / Медич Д. Статистически оптимальные линейные оценки и управление

¥у (s) =

«'»• —

1

1 2<ів»

ûf(/

і Т ^ " е

*У

= 1

oo

2аа»

J

s к 2гса(/

О

Замечая, что из соотношения

Y =

аХ2

при а > 0 следует, что

Y Зг 0,

получаем:

I

2аи>

е

h (У) = {

I / O — •

Е С Л И

# > °;

0 в остальных

точках.

3-4. НЕЗАВИСИМОСТЬ И КОРРЕЛЯЦИЯ

Независимые

события,

случайные

величины

и случайные

векторы

Два события A,

B ΠQ

называют взаимно

независи­

мыми,

если

Р(АГ\В)

=

Р(А)Р(В).

ния

события

А; эти два

события

являются «несвязан­

ными».

множеств Аи Л2 , .. .

Конечное

или счетное

семейство

...,

Ап, .. . из Q называется независимым, если

F{x) = f[Fi{Xi),

(3-25)

1=1}

где

Fi(Xi)

=Р(ХІ^ХІ).

Семейство

(Xi, ..., ХП)

назы­

вается системой независимых случайных величин.

Из уравнения (3-25) следует, что соответствующая

плотность

распределения имеет вид:

где

tel

для

і = 1 , ..., я в предположении,

что указанные

произ­

водные существуют.

Соответствующая характеристическая функция

М « ) = = П

( 3 " 2 7 )

где

tel

00 .

Vi (Si) =

j е*%х% (xi) dxi\

i = 1,..., п.

— 0 0

где

F(x,

y)=Fx(x)Fr(y),

(3-28)

Fx(x)=P(X<X);

FY(y)=P(Y^y).

Отсюда следует,

что

где

f(x,

y)=fx(x)fY(y),

(3-29)

dnF

у

c W v

' * ѵ

'

Лс,...сЬгп

ду1...дут

если указанные частные производные существуют.

Соответствующая

характеристическая

функция имеет

вид:

ф(5, Г)=ф*(5)фу(г),

(3-30)

где

00

00

?x(s)=

J...

§eix'sfx{x)dx1...dxn;

—со

—оо

?,(/•)=

J . . .

^ew%{y)dy,...dym.

—00

—00

Здесь s — я-вектор;

r — m-вектор.

Для независимых

X и У имеем:

/

(

^

) =

fy (у)

=

f * { x ) '

так что

00

00

Е(Х\У)=

J^/(x|y)rfx, ...Й?Л;П =

—00

—00

СО

00

=

I" xfx{x)dx1...

dxn

— E

(Х)~х,

—оо

—оо

• /

і

/

— для х 2 +

і/!

f I

V

О в

:

в

остальных точках.

4х,хг<?

1

2

для

X,,

х 2 ^ 0 ;

О в остальных точках

можно представить в виде

f (Xi. x2)

= fXi

(х г ),

где

f

~ * i

fX i

(x,)

= < 2

j c

' e

д л

я

точках;

{.

О в

остальных

аналогично для fx

(х 2 ) .

Легко

убедиться,

что

00

fx,

( * i ) ^ o ;

j

f*,

( * i ) « f c i

=

i ;

0

аналогично для fx

(x2 ).

К о р р е л я ц и я

Две

случайные

величины

Х{

И Ул-

называются не­

коррелированными,

если

(Хг)Еу{У5)

£

( Х , У , ) = £ ,

( 3 - 3 1 )

и коррелированными

в

противном

случае.

Если

X — случайный

n-вектор,

компоненты которого

некоррелированы,

то

Е [{ХІ -

Xi) (Xj]-

ХІ)] =

Е

(XtXi)

-[XiXs

=

Xtxf-ІХіХіЩО

Если X и У— случайные

векторы с компонентами X,,

t =

l , ..., п и

У,-, / = 1 , ...,

т,

причем соотношение (3-31)

справедливо для всех і и /, то X и Y называются

взаим­

но

некоррелированными

случайными

векторами.

В этом

случае

EXY(XY')=E(X)E{Y')=xy'.

Из уравнения (3-16)

PXY

= E[(X-x)(Y-y)']

= E(XY')-xy'

= 0.

Взаимная корреляционная матрица двух некоррели­

рованных

случайных векторов является нулевой.

Две матрицы

Ѵ Х Х

=

Е(ХХ')

и W X Y

=

E(XY')

называются

соответственно

ковариационной

матрицей

X

и взаимной

ковариационной

матрицей

X и У.

Коэффициент

корреляции

двух случайных величин ХІ

и

Yj определяется

соотношением

р . . =

£ Г ( * І - * І )

Vi-Ч\

Yj

Этот коэффициент, очевидно, равен нулю,

если ХІ

и

взаимно

некоррелированы.

но

Докажем

неравенство

| р г 3 | ^ ' -

Д л я этого

достаточ­

рассмотреть

случай

Xi = jjj = 0-

Тогда,

если

с — ска­

лярная постоянная величина, то можно заметить, что

Е [(сХг -

Yjf] =

Е (X]) с2

-

2Е ( В Д ) с +

Е (У*) > 0.

Однако,

так

как выражение Е (X^)£s

— 2Е ( Х ^ ) с -f-

-+-£(У^) является квадоатным

трехчленом относительно с,

необходимые

и достаточные

условия

его

неотрицатель­

ности имеют вид:

Е(Х2)>0

и E(Y2\~

' £

™ 1 2

> 0 .

ОО

00

ExY(XY')=

^xy'fx{x)}y(y)dx1...dxndy,...dym

=

— 0 0

— 00

00

00

СО

00

=

1'*'

\ x f x ( x ) d x t - d x *

J---

J y'fY{y)dy1...dym

=

— 0 0

— 0 0

=

— 0 0

—CO

E(X)E(Y').

достаточно считать

X и

У скалярами.

Пусть функция

fx(x) симметрична

относительно х = 0

и

пусть Y=X2.

Тогда

E(XY) =

E(X3)=

Jx3f(x)dx

=

0,

—со

строчные буквы

x, у, z, |

и £.

Случайный п-вектор называется распределенным

по

гауссовскому

закону

или

нормально

распределенным,

если его характеристическая функция

имеет вид:

ф ж ( 5 ) = е х р

(jx's

cj-s'Ps),

(3-32)

где

s — п-вектор; х = Е(х);

Р=[(х—х)

(х—х)'].

В этом параграфе будет показано, что соответствую­

щая плотность

распределения имеет вид:

1

ехріі

(3-33)

4

с * - * )

Ѵ ( 2 * ) " | Я |

где

\Р\—определитель

матрицы

Р.

Заметим, что f(x)

сингулярной,

если рассматривается

гауссовская

плот­

ность распределения.

Два случайных вектора х и у соответственно

n-мер­

ный и /n-мерный имеют совместное

гауссовское

распре­

деление,

если

их совместная

характеристическая

функ­

ция выражается соотношением

s

1 s

?xy(s,

г) =

е х р | /

X

t

s

1

'р

'7

г

2

г

1 г

Р »

= £ [

( *

- * )

(х-х)'};

Рху = Е[{х-Х){у~у)');

Р, ух-

Руу =

Е[{у-у){у~у)'}.

Ясно, что вводя

два

(п + т)-мерных вектора

X

1

?

=

г

У

и

s

1

exp

Vr(2n)n+m

I P

(3-35)

где матрица P положительно

определена.

но иметь выражение Р~1 через Рхх,

Рху и Рѵу. Его можно

получить,

обозначая

1

! А

в

\В'

с

где

матрицы А, В и С имеют

соответственно

размеры

пХп,

пХт

и тХт

и

определены

таким образом, что

произведение РР~1 равно /, единичной матрице

размера

(п + т) X (п + т). Вычисления

предоставляются

читате­

лю

в качестве упражнения, результат их имеет вид:

А = (Рхх -

Я п Д у - ' Л , » ) - 1

= = < Р ^ +

р^рхуСРуХР^;

(3-36)

В = ~

АР^Р-1

= -

Р _ , Я ™ С ;

(3.37)

С =

(Р;

РуХР~1Рху)-1

=

Я " ' +

Р^РуЛРхуР-1.

(3-38)

УУ

Согласно

уравнениям

(3-33)

и

(3-35)

f(x,

у)

(

1

x — x

X

V(2n)

+™\P

ехр {

-

n

\У — Ч

\

X

А

В

х

— X

В'

С

У— Î

î(y)

=

I Ру

.ехр

—т{у-У)'руу

(У-У)

Далее,

с помощью формулы

Байеса

получим:

f(x\y)--

i

1

x — X

X

| /

(2")2

"

ехр

-

—

У — '?

\Pvv\~

X

А

В

x —x

(3-39)

В'

C-Prf

У —7

Раскрывая квадратичную форму в показателе сте­

пени и подставляя в нее уравнения (3-37)

и (3-38), по­

лучаем:

X

— s

г

А

В

х

—X

•-{х — х)'А{х

— х)-\-

у — У

В'

1 У—у

+ 2(х-х)'В(у-у)

+

{у-у)'

(С-Р-])(у~у)

=

=

(х-х)'А(х-х)-2(х-

x)'

АРХУР-^ (у-у)

+

+ (У-

У)' Р-'Ру.АР^

(у-у)

=

= {

х -

х - РхуР-1

(у - у)]' А[х-х-

Р ^ Р - ' (у - у)].

Обозначая

Q

А

1 — Р х х

— РхуР,... Р1ухі

приведем квадратичную форму к виду

Замечая,

что

(х—m) 'Q -1

(х—т).

Р

р

XX

РхѴ

Рхх -РхуР^Рух

Р*У

= 1

РѴх Руѵ

О

Рии

р7уру

m = Е (х\у) =

z + РхуР-1 (у - у);

(3-41)

Q = Рх]и =

Р** - Р*уР^Ру*-

(3-42)

T^Jf) = ец> pirn's — 4 " s'Qs^j,

(3-43)