TeorVer / Лекция 10. Числовые характеристики системы двух случайных величин. n-мерный случайный вектор
.pdfЛекция 10
ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ СИСТЕМЫ ДВУХ СЛУЧАЙНЫХ ВЕЛИЧИН.
n -МЕРНЫЙ СЛУЧАЙНЫЙ ВЕКТОР
ЦЕЛЬ ЛЕКЦИИ: определить числовые характеристики системы двух случайных величин: начальные и центральные моменты, ковариацию, коэффициент корреляции и регрессию; описать двумерное нормальное распределение; сформулировать закон распределения и найти числовые характеристики n -мерного случайного вектора; вывести плотность распределения многомерного гауссова распределения.
Начальные и центральные моменты
Обычно рассматривают в качестве числовых характеристик системы случайных величин начальные и центральные моменты различных порядков.
Начальным моментом порядка k, s системы двух случайных величин
( X ,Y ) называется математическое ожидание произведения X k |
на Y s : |
|||||||||||
k ,s |
M[X kY s ] . |
|
|
|
|
|
|
|
(5.17) |
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
Центральным моментом порядка k, s системы двух случайных величин |
||||||||||||
|
|
|
|
|
|
|
|
|
k |
|
s |
: |
( X ,Y ) называется математическое ожидание произведения X |
на Y |
|||||||||||
|
|
k s |
] , |
|
|
|
|
|
|
|
(5.18) |
|
k ,s |
M[ X Y |
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Y |
mY |
– центрированные случайные величины. |
|||||||
где X X mX , |
Y |
|||||||||||
Для системы дискретных случайных величин ( X ,Y ) |
|
|
|
|
||||||||
|
n |
m |
|
n |
m |
|
|
|
|
|
|
|
k ,s |
|
|
xk ys p ; |
k , s |
(x m |
X |
)k ( y |
j |
m )s |
p , |
||
|
|
i |
j ij |
i |
|
|
Y |
ij |
||||
|
i 1 |
j |
1 |
|
i 1 |
j 1 |
|
|
|
|
|
|
а для системы непрерывных случайных величин ( X ,Y )
85
k , s |
xk ys f (x, y)dxdy ; |
|
k ,s |
(x m |
X |
)k ( y |
m )s f (x, y)dxdy . |
|
|
|
Y |
|
||
Порядок моментов определяется суммой индексов k |
s . |
||||
Начальные моменты первого порядка – это математические ожида- |
|||||
ния случайных величин X и Y : |
|
|
|||
1,0 M[ X 1Y 0 ] |
|
M[ X ] |
mX ; 0,1 M[X 0Y1] |
M[Y ] mY . |
Отметим, что точка (mX , mY ) представляет собой характеристику положения случайной точки ( X ,Y ) , и разброс возможных значений системы случайных величин происходит вокруг этой точки.
Центральные моменты первого порядка равны нулю: |
1,0 |
0,1 |
0 . |
|||
|
|
|
|
|
||
Начальные моменты второго порядка: |
|
|
|
|||
2,0 |
M[X 2Y 0 ] |
M[X 2 ] |
2[X ] ; |
|
|
|
0,2 |
M[X 0Y 2 ] |
M[Y 2 ] |
2[Y ] ; |
|
|
|
1,1 |
M[ X 1Y1] |
RXY . |
|
|
|
(5.19) |
Начальный момент 1,1 называется смешанным начальным моментом
второго порядка и обозначается как RXY . Центральные моменты второго порядка:
|
|
2 |
0 |
] |
2 |
] |
D[X ] |
DX ; |
|
2,0 |
M[X Y |
M[X |
|
||||||
|
|
0 |
2 |
] |
2 |
] |
D[Y ] |
DY ; |
|
0,2 |
M[X Y |
M[Y |
|||||||
|
|
1 1 |
] |
|
KXY . |
|
|
|
(5.20) |
1,1 |
M[X Y |
|
|
|
|
||||
Первые два центральных момента – это дисперсии случайных величин X и |
|||||||||
Y . Момент |
1,1 |
называется смешанным центральным моментом второго |
|||||||
|
|
|
|
|
|
|
|
|
порядка или ковариацией (корреляционным моментом) и обычно обозначается как KXY .
86
Ковариация
Для системы двух случайных величин ( X ,Y ) ковариация выражается формулой
KXY |
|
mX )(Y mY )] , |
(5.21) |
|
M[ XY ] M[( X |
||||
при этом KXY |
KYX . |
|
|
|
Дисперсию можно рассматривать как частный случай ковариации, т. е. |
||||
DX |
2 |
|
|
|
M [ X |
] M [ XX ] |
K XX , DY M[YY ] KYY . |
||
Для независимых случайных величин ковариация всегда равна нулю. |
||||
Докажем это утверждение. |
|
|
||
K XY |
|
|
(x mX )( y |
mY ) f (x, y)dxdy , |
1,1 |
M [ XY ] |
но для независимых случайных величин по теореме умножения плотностей имеем
f (x, y) f1(x) f2 ( y) .
Следовательно,
K XY (x mX ) f1 (x)dx ( y mY ) f2 ( y)dy 0 .
1,0 0 0,1 0
Таким образом, доказано, что ковариация двух независимых случайных величин равна нулю.
Ковариация характеризует степень зависимости случайных величин и их рассеивание вокруг точки (mX , mY ) . Ее можно выразить через начальные моменты:
KXY 1,1 1,0 0,1 RXY mX mY . |
(5.22) |
Ковариация двух случайных величин равна математическому ожиданию их произведения минус произведение математических ожиданий этих величин.
Размерность ковариации, также как и дисперсии, равна квадрату размерности случайной величины.
87
Степень зависимости случайных величин X и Y удобнее характеризовать посредством безразмерной величины – коэффициента корреляции
rXY |
K XY |
, |
(5.23) |
||
X |
Y |
||||
|
|
|
который характеризует степень линейной зависимости, проявляющейся в том, что при возрастании одной из случайных величин другая также проявляет тенденцию возрастать или, наоборот, убывать.
Если rXY 0 , то говорят, что случайные |
величины X и Y связаны |
|||
положительной корреляцией; при rXY |
0 |
– |
отрицательная корреляция |
|
между случайными величинами. Диапазон изменения rXY |
||||
1 rXY 1. |
|
|
|
(5.24) |
Модуль коэффициента корреляции |
|
rXY |
|
характеризует степень "тес- |
|
|
ноты" линейной зависимости или уклонение корреляционной связи от линейной функциональной зависимости случайных величин X и Y .
При независимости случайных |
величин |
rXY 0 , а при линейно |
|||
функциональной зависимости Y |
aX |
b , (a |
0) : |
||
rXY |
1 при a |
0 ; rXY |
1 при a |
0 . |
|
Если коэффициент корреляции равен нулю, то говорят, что случай- |
|||||
ные величины |
X и Y |
не коррелированы, но это не означает, что они |
|||
независимы. При rXY |
0 можно лишь утверждать, что между случай- |
ными величинами отсутствует линейная связь.
Регрессия
Условным математическим ожиданием одной из случайных величин, входящих в систему ( X ,Y ) , называется ее математическое ожидание,
вычисленное при условии, что другая случайная величина приняла определенное значение, т. е. полученное на основе условного закона распределения.
88
Для дискретных случайных величин
M[Y / xi ] |
mY / xi |
m y j py j / xi |
; |
|
|
|
j |
1 |
|
|
|
n |
|
|
M [ X / yi ] mX / yi |
|
xi pxi / y j |
, |
|
|
|
i |
1 |
|
где py j / xi P{Y |
y j / X |
xi}; pxi / y j |
P{X xi /Y y j } – условные |
|
вероятности случайных величин Y и X соответственно. |
||||
Для непрерывных случайных величин |
||||
M [Y / x} mY / x |
yf2 ( y / x)dy ; |
|||
M [ X / y} mX / y |
xf1(x / y)dx , |
где f2 ( y / x) |
и |
f1(x / y) – условные плотности распределения случайных |
|||
величин: Y при X x и X при Y |
y соответственно. |
|
|||
Условное математическое ожидание случайной величины Y |
при за- |
||||
данном X |
x : |
M[Y / x] |
mY / x называется регрессией Y на x ; |
анало- |
|
гично M [ X / y] |
mX / y – регрессией |
X на y . Графики этих зависимо- |
|||
стей как функции x или y |
называют линиями регрессии, или "кривыми |
||||
регрессии" Y на x и X на y соответственно (см. рис. 5.10). |
|
Для независимых случайных величин линии регрессии Y на x и X на y параллельны осям абсцисс, так как математическое ожидание каж-
дой из случайных величин не зависит от того, какое значение приняла другая случайная величина (см. рис. 5.10).
|
|
|
mY / x |
|
|
|
|
|
mX / y |
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
mY |
|
|
|
|
m X |
|
|
|
|
||
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
0 |
x |
0 |
|
y |
|||||||
Рис. 5.10а. Регрессия Y |
на x |
|
Рис. 5.10б. Регрессия X |
на y |
|||||||
|
|
|
|
|
89 |
|
|
|
|
|
|
Двумерное нормальное распределение
Система двух непрерывных случайных величин ( X ,Y ) распределена по нормальному закону, если ее совместная плотность имеет вид
f (x, y) |
|
1 |
|
|
exp |
1 |
|
(x mX )2 |
|
|
|
|
2 |
2 |
|||
|
|
1 r 2 |
||||||
|
|
|
|
|
||||
|
2 |
X Y |
|
|
2(1 rXY ) |
|
X |
|
|
|
XY |
|
|
|
|
|
2r (x m |
X |
)( y m ) |
|
( y m )2 |
|
|
XY |
Y |
|
Y |
. |
(5.25) |
|
|
|
|
2 |
|||
|
|
|
|
|
||
X |
|
Y |
|
Y |
|
|
Это двумерное нормальное распределение, или нормальный закон распределения на плоскости, который полностью определяется заданием его числовых характеристик: mX , mY , DX , DY , rXY .
Условные законы распределения:
f1(x / y) |
|
|
f (x, y) |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
f2 |
( y) |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
1 |
|
|
|
|
|
1 |
|
x |
mX |
|
|
y |
mY |
2 |
||||
|
|
|
|
|
|
|
|
|
|
exp |
|
rXY |
; |
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2(1 rXY2 ) |
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
1 r 2 |
|
|
|
|
|||||||||||
|
2 |
|
|
X |
|
X |
|
Y |
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
XY |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
f2 |
( y / x) |
|
|
f (x, y) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
f1 |
(x) |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
1 |
|
|
|
|
|
1 |
|
y |
mY |
|
|
x |
mX |
2 |
||||
|
|
|
|
|
|
|
|
|
|
exp |
|
rXY |
|
|
. |
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2(1 rXY2 ) |
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
1 r 2 |
|
|
|
|
|
|||||||||
|
2 |
|
|
Y |
|
|
|
Y |
|
X |
||||||||||||||
|
|
|
|
|
|
|
|
|
|
XY |
|
|
|
|
|
|
|
|
|
|
|
|
|
Каждый из этих условных законов распределения является нормальным с условным математическим ожиданием и условной дисперсией, определяемой по формулам:
m |
|
m |
r |
X |
( y m ), D |
|
|
2 |
(1 r 2 |
); |
||||||
X / y |
|
|
X / y |
|
X |
|||||||||||
|
|
X |
XY |
|
|
|
Y |
|
|
XY |
|
|||||
|
|
|
|
|
|
Y |
|
|
|
|
|
|
|
|
||
m |
|
m r |
|
Y |
(x m |
|
), D |
|
2 |
(1 r 2 ). |
|
|||||
|
|
|
X |
|
Y |
|
||||||||||
Y / x |
Y |
XY |
|
|
|
|
Y / x |
|
XY |
|
X
90
Отсюда следует, что для системы нормально распределенных случайных величин X и Y линии регрессии mX / y и mY / x представляют собой
прямые линии, т. е. регрессия для нормально распределенной системы ( X ,Y ) всегда линейна. Для полного описания такой системы нужно знать
пять параметров: координаты центра рассеивания |
(mX , mY ) и ковариа- |
|||||||||||||||||||||||||||
ционную матрицу, состоящую их четырех элементов: |
|
|
|
|
||||||||||||||||||||||||
|
K |
XY |
|
DX |
|
K XY |
|
, при этом |
|
K |
XY |
K . |
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
||||||||||||||||||||
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
KYX |
|
|
DY |
|
|
|
|
|
|
|
YX |
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
При rXY 0 (случайные величины X и Y |
не коррелированы) со- |
|||||||||||||||||||||||||||
вместная плотность распределения системы ( X ,Y ) имеет вид |
|
|
|
|||||||||||||||||||||||||
|
|
|
|
|
|
|
1 |
|
|
|
|
|
(x m |
X |
)2 |
|
|
1 |
|
|
|
( y m )2 |
||||||
|
f (x, y) |
|
|
|
|
|
|
exp |
|
|
|
|
|
|
|
|
|
|
exp |
|
|
Y |
|
|||||
|
|
|
|
|
|
|
|
2 |
2X |
|
|
|
|
|
|
|
|
2 |
Y2 |
|||||||||
|
2 |
|
|
|
|
|
|
|
2 |
|
|
|||||||||||||||||
|
|
|
|
|
|
X |
|
|
|
|
|
|
|
|
Y |
|
||||||||||||
|
|
f1(x) f2 ( y) , |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
т. е. если две нормальные случайные величины X и Y не коррелирова- |
||||||||||||||||||||||||||||
ны, то они и независимы. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
Закон распределения и числовые характеристики |
|
|
|
|||||||||||||||||||||||||
n -мерного случайного вектора |
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
Закон распределения системы |
n |
случайных величин – |
n -мерного |
|||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
( X1, X 2 , , |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
случайного вектора |
X |
|
X n ) с |
составляющими |
X1, X2 , |
, Xn – в общем случае может быть задан в виде функции распределения:
F(x1, x2 , , xn ) |
P{X1 x1, X2 x2 , , Xn |
xn} |
n |
|
|
P{ {X i |
xi }}. |
(5.26) |
i 1
Свойства функции распределения n -мерного случайного вектора аналогичны свойствам функции распределения одной или двух случайных величин:
1. F(x1, x2 , , xn ) есть неубывающая функция каждого из своих аргументов.
91
2.Если хотя бы один из аргументов (x1, x2 , , xn ) обращается в , то функция распределения равна нулю.
3.Функция распределения любой подсистемы (X1, X2 , , Xk ) системы
(X1, X2 , , Xk , , Xn ) определяется, если положить в функции рас-
пределения F(x1, x2 , , xn ) аргументы, соответствующие остальным случайным величинам, равными :
F1,2, ,k (x1, x2 , , xk ) F (x1, x2 , , xk , , , ) .
Чтобы определить функцию распределения Fk (xk ) любой из случайных величин, входящих в систему, нужно положить в F(x1, x2 , , xn ) все аргументы, кроме xk , равными :
Fk (xk ) F( , , , xk , , , ) .
4.Функция распределения F(x1, x2 , , xn ) непрерывна слева по каждому из своих аргументов.
5.Если случайные величины X1, X2 , , Xn независимы, то
F(x1, x2 , , xn ) F1(x1)F2 (x2 ) Fn (xn ) .
Для системы непрерывных случайных величин функция распределения F(x1, x2 , , xn ) непрерывна и дифференцируема по каждому из аргументов, а также существует n -я смешанная частная производная
nF (x1, x2 , , xn ) , x x2 xn
которая является совместной плотностью распределения системы непрерывных случайных величин (X1, X2 , , Xn ) , т. е.
|
|
n F (x , x , , x ) |
|
|
||
f (x1, x2 |
, , xn ) |
1 |
2 |
n |
. |
(5.27) |
x |
x2 xn |
|
||||
|
|
|
|
|
||
|
|
|
92 |
|
|
|
Свойства совместной функции распределения:
1. |
f (x1, x2 , , xn ) 0 . |
2. |
(n) f (x1, x2 , , xn )dx1dx2 dxn 1 . |
3. Если случайные величины X1, X2 , , Xn независимы, то f (x1, x2 , , xn ) f1(x1) f2 (x2 ) fn (xn ) .
Закон распределения системы n зависимых случайных величин, являющийся функцией многих аргументов, весьма неудобен в практическом применении. Поэтому в практических (инженерных) приложениях теории вероятностей рассматриваются в основном числовые характеристики n - мерного случайного вектора:
1. n математических ожиданий:
|
m1 |
M[X1]; m2 |
M[X2 ]; ; mn |
M[Xn ] ; |
2. |
n дисперсий: |
|
|
|
|
D1 |
D[X1]; D2 |
D[X2 ]; ; Dn |
D[Xn ] ; |
3. |
n(n 1) |
ковариаций: |
|
|
Kij |
M[XiYj ] при i |
j . |
|
|
|
Учитывая, что дисперсия случайной величины Xi есть ковариация |
||
Kii , то все ковариации Kij |
( i j ) совместно с дисперсиями Di Kii |
образуют матрицу ковариаций (ковариационную или корреляционную матрицу) – таблицу, состоящую из n строк и n столбцов:
|
|
|
K11 |
K12 |
K1n |
|
|
Kij |
|
|
K21 |
K22 |
K2n |
. |
(5.28) |
|
|||||||
|
|
|
|
|
|||
|
|
|
|
|
|||
|
|
|
Kn1 |
Kn 2 |
Knn |
|
|
|
|
|
|
|
93 |
|
|
Так как Kij K ji , то матрица ковариаций симметрична относительно главной диагонали, на которой стоят дисперсии случайных величин. Если случайные величины попарно не коррелированные, т. е. Kij 0 при i j , то матрица (5.25) становится диагональной:
|
|
|
|
|
K11 |
0 |
|
0 |
|
Kij |
|
|
|
|
0 |
K22 |
|
0 |
. |
|
|
||||||||
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
||||
|
0 |
0 |
Knn |
|
Вместо матрицы ковариаций можно записать матрицу коэффициентов корреляции:
|
|
|
|
|
1 |
r12 |
|
r1n |
|
|
|
|
|
|
|
|||
|
r |
|
|
|
r21 |
1 |
|
r2n |
, |
|
|
|
|
(5.29) |
||||
|
|
|
|
|
|
|||||||||||||
|
ij |
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
rn1 |
rn2 |
|
1 |
|
|
|
|
|
|
|
|||
|
Kij |
|
|
|
|
Kij |
|
|
|
Kij |
|
|
|
D |
|
|
||
где rij |
|
|
|
|
|
|
|
|
|
|
|
|
|
; Kii |
Dii , rii |
i |
|
1 . |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
Di Dj |
|
|
|
Kii K jj |
||||||||
|
i |
j |
|
|
|
|
|
|
i |
i |
||||||||
Отсюда единицы по главной диагонали в матрице (5.29). Если же |
||||||||||||||||||
случайные величины попарно не коррелированные, т. |
е. rij 0 при i j , |
то матрица коэффициентов корреляции будет единичной матрицей:
|
|
|
|
1 |
0 |
|
0 |
|
|
rij |
|
|
0 |
1 |
|
0 |
. |
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
0 |
|
1 |
|
|
|
|
|
|
|
|
|
|
Иногда рассматривают условное математическое ожидание одной из
случайных величин, |
например X1 , |
при условии, что все остальные слу- |
чайные величины |
X2 , X3, , Xn |
приняли определенные значения: |
x2 , x3, , xn . |
|
|
|
94 |