Формулы ТВ
.pdfДля двумерной с.в. (X ,Y ) дискретного и непрерывного типа функции рас-
пределения соответственно равны
|
F (x, y ) = å å pij |
|
x |
y |
|
|
F (x, y )= |
ò |
ò f (u,v dudv) |
||
|
xi |
<x y j < y |
|||
|
|
|
|
-¥ -¥ |
|
где |
f (x, y ) – плотность вероятности величины (X ,Y ). |
|
|
||
Свойства плотности вероятности |
|
|
|
||
1) |
f (x, y ) ³ 0 ; |
|
|
|
|
|
¥ ¥ |
|
|
|
|
2) |
ò ò f (x, y dxdy) |
= 1; |
|
|
|
-¥ -¥
3)f (x, y ) = Fxy¢¢ (x, y );
4)вероятность попадания случайной точки (X ,Y ) в область D равна
P{(X ,Y ) Î D} = òò f (x, y )dxdy
D
Случайные величины X и Y называются независимыми, если
F ( x, y) = FX ( x) × FY ( y) .
Для непрерывных независимых с.в. двумерная плотность вероятности f ( x, y) = f X ( x) × fY ( y) .
Математические ожидания и дисперсии случайных величин X и Y , вхо-
дящих в двумерную величину, определяются по формулам
Для дискретных X и Y |
Для непрерывных X и Y |
|
|
||||
M (X ) = mX = ååxi pij |
¥ ¥ |
|
|
|
|
|
|
M (X )= mX = ò ò xf (x, y dxdy) |
|||||||
i j |
|||||||
|
-¥ -¥ |
|
|
|
|
|
|
M (Y ) = mY = åå y j pij |
¥ ¥ |
|
|
|
|
|
|
M (Y )= ò ò yf (x, y |
dxdy) |
||||||
i j |
|||||||
|
-¥ -¥ |
|
|
|
|
|
|
D (X )= DX = åå(xi - mX )2 pij |
¥ ¥ |
|
2 |
|
f |
(x, y dxdy) |
|
i j |
D (X )= ò ò (x - mX ) |
|
|
||||
|
-¥ -¥ |
|
|
|
|
|
|
D (Y )= DY = åå(y j - mY )2 pij |
¥ ¥ |
2 |
f |
|
(x, y dxdy) |
||
i j |
D (Y )= ò ò ( y - mY ) |
|
|
|
|||
|
-¥ -¥ |
|
|
|
|
|
Средние квадратичные отклонения случайных величин X и Y
s (X ) = s X = D (X ) , s (Y )= sY = D (Y ).
Точка (mX , mY ) называется центром рассеивания двумерной случайной ве-
личины (X ,Y ) и описывает положение средней точки, около которой груп-
пируются случайные точки (X ,Y ) Дисперсии D (X ) , D (Y ) и соответст-
336
вующие СКО описывают степень рассеяния случайных точек.
Корреляционный момент с.в. ( X ,Y ) |
(момент связи, ковариация) – сме- |
||||
шанный центральный момент второго порядка: |
|
||||
KXY = cov (X ,Y ) = m1,1 = M ((X - mX )(Y - mY )). |
|||||
|
|
|
k |
s |
- mY ) pij , |
Для дискретной с.в. ( X ,Y ) |
KXY |
= åå(xi - mX )(y j |
|||
|
|
|
i =1 |
j=1 |
|
для непрерывной с.в. ( X ,Y ) |
¥ |
¥ |
|
|
|
KXY = ò |
ò (x - mX )(y - mY ) f |
(x, y dxdy) . |
-¥ -¥
Для вычисления ковариации удобно использовать формулу
KXY = cov (X ,Y ) == M (XY ) - M ( X )× M (Y ).
Свойства ковариации
1.Ковариация симметрична: KXY = KYX .
2.Постоянный множитель можно выносить за знак ковариации:
cov (cX ,Y ) = c × cov (X ,Y ) = cov ( X ,cY ) .
3.Ковариация не изменится, если к случайным величинам добавить постоян-
ные: cov (X + a,Y ) = cov (X ,Y + b) = cov ( X + a,Y + b) = cov (X ,Y ).
4.Дисперсия с.в. есть ее ковариация с самой собой, DX = K XX .
5.Дисперсия суммы (разности) двух с.в. равна сумме их дисперсий плюс (минус) их удвоенная ковариация:
D ( X ±Y ) = DX + DY ± 2KXY .
6. Если случайные величины X и Y независимы, то KXY = 0 .
Ковариация двух с.в. по абсолютной величине не превосходит произведения их средних квадратичных отклонений,
|
|
KXY |
£ sx ×s y . |
|
|
||
Из свойства 6 следует, что если KXY |
¹ 0 , то с.в. X и Y зависимы. Если |
||
KXY |
¹ 0 , с.в. X и Y называют коррелированными. Однако из условия |
||
KXY |
= 0 не следует независимость с.в. X и Y . Если KXY = 0 , с.в. X и Y на- |
зывают некоррелированными. Из независимости следует некоррелированность, обратное утверждение неверно, из некоррелированности независи-
мость не следует.
Из определения ковариации видно, что она описывает и степень рассеяния с.в. X и Y , и связь между этими величинами. Для того, чтобы исключить влияние рассеяния и оценить только степень зависимости, вводят
коэффициент корреляции r = |
cov (X ,Y ) |
= |
|
KXY |
. |
|
|
||||
XY |
s X sY |
|
s X sY |
||
|
|
Свойства коэффициента корреляции
337
1.rXY £ 1.
2.Для независимых с.в. rXY = 0 .
3. Если с.в. X и Y |
связаны |
линейной |
функциональной зависимостью, |
|||
Y = aX + b, a ¹ 0 , то |
|
rXY |
|
= 1, |
причем rXY |
= 1 при a > 0 и rXY = -1 при |
|
|
a< 0 .
4.Если rXY = 1, то с.в. X и Y связаны линейной функциональной зависимостью.
Коэффициент корреляции rXY является мерой линейной связи между случайными величинами: если с.в. независимы, rXY = 0 , если rXY = 1, с.в. связаны линейной зависимостью, при rXY ¹ 1 зависимость носит иной характер. Чем больше rXY , тем больше связь между X и Y похожа на линейную. При
rXY > 0 говорят о положительной корреляции между X и Y , при rXY < 0 – об отрицательной корреляции.
Условные законы распределения
Если с.в. X и Y , образующие двумерную с.в. (X ,Y ), зависимы, для характеристики этой зависимости вводят понятие условного распределения. Напом-
P (AB)
ним определение условной вероятности: P (B A) = P (A ) .
Условным законом распределения с.в. X , входящей в систему с.в. (X ,Y ), на-
зывается ее закон распределения, найденный при условии, что вторая с.в. Y приняла определенное значение (или попала в определенный интервал).
Для дискретной двумерной случайной величины X = {x1 , x2 ,..., xk },
Y = {y1, y2 ,..., ys }, pij = P(X = xi ;Y = yj ), i =1,2,...,k; j =1,2,...,s .
Безусловные вероятности компонент:
s |
s |
Pxi = P (X = xi ) = åP (X = xi ;Y = y j ) = å pij , |
|
j=1 |
j=1 |
k |
k |
Py j = P (Y = y j ) = åP (X = xi ;Y = y j )= å pij . |
|
i=1 |
i=1 |
338
Условные вероятности компонент:
P(xi |
|
|
|
yj ) = P(X = xi |
|
Y = yj )= |
|
P(X = xi ;Y = yj ) |
= |
|
pij |
, |
|||
|
|
|
|
||||||||||||
|
|
|
|
|
P(Y = yj ) |
|
Pyj |
||||||||
|
|||||||||||||||
|
|
|
|||||||||||||
P(yj |
|
xi )= P(Y = yj |
|
|
X = xi ) = |
P(X = xi ;Y = yj ) |
|
= |
pij |
. |
|||||
|
|
|
|||||||||||||
|
|
|
P(X = xi ) |
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
Pxi |
|
Если безусловные и условные вероятности ( Pxi и P(xi yj ), Pyj и P(yj xi ))
отличаются, величины X и Y зависимы, если совпадают – независимы.
Для непрерывной случайной величины (X ,Y ) с плотностью f (x, y ) сум-
мы заменяются интегралами.
Безусловные плотности распределения компонент X и Y
¥ ¥
f1 (x )= ò-¥ f (x, y dy) , f2 (y )= ò-¥ f (x, y dx) .
Условная плотность распределения (или плотность вероятности условно-
го распределения) с.в. |
X при условии, что с.в. |
Y = y : |
|||||||||||
f |
|
x |
|
y |
= |
f (x, y ) |
= |
|
f (x, y ) |
|
, f |
|
( y )¹ 0 |
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|||||||
|
( |
|
|
|
) |
f2 ( y ) |
|
¥ |
f (x, y dx) |
2 |
|
||
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
ò-¥ |
|
|
Условная плотность обладает всеми свойствами плотности распределения:
|
|
|
|
f (x |
|
y ) ³ 0 , |
|
ò-¥¥ f (x |
|
y )dx = 1 . |
||
|
|
|
|
|
||||||||
|
|
|
|
|
||||||||
Аналогично определяется условная плотность распределения с.в. Y при усло- |
||||||||||||
вии, что с.в. X = x : |
|
|
|
|
|
f (x, y ) |
|
f (x, y ) |
|
|||
f |
|
y |
|
x = |
= |
, f ( y )¹ 0 . |
||||||
|
|
|||||||||||
|
|
|
|
|
|
|||||||
|
( |
|
|
) |
|
f (x ) |
|
¥ |
|
|
1 |
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
1 |
|
ò-¥ f (x, y dy) |
|
|||
|
|
|
|
|
|
|
|
|
|
|
Соотношения для условных плотностей могут быть записаны в виде: f (x, y ) = f1 (x )× f (y x ) = f2 ( y )× f (x y ).
Числовые характеристики условных распределений
Условное математическое ожидание случайной величины X при Y = y , где y – одно из возможных значений с.в. Y
для дискретной с.в. |
|
|
для непрерывной с.в. |
||||||||||||||||
|
|
|
|
|
|
( |
|
|
|
|
|
|
) |
|
¥ |
|
( |
|
) |
|
|
k |
|
|
M |
X |
|
Y |
= y |
= |
ò |
xf |
x |
||||||
M (X |
|
Y = y ) = åxi p (xi |
|
y ); |
|
|
|
|
|
y dx , где |
|||||||||
|
|
f (x |
|
y ) |
|
|
|
-¥ |
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
i=1 |
|
|
|
– условная плотность рас- |
|||||||||||||
|
|
|
|
||||||||||||||||
|
|
|
|
|
пределения. |
|
|
|
|
|
|
||||||||
|
|
|
339 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Условное математическим ожидание M (X y ) является функцией y :
M (X y ) = j ( y ),
которую называют функцией регрессии X на Y .
Аналогично определяются условное математическое ожидание M (Y x ) и
функция регрессии Y на X M (Y x) =y (x ).
Линейная регрессия. Прямые линии среднеквадратической регрессии. Метод наименьших квадратов
Рассмотрим двумерную с.в. (X ,Y ), где X и Y – зависимые с.в. и пред-
ставим одну из величин как функцию другой. Подобное представление в общем случае может быть только приближенным. Ограничимся простейшим случаем линейной зависимости:
Y @ g(X )= aX + b,
где a и b – параметры, подлежащие определению. Чаще всего для этого используется метод наименьших квадратов.
Функция g (X ) = a X + b называется наилучшим приближением Y в смысле метода наименьших квадратов(МНК), если математическое ожи-
дание M éY - g (X |
)ù |
2 |
принимает наименьшее возможное значение; функцию |
ë |
û |
|
|
g (X ) называют среднеквадратической регрессией Y на X .
Используя МНК, найдем коэффициенты уравнения регрессии. Рассмотрим математическое ожидание квадрата отклонения
MéY - g (X )ù2 = M [Y -a X - b ]2 = F (a ,b ),
ë û
которое зависит от неизвестных параметров a и b . Обозначим M (X ) = mx ,
|
|
|
|
|
mxy |
|
|
M (Y ) = my , s x = D (X ) , s y = |
D (Y ) , r = |
– коэффициент корреляции |
|||||
|
|||||||
|
|
|
|
s xs y |
|
||
величин X и Y . |
|
|
|
|
|||
F (a ,b ) = s y2 +a2sx2 - 2asxs y r + (my -amx - b )2 . |
|
Исследование F (a ,b ) на экстремум приводит к системе:
ì |
¶F |
|
|
|
2 |
|
|
|
|
ï |
|
= 2as x - 2s xs y r - 2mx (my |
-amx - b ), |
||||||
¶a |
|||||||||
ï |
|
|
|
|
|
|
|
||
í |
¶F |
|
|
|
(my -amx - b ) = 0, |
|
|||
ï |
= -2 |
|
|||||||
ï¶b |
|
||||||||
î |
|
|
s y |
|
|
s y |
|
|
|
решение которой a = r |
, |
b = my - r |
mx . При этих значениях a и b |
||||||
|
|
||||||||
|
|
|
sx |
|
sx |
|
F (a ,b ) минимальна.
340
Линейная среднеквадратическая регрессия Y на X имеет вид
g (X )= a X + b = r |
s y |
X + my |
- r |
s y |
mx |
= my |
+ r |
s y |
(X - mx ). |
|||
|
s x |
|
||||||||||
|
s y |
|
sx |
|
|
|
|
s x |
||||
Коэффициент a = r |
называется коэффициентом регрессии Y на X , а |
|||||||||||
sx |
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
прямая y = my + r s y (x - mx ) – прямой среднеквадратической регрессии Y sx
на X .
Минимальное значение F (a ,b )min
ных выше значениях параметров a и b , называется остаточной дисперсией случайной величины Y относительно случайной величины X ; она описывает величину ошибки, возникающей при замене Y линейной функцией
g (X ) = a X + b . Если r = ±1, остаточная дисперсия равна нулю, так как в
этом случае X и Y связаны строгой, а не приближенной линейной функциональной зависимостью.
Аналогично построенной функции среднеквадратической регрессииY на X можно построить среднеквадратическую регрессию X на Y :
|
|
|
h (Y )= mx + r |
sx |
(Y - my ), |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
s |
y |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
для которой r |
sx |
– коэффициент регрессии X на Y , x = mx |
+ r |
sx |
|
(y - my ) – |
|||||
|
|
|
|||||||||
|
s |
y |
|
|
|
|
|
s |
y |
|
|
прямая среднеквадратической регрессии X на Y , s x2 (1 - r2 ) – |
|
остаточная |
дисперсия величины X относительно величины Y .
Из уравнений прямых среднеквадратической регрессии видно, что они обе проходят через центр рассеяния – точку с координатами (mx ,my ). Если
r = ±1, то обе прямые регрессии совпадают.
ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Предельные теоремы устанавливают связь между теоретическими и наблюдающимися характеристиками случайных величин при большом числе наблюдений.
Закон больших чисел
При большом числе случайных явлений средний их результат практически не является случайным и может быть предсказан с большой степенью определенности. Условия, при которых совокупный результат воздействия случайных факторов практически перестает быть случайным, описываются в нескольких теоремах, которые носят общее название закона больших чисел.
341
Сходимость по вероятности. Последовательность |
|
|
с.в. |
X1 , X 2 ,..., X n ,... |
|
схо- |
||||||||||||||||||||||||||||||
дится по |
вероятности к |
величине A (случайной |
|
или |
неслучайной), |
|
если |
|||||||||||||||||||||||||||||
lim P |
{ |
|
X |
|
- A |
|
< e |
} |
= 1, что записывается как X |
|
|
P |
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||
|
n |
|
n |
¾¾¾® A . |
|
|
|
|
|
|||||||||||||||||||||||||||
n®¥ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n®¥ |
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
(ЗБЧ в форме Чебышева) Если с.в. X1 , X 2 ,..., X n ,... |
|
1) попарно независимы |
||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
n |
|
|
|
|
P |
1 n |
M (X |
|
). |
||||
и 2) их дисперсии ограничены, D (X |
) £ C , то |
|
|
|
X |
|
¾¾¾® |
|
|
|
||||||||||||||||||||||||||
|
|
å |
i |
å |
i |
|||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
n®¥ |
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n i=1 |
|
|
|
|
|
n i=1 |
|
|
|
|||
(ЗБЧ в форме Маркова) Если X1, X2,…, Xn – зависимые с.в. и если |
|
|
|
|||||||||||||||||||||||||||||||||
|
1 |
D |
é n |
|
X |
ù |
¾¾¾®0 |
|
1 n |
|
|
|
P |
1 n |
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
êå |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||
|
n |
2 |
|
|
i ú |
|
|
n®¥ |
|
, то |
|
å |
X |
i |
¾¾¾® |
|
å |
M (X |
i |
). |
|
|
|
|
|
|
||||||||||
|
|
|
|
= |
|
|
û |
|
|
|
|
|
|
|
|
n®¥ |
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
ë i 1 |
|
|
|
|
|
|
|
|
n i=1 |
|
|
|
|
n i=1 |
|
|
|
|
|
|
|
|
|
|
|
Центральная предельная теорема (ЦПТ)
Группа теорем, устанавливающих связь между функцией распределения суммы с.в. и ее предельной формой– нормальным законом распределения. Ниже приведен простейший вариант ЦПТ.
Пусть с.в. X1 , X 2 ,..., X n ,... независимы, имеют одинаковое распределение, ко-
нечные математическое ожидание M (Xi ) = a и дисперсию D (X i ) = s 2 . Распределение стандартной (т.е., центрированной и нормированной) суммы этих величин Zn при n®¥ стремится к стандартному нормальному:
|
|
|
|
n |
|
n |
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
åX i - M çæåX i ÷ö |
|
åX i - na |
|
|
|
|
|
|
|||||||||
|
|
Zn = |
i=1 |
|
è i=1 |
ø |
= |
i=1 |
|
|
|
, |
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
D çæåX i |
÷ö |
|
s |
n |
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
è i=1 |
ø |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
F (x) = P (Z < x)¾¾¾®F (x,0,1), |
|
|
F (x,0,1) = |
1 |
|
x |
e |
- |
t2 |
||||||||||||
|
|
|
ò |
2 dt . |
|||||||||||||||||
Zn |
n |
|
n®¥ |
N |
|
|
N |
|
|
|
|
2p |
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
-¥ |
|
|
|
|
||
Таким образом, при достаточно большом n сумма Zn |
приближенно распре- |
||||||||||||||||||||
делена по стандартному нормальному закону: Zn |
|
N (0,1). Это означает, что |
|||||||||||||||||||
сумма Sn |
= X1 + X 2 + ... + X n |
приближенно распределена по нормальному за- |
|||||||||||||||||||
кону: Sn |
N (na, |
|
s ) с математическим ожиданием na и средним квадра- |
||||||||||||||||||
n |
тическим отклонением ns . Иными словами этот факт выражают так: при
n
n®¥ с.в. åX i асимптотически нормальна.
i=1
Существуют варианты ЦПТ, не требующие одинаковости слагаемых.
342