22.05

8.1Предельные теоремы

Теорема 5 (о монотонной последовательности): Если n % - последовательность неотрицательных случайных величин, то

lim E n = E

n!1

Теорема 6 (лемма Фату): Пусть n - последовательность неотрицательных случайных величин, тогда

E( lim n) 6 lim E n

n!1 n!1

Теорема 7 (теорема Лебега о предельном переходе): Пусть n - произвольная последовательность случайных величин. j n(!)j 6 (!); E < 1 и n ! (почти наверное). Тогда

lim E n = E

n!1

: ! R

Скаждой случайной величиной можно связать измеримое пространство (R; B).

B 2 B 1(B) 2 A P( 1(B)) = P (B)

Каждому борелевскому множеству с помощью случайной величины можно приписать вероятность.

P (R) = 1

Все вычисления, связанные со случайной величиной, переносятся в новое вероятностное пространство - (R; B; P ), R- числовая ось, B- борелевская -алгебра, P - мера вероятности.

P(( 1; 1]) = F (x)

P((a; b]) = F (b) F (a)

+1

RR

E = x dP (x) = x dF (x)

R1

+1

R

Если распределение вероятностей задается плотностью f , то E = xf (x)dx

1

Лекция 9 10.04.2015

9Совместное распределение и независимость случайной величины

; ; - простые случайные величины в ( ; A; P)

pij = P(DiHj) = P( = xi; = yj)

P

pij = 1

i; j

Пусть теперь ; - случайные величины.

20

F (x; y) = P( 6 x; 6 y)

Характеристические свойства:

1)F (x; y) %

2)F (x; y) непрерывна справа

3)F ( 1; y) = F (x; 1) = 0 F (+1; +1) = 1

8x; y 2 R 8 x; y > 0 ! F (x + x; y + y) F (x + x; y) F (x; y + y) + F (x; y) > 0

9.1Независимость случайной величины

Определение: Случайная величина : ! R определена на вероятностном пространстве ( ; A; P):( ) = A = f 1(B) : B 2 Bg

Определение: ; в ( ; A; P) называются независимыми, если ( ) и ( ) независимые.

(A 2 ( ); B 2 ( ) : P(AB) = P(A)P(B))

F (x; y) = Pf 6 xgf 6 yg = P( 6 x)P( 6 y) = F (x) F (y) (f 6 xg = 1(( 1; x]))

В случае абсолютно непрерывных распределений: f (x; y) = f (x)f (y)

Теорема 1 (мультипликативное свойство мат. ожидания): Пусть ; - независимые случайные величины из одного пространства с конечными мат. ожиданиями.

E( ) = E( )E( )

Доказательство:

n

P

= xiIDi i=1

21

m

E n % E E n % E

( n) ( ) ( n) ( )

n n - простая случайная величина

n n %

E( n n) % E( ) (E n)(E n) ! (E )(E )

Пусть = + , = +

E = E + E

E = E + E

E( ) = E( + )( + ) = E + E + E + + E = E +E + E +E E E + +

E E = (E + E )(E + E ) = E E

Следствие:

; - целочисленные случайные величины g (x); g (x) - производящие функции

+ g + (x) = Ex + = Ex x = Ex Ex = g (x) g (x)

Теорема 2: ; - независимые случайные величины.

D(; ) = D + D

Доказательство:

D( + ) = E( + )2 (E( + ))2 = E 2 +E 2 +2E (E )2 2E E (E )2 = D +D +2[E E E ] =

D + D

9.2Ковариация и коэффициент корреляции

D( + ) = E(( + ) (E + E ))2 = E(( E ) + ( E ))2 = D + D + 2E[( E )( E )]

Определение: Пусть ; - две случайные величины, определенные на вероятностном пространстве.

Определение: (; ) - коэффициент корреляции (; ) = E(; ^) = p p

D D

Лекция 10 17.04.2015

Свойства:

1.cov(; ) = E( ) E E

2.Если ; независимы, то cov(; ) = 0

3.j (; )j 6 1 (= если и линейно зависимы) Доказательства:

22

1.cov( ; ) = E( E )( E ) = E( ) E E + E E E E = E( ) E E

2.Если ; независимы, то E( ) = E E cov( ; ) = 0

Замечание : Из cov( ; ) = 0 не следует независимость.

Пример:

Берем z: z = 0; 2 ; с P = 13 .

= cos(z) и = sin(z) очевидно зависимы. cov( ; ) = E( E )( E ) = E E E

E = 13 (cos(0) + cos( 2 ) + cos( )) E = 13 (sin(0) + sin( 2 ) + sin( ))

= 12 sin(2z) ) E = 16 (sin(0) + sin( ) + sin(2 )) = 0 ) cov( ; ) = 0, но они зависимы.

Вычисление:

i;j

Если задано f ; (x; y) :

+1 +1

RR

9.3Задача линейного оценивания

- наблюдаемая

- ненаблюдаемая

23

Ошибка=D [1 ( (; ))2]

Название: ' ( ) - уравнение линейной регрессии. Пример:

- рост отца

- рост сына

E = E = m; D = D = 2, т.к. они из одной семьи.

m = cov(; )( m) = (; )( m) )2

j j < 1 собственно, из этой задачи и регрессии

9.4Ковариационная матрица

1; 2; :::; n vij = cov( i; j)

i = j ) vij = D i

Матрица V = (vij) - ковариационная матрица.

Свойства:

Доказательство 1:

= ( 1; :::; n)T

E = (E 1; :::; E n)T

( E )( E )T = (( i E i)( J E j))n x n E(( E )( E )T ) = V

xT V x = E(xT ( E )( E )T x) = E(xT ( E ))2 > 0

9.5Корреляционная матрица

> 0, то ( ( i; j))n x n - корреляционная матрица.

vij

i j

) на диагонали расположены единицы.

Свойство про xT ( i; j) x > 0 тоже верно.

24

10 Неравенство Чебышева. Закон больших чисел

Теорема 1: Если - случайная величина) 8" > 0, то 1) P(j j > ") 6 E"j j

D

2) P(j E j > ") 6 "2

Доказательство:

1)

j j = j j Ifj j>"g + j j Ifj j<"g ) j j > " Ifj j>"g )

Ej j > " P(j j > ") (т.к. EIfj j>"g = P(j j > ")) 2)

P(j E j > ") = P(( E )2 > "2)

По неравенству 1: P(( E )2 > "2) 6 E( E )2 = D

"2 "2

Замечание : (E( ))2 6 E 2 E 2 - неравенство Шварца при = 1 (Ej j)2 6 E 2

Следствие неравенства [правило трёх сигма]: ; 2 = D

2 1

P(j E j > 3 ) 6 9 2 = 9

Верно для любого распределения.

Теорема 2: Пусть 1; 2; ::: - последовательность независимых случайных величин, таких что

n

P

D k 6 c 8k; Sn = k, тогда

k=1

10.1Законы больших чисел:

Т2 - закон больших чисел в форме Чебышева

Теорема 3 [закон больших чисел Бернулли]: Пусть Sn - число успехов в схеме Бернулли из n независимых испытаний (с вероятностью p успеха в отдельном испытании).

25

11 Характеристические функции. Центральная предельная теорема

= 1 + i 2 - комплекснозначная случайная величина

E = E 1 + iE 2

Докажем, что jE j 6 Ej j (1) :

Напоминание: z = jzj(cos' + isin') = jzjei'

E = jE jei'

jE j = e i'E = E(e i' ) 6 Eje i' j = Ej j

Определение: - случайная величина, определенная на вероятностном пространстве ( ; A; P), тогда под характеристической функцией понимают: h (u) = Eeiu'

Если P( = xk) = pk, то h (u) = Peiu' pk

k

+1

Если f (x), то h (u) = R eiu' f (x)dx

1

Свойства:

1.jh (u)j 6 1 h (0) = 0

^

2.h ( u) = h (u)

3.1; :::; n - независимые величины

Sn = 1 + ::: + n

n

Q

hSn (u) = h k (u)

k=1

4.= a + b ) h (u) = eiu h (au)

5.h (u) непрерывна на R

4.h (u) = Eeiu(a +b) = EeiubEeiua = eiubEeiua = eiubh (au)

5.h0 (u) = dud Eeiu = E(dud eiu ) = E(i )eiu = iE( eiu )

h0 (0) = iE

h00(u) = i2E( 2eiu ) h00(0) = i2E 2

26

11.1Таблица характеристических функций

1.Вырожденное распределение:

P( = a) = 1 h (u) = eiau

2.Равномерное распределение на [a,b]: