Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

Учебное пособие по ТВ и МС

.pdf
Скачиваний:
59
Добавлен:
08.03.2016
Размер:
3.21 Mб
Скачать

M [ξ]=1 p + 0 (1p) = p .

Пример 2.4. ξ – число очков, выпавших на игральной кости. Распределение этой случайной величины:

 

ξ

 

 

1

 

2

 

 

3

 

4

 

5

 

6

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

P

 

 

 

1

 

 

1

 

 

 

1

 

 

1

 

 

1

 

 

1

 

 

 

 

6

 

6

 

 

6

 

6

 

6

 

6

 

 

 

 

 

 

 

 

 

 

 

 

M [ξ]= kpk =

1

(1 + 2 +K+ 6) =

7

.

 

 

 

 

 

 

 

 

 

 

6

 

 

 

 

 

 

 

 

 

 

 

k

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

Пример 2.5. Пусть случайная величина Π имеет пуассоновское распределение с параметром λ > 0. Вычислим математическое ожидание

случайной

величины

ξ = (1+ Π)1 .

Так

 

как

 

ξ

принимает значения

(1+ k)1 ,

k = 0, 1, K с вероятностями P{Π = k}, то

 

 

 

 

 

 

 

 

1

 

1

λk

 

λ

 

eλ

λk +1

 

 

eλ

 

λ

 

1

eλ

 

M

 

 

 

=

 

 

e

 

=

 

 

 

=

 

 

(e

 

1) =

 

 

 

.

 

 

1+ k

k!

 

 

(k +1)!

 

λ

 

 

 

λ

1

+ Π

k =0

 

 

 

λ k =0

 

 

 

 

 

 

 

 

Упражнение 2.1. Найти математическое ожидание пуассоновской случайной величины Π.

2.5. Общие свойства математического ожидания

Предложение 2.5. Имеют место следующие свойства.

 

 

1)

Если случайная величина ξ = ξ(ω) постоянна, то есть, для некоторой

константы C R имеет место P{ω :ξ(ω) = C}=1, то M [ξ]

= C .

 

2)

M [Cξ]= CM [ξ] для любого С R.

 

 

 

 

3) Если M[ξ1 ], K, M[ξn ]

существуют, то M [ξ1 +K+ξn ]= M [ξ1 ]+K+ M [ξn ].

4)

Если M [ξ]и M [η]

существуют

и

ξ(ω) ≤ η(ω)

для

всех ω , то

M [ξ]M [η].

 

 

 

 

ожидание M [ξ]

В

частности, если ω ξ(ω) 0 ,

то

математическое

неотрицательно при условии, что оно существует.

Доказательство. Свойства 1) и 2) очевидны. Докажем 3).

M [ξ1 +K+ξn ]= (ξ1 (ω) +K+ξn (ω))P(ω) =

ω

 

]+K+ M [ξn ].

= ξ1 (ω)P(ω) +K+ ξn (ω)P(ω) = M [ξ1

ω

ω

 

31

Докажем 4). Так как при каждом ω имеет место M [ξ]M [η], то

ξ(ω)P(ω) η(ω)P(ω) , что влечет M [ξ]M [η].

ωω

Замечание 2.2. Свойства 2) и 3) называются свойствами линейности математического ожидания.

2.6. Дисперсия случайной величины

Определение 2.9. Дисперсией случайной величины ξ называется число

D[ξ]=& M [ξ M [ξ]]2 .

Очевидно, что дисперсия всегда неотрицательна.

Замечание 2.3. Иногда для вычислений более удобна формула

D[ξ] = M [ξ 2 ] (M [ξ])2 .

Упражнение 2.2. Получить эту формулу.

Указание: использовать свойства 1)–3) математического ожидания.

Смысл дисперсии состоит в том, что она характеризует степень рассеяния значений случайной величины относительно её математического ожидания. Если все значения случайной величины тесно сконцентрированы около её математического ожидания и большие отклонения от математического ожидания маловероятны, то такая случайная величина имеет малую дисперсию. Если значения случайной величины рассеяны и велика вероятность больших отклонений от математического ожидания, то такая случайная величина имеет

большую дисперсию. Величина σξ = D[ξ] называется средним

квадратическим отклонением значений случайной величины ξ относительно ее математического ожидания.

Пример 2.6. Дисперсия бернуллиевской случайной величины:

D[ξ] = 1 (p M [ξ])2 + 0 ((1 p) M [ξ])2 = 1 ( p p)2 + 0 (1 2 p)2 = 1.

Упражнение 2.3. Найти дисперсию числа очков, выпавших при бросании игральной кости.

Упражнение 2.4. Найти дисперсию пуассоновской случайной величины.

32

2.7. Общие свойства дисперсии

Предложение 2.6. Имеют место следующие свойства.

1) Дисперсия не изменится, если к случайной величине прибавить константу: D[ξ + c] = D[ξ] .

В частности, если случайная величина η постоянна, то есть, η(ω) = c , то

D[η] = 0 .

2)Постоянный множитель можно выносить за знак дисперсии, возводя при этом его в квадрат: D[cξ] = c2 D[ξ].

3)D[ξ1 +K+ξn ] = D[ξ1 ] +K+ D[ξn ] + 2 Cov(ξi ,ξ j ) ,

1≤i< jn

где Cov( , ) ковариация, определяемая по следующей формуле:

Cov(ξ,η) =&

M [(ξ M [ξ])(η M [η])]. #

(2.3)

Замечание

2.4. Легко видеть, что

Cov(ξ,ξ) = D[ξ] , и что ковариация

линейна по каждому из своих аргументов, а именно c1 ,c2 R :

Cov(c1ξ1 + c2ξ2 ,η) = c1Cov(ξ1 ,η) + c2Cov(ξ2 ,η) ,

Cov(ξ,c1η1 + c2η) = c1Cov(ξ,η1 ) + c2Cov(ξ,η2 ) .

Упражнение 2.5. Доказать свойства 2) и 3) предложения 2.7.

При доказательстве свойства 3) воспользоваться замечанием 2.4.

Упражнение 2.6. Пользуясь свойствами математического ожидания, показать, что ковариацию можно вычислять по следующей формуле:

Cov(ξ,η) = M [ξη] M [ξ]M [η] .

Замечание 2.5. Особо отметим, что, в отличие от математического ожидания, дисперсия – это нелинейная операция, как видно из свойств 2) и 3). Ее можно условно назвать квадратичной функцией по аналогии с квадратичными формами в линейной алгебре.

2.8. Индикаторы событий

Здесь мы рассмотрим простейшие случайные величины, тесно связанные с событиями. Они удобны при изучении произвольных случайных величин.

Определение 2.10. Индикатором события A

называется случайная

величина I A (ω) :

 

33

I A (ω) = 1 , ω A ,

 

 

0 ,

ω A .

 

 

Другими словами, I A = 1, если

происходит событие A,

и I A = 0 , если

событие A не

происходит. Таким

образом, I A является

бернуллиевской

случайной величиной (см. определение 2.4).

Замечание 2.6.

M[I A ] = 1 P(I A (ω) = 1) + 0 P(I A (ω) = 0) = P(ω A) = P(A) ,

D[I A ] = M[I A2 ] − (M[I A ])2 = P(A) − [P(A)]2 .

Предложение 2.7. Пусть дана последовательность случайных величин ξ1 ,K,ξn ,K такая, что все математические ожидания M[ξi ] существуют и

 

M [

 

ξi

 

]< ∞ .

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

Тогда

 

 

 

 

 

 

 

 

P ω :

 

 

 

 

 

= 1,

 

 

a)

ξi (ω) абсолютносходится

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

б) существует математическое ожидание

M ξi

,

в)

M ξi

 

= M [ξi ]. #

i=1

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

i=1

 

 

 

Предложение 2.8. Пусть D1, … , Dn, … – последовательность несовместных событий: i j Di I D j = . Рассмотрим случайную величину вида

ξ = yk I Dk .

(2.4)

k

 

Предположим, что

 

yk

 

P(Dk ) < ∞ . Тогда M[ξ] = yk P(Dk ) .

 

 

k

k

Доказательство. Данное утверждение есть следствие предложения 2.7.

Действительно, обозначим

ξk = yk I Dk . Заметим, что M[ξk ] = yk P(Dk ) . Легко

проверить, что условия предложения 2.7 выполнены, т.е. M[ξ] = M[ξi ] .

i=1

34

Замечание 2.7. Обратим внимание на то, что в бесконечной сумме (2.4) при любом фиксированном ω только одно слагаемое отлично от нуля. Это вытекает из несовместности событий Di .

2.9. Независимость случайных величин

Определение 2.11. Дискретные случайные величины ξ1,K,ξn называются независимыми, если для всех x1,K, xn R

P{ξ1 = x1 ,K,ξn = xn }= P{ξ1 = x1}KP{ξn = xn }.

Другими словами, x1 ,K, xn R набор {ξ1 = x1},K,{ξn = xn } есть набор независимых событий.

Упражнение 2.7. Показать, что события A1,K, An независимы тогда и только тогда, когда случайные величины I A1 ,K, I An взаимно независимы.

Предложение 2.9. Предположим, что

1) ξ1,K,ξn независимые дискретные случайные величины, 2) Существуют математические ожидания M[ξi ] .

Тогда M [ξ1 Kξn ]= M [ξ1 ]KM [ξn ].

Доказательство. Для простоты рассмотрим лишь случай n = 2 . Обозначим ξ1 = ξ, ξ2 =η . Пусть ξ и η имеют следующие распределения:

ξ

x1

x2

 

 

 

P

p1

P2

 

 

 

xk

 

 

 

pk

 

 

 

η

z1

z2

 

 

 

P

q1

q2

 

 

 

zk

 

 

 

qk

 

 

 

Обозначим:

Aj = {ω : ξ(ω) = x j }, Bk = {ω :η(ω) = zk }.

Имеют место представления

 

 

ξ = x j I Aj

, η = zk I Bk .

(2.5)

j

 

 

k

 

 

 

Заметим, что I A

j

IB

= I A

IB

. Следовательно,

 

 

k

j

k

 

35

ξη = ∑∑ x j zk I Aj I Bk

= x j zk I Aj Bk .

(2.6)

j k

j,k

 

Аналогично замечанию 2.7, при любом фиксированном ω в бесконечных суммах (2.5) содержится не более одного ненулевого слагаемого, так что с произведением рядов в (2.6) нет никаких проблем.

Так как, если ( j, k) ( j, k) то (Aj Bk ) I(AjBk) = . Поэтому можем воспользоваться доказанной выше предложением 2.8:

M[ξη] = x j zk P(Aj Bk ) .

j,k

Так как ξ и η независимы, то

P( Aj Bk ) = P{ξ = x j ,η = zk }= P{ξ = x j } P{η = zk } = P( Aj )P(Bk ) .

Следовательно,

M[ξη] = x j zk P(Aj )P(Bk ) = x j P(Aj ) zk P(Bk ) = M[ξ]M[η] .

j,k

j

k

Предложение 2.10. Если ξ и η независимы, то Cov(ξ,η) = 0 .

Доказательство.

Действительно,

по предложению M[ξη] = M[ξ]M[η] в

силу независимости ξ и η. С другой стороны, Cov(ξ,η) = M [ξη] M [ξ]M [η] (см. упражнение 2.6). Отсюда следует утверждение следствия.

2.10. Некоррелированность случайных величин

Определение 2.12. Случайные величины ξ и η называются некоррелированными, если Cov(ξ,η) = 0 .

Замечание 2.8. Соотношение между некоррелированностью и независимостью случайных величин можно записать в виде:

Независимость / Некоррелированность.

Прямая импликация была установлена в предложении 2.10. Пример некоррелированных, но зависимых случайных величин будет приведен в § 4.4.

Таким образом, если ковариация отлична от нуля, то это свидетельствует о зависимости случайных величин. Для того чтобы иметь количественный

36

показатель того, насколько сильно зависят друг от друга случайные величины,

часто используют коэффициент корреляции:

ρ(ξ,η) =

Cov(ξ,η)

 

 

 

 

D[ξ]

D[η] .

(2.7)

Оказывается, что

всегда

 

ρ(ξ,η)

 

1. Это можно доказать, применяя

 

 

хорошо известное в линейной алгебре неравенство КошиБуняковского. Более того, из этого неравенства вытекает, что если ρ(ξ,η) =1, то случайные величины ξ и η линейно зависимы: c1,c2 R, c12 +c22 > 0 : c1ξ +c2η = 0 .

Замечание 2.9. Линейная зависимость случайных величин ξ и η является частным случаем их функциональной зависимости, то есть зависимости вида f (ξ(ω),η(ω)) = 0 , где f – некоторая (необязательно линейная) функция двух вещественных переменных. Из вышесказанного следует, что коэффициент корреляции хорошо отражает степень линейной зависимости между случайными величинами. Вместе с тем, позже будет показано, что коэффициент корреляции может быть совершенно «нечувствителен» к функциональной зависимости (см. замечание 4.2).

Замечание 2.10. Если ξ1,K,ξn независимы, то

D[ξ1 +K+ξn ] = D[ξ1 ] +K+ D[ξn ].

Вытекает из п. 3) предложения 2.6 и предложения 2.10.

Пример 2.7. Рассмотрим вероятностное пространство (, P) , определенное

формулами (1.2) и (1.3), соответствующее последовательности из n независимых испытаний Бернулли. Введем случайные величины:

ξ1 (ω) =θ1 ,K,ξn (ω) =θn .

Можно проверить, что ξ1,K,ξn – независимы и имеют бернуллиевское распределение

1,

с

вероятностью

p ,

ξi =

с

вероятностью

1p .

0,

Число успехов в последовательности n независимых испытаний можно записать в виде νn = ξ1 +K+ξn . Тогда

M[νn ] = M[ξ1 ] +K+ M[ξn ] = np , D[νn ] = D[ξ1 ] +K+ D[ξn ] = np(1p) .

37

Пример 2.8. Случайные величины ξ и η независимы. Известны дисперсии этих величин: D[ξ] = 5; D[η] = 9 . Найти дисперсию случайной величины ϕ = 2ξ η +5.

Решение. Используя свойства дисперсии (см. предложение 2.6), получим

D[ϕ] = D[2ξ η + 5] = 22 D[ξ] + (1)2 D[η] = 4 5 + 9 = 29 .

Пример 2.9. Доказать, что для независимых случайных величин ξ и η справедливо равенство: D[ξ η] = D[ξ] + D[η] .

Решение. Воспользовавшись свойствами дисперсии, получим

D[ξ η] = D[ξ + (η)] = D[ξ] + D[(1) η] = = D[ξ ] + (1)2 D[η] = D[ξ ] + D[η] .

2.11. Предельные теоремы для схемы Бернулли

Выше приведено значительное число точных результатов, относящихся к последовательности независимых испытаний Бернулли и связанному с ней биномиальному распределению. Мы знаем, что число успехов νn в последовательности из n независимых испытаний Бернулли, можно представить в виде νn = ξ1 +K+ξn , где ξ1,K,ξn – независимые одинаково распределенные бернуллиевские случайные величины. Мы знаем в явном виде распределение νn , а именно,

Pn, p (k) =& P{νn = k} = Cnk pk (1 p)n k ,

где p – вероятность успеха в единичном испытании.

Вместе с тем, во многих задачах приходится находить вероятности Pn, p (k) при больших значениях n. Это может вызвать значительные вычислительные трудности ввиду громоздкости биномиальных коэффициентов Cnk и необходимости возводить числа p и (1p) в высокие степени.

Пример 2.10. Определим вероятность получить не менее десяти успехов в 1000 испытаний схемы Бернулли с вероятностью успеха 0,003. Вероятность этого события равна любому из следующих выражений:

1000

9

 

C1000k

(0,003)k (0,997)1000k = 1 C1000k (0,003)k (0,997)1000

k .

k =10

k =0

 

38

Вычисление даже одного слагаемого в каждом из этих выражений весьма проблематично.

Ниже мы рассмотрим две важные предельные ситуации, когда биномиальное распределение может быть приближено другими распределениями.

2.11.1. Пуассоновское приближение

Рассмотрим последовательность серий: {E11}; {E21 , E22 }; {En1 , En2 , K, Enn }; K,

в которой события одной серии взаимно независимы между собой и каждое из них имеет вероятность pn, зависящую только от номера серии n.

Предложение 2.11. (Предельная теорема Пуассона). Пусть pn → 0 при n → ∞ таким образом, что npn λ , где λ > 0 – заданное число. Тогда для любого фиксированного k

Pn, p (k) − λk eλ → 0 .

n k!

Другими словами, в описанном предельном переходе биномиальные вероятности Pn, p (k) аппроксимируются пуассоновским распределением.

Доказательство. Для краткости будем считать, что n → ∞, pn = λn . Тогда

 

 

k λ

k

 

λ nk

 

n(n −1)K(n k +1) λ k

 

λ nk

 

P

λ (k) = Cn 1−

 

 

 

 

=

 

 

 

 

 

 

 

 

 

1−

 

 

=

 

n

 

 

 

 

k!

 

 

 

n, n

 

n

 

 

 

 

 

 

 

 

 

 

n

 

n

 

 

 

=

λk

 

 

λ n

 

 

n(n −1)K(n k +1)

λ

k

 

 

 

 

 

 

k!

 

1

 

 

 

 

 

 

 

nk

 

 

1

 

=

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

= λk

 

1 −

λ n

 

1

1−

1

K 1

k −1

 

1−

λ

k

λk

eλ

 

 

 

 

 

 

 

 

,

 

 

k!

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

k!

 

 

 

 

 

 

n

 

 

 

 

n

 

 

n

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

поскольку выражение в квадратных скобках стремится к единице, если k фиксировано, а n → ∞ .

Пользуясь данной теоремой, можно приближенно посчитать вероятность получить не менее десяти успехов в 1000 испытаний схемы Бернулли с вероятностью успеха 0,003 из примера 2.10. Поскольку n = 1000 «велико», а p = 0,003 «мало», то, взяв λ = np = 3, можно написать

39

9

9

k

k

 

 

1 C1000k

(0,003)k (0,997)1000k 1

3

e3 =

3

e3

=

k!

 

k =0

k =0

k =10 k!

 

 

 

= табличное значение Π2(10) 0,001.

(2.8)

Замечание 2.11. Приведенная формулировка теоремы Пуассона ничего не говорит о скорости сходимости биномиального распределения к предельному пуассоновскому закону. Осталось решить, достаточно ли n = 103 «велико», а, p = 0,003 «мало», чтобы заменить точную вероятность P(vn = k) на

приближенное значение

λk

eλ . Для этого нужно уметь оценивать

 

k!

 

разницу между этими двумя вероятностями.

Ответ на этот вопрос можно дать, воспользовавшись следующей теоремой.

Предложение 2.12. (Теорема Пуассона с оценкой погрешности).

Пусть

A {0,1, 2,K, n}

произвольное

множество

целых

неотрицательных чисел, vn число успехов в n испытаниях схемы Бернулли с вероятностью успеха p, λ = np. Тогда

P(vn A) λk

eλ

=

Cnk pk (1 p)n k λk

eλ

np2 =

λ2

. #

k A k!

 

 

k A

k A k!

 

 

n

 

Таким образом, данная теорема предоставляет нам возможность самим решать, достаточно ли n «велико», а p «мало», руководствуясь полученной величиной погрешности. Какова же погрешность в (2.8)?

3k

 

3

 

 

9

k

 

k

1000

k

3k

 

3

 

P(v1000 10)

 

e

 

=

1

C1000

(0,003)

 

(0,997)

 

 

e

 

k!

 

 

k!

 

k =10

 

 

 

 

k =0

 

 

 

 

 

k =10

 

 

 

np2 = 0,009.

Погрешность не более 0,009 (при вероятности около 0,001). Во всяком случае, можно утверждать, что искомая вероятность никак не больше, чем

0,01 = 0,001 + 0,009.

2.11.2. Нормальное приближение

Здесь мы рассмотрим случай, когда число испытаний в схеме Бернулли растет ( n → ∞), а вероятность успеха в единичном испытании p остается фиксированной.

Предложение 2.13. (Локальная теорема МуавраЛапласа). Если вероятность p наступления события A в каждом испытании постоянна и

40