Лекции по теории вероятностей / lect8

Лекция 8 Независимость случайных величин

с дискретным совместным распределением.

Если случайный вектор X = (X1, X2) имеет совместное дискретное распределение, то определение независимости случайных величин X1, X2 эквивалентно следующему.

Определение. X1, X2 независимы, если для любых ak, bl

p(X1 = ak, X2 = bl) = p(X1 = ak)p(X2 = bl).

Независимость случайных величин с абсолютно непрерывным совместным распределением.

Если совместное распределение случайных величин X1, X2 абсолютно непре- рывно, то определение независимости этих случайных величин эквивалентно следующему.

Определение. Случайные величины X1, X2 независимы если совместная плотность распределения этих случайных величин распадается на произведение плотностей.

f(v1, v2) = fX1 (v1)fX2 (v2).

Доказательство эквивалентности общего определения независимости и данного выше для абсолютно непрерывного совместного распределения. Если совместное распределение X1, X2 абсолютно непрерывно и случайные величины X1, X2 независимы, то

Равенство двух крайних интегралов при всех значениях u1, u2 влечет равенство подынтегральных функций, то есть

f(v1, v2) = fX1 (v1)fX2 (v2).

Для доказательства утверждения в обратную сторону можно использовать те же равенства. Пусть f(v1, v2) = fX1 (v1)fX2 (v2). Тогда

Важное замечание. Если случайные величины независимы, то по распределениям этих случайных величин можно восстановить их совместное распределение.

1

n - мерные случайные векторы.

На одном вероятностном пространстве может быть задано n случайных вели- чин X1, X2, ..., Xn. Как уже говорилось ранее, вектор (X1, X2, ..., Xn) называется n-мерным случайным вектором. Функция распределения n-мерного случайного вектора

F (u1, u2, ..., un) = p(X1 < u1, X2 < u2, ..., Xn < un).

Многомерные случайные векторы могут иметь дискретное и абсолютно непрерывное распределение.

Случайный вектор (X1, ..., Xn) имеет дискретное распределение, если существует не более, чем счетное множество векторов x(k), Rn, k = 1, 2, ... таких,

÷òî

p((X1, X2, ..., Xn) = x(k)) = pk

P

èk pk = 1.

Случайный вектор (X1, ..., Xn) имеет абсолютно непрерывное распределение, если существует совместная плотность распределения f(v1, v2, ..., vn). Это означа- ет, что существует такая неотрицательная функция f(v1, v2, ..., vn), что для для любого B = {(v1, v2, ..., vn) : a1 < v1 < b1, ..., an < vn < bn} вероятность того, что случайный вектор попадет в множество B, вычисляется как интеграл от многомерной плотности по этой области. А именно,

Z Z

p(a1 < X1 < b1, ..., an < Xn < bn) = ... f(v1, v2, ...vn)dv1dv2...dvn.

B

Независимость n случайных величин.

Определение.Cлучайные величины X1, X2, ...Xn называются независимы- ми, если для любых a1 < b1, a2 < b2, ..., an < bn

p(a1 < X1 < b1, ..., an < Xn < bn) = p(a1 < X1 < b1)...p(an < Xn < bn).

Как и в двумерном случае n случайных величин независимы тогда и только тогда, когда их совместная функция распределения распадается на произведение функций распределения каждой из случайных величин. То есть

F (u1, u2, ..., un) = FX1 (u1)FX2 (u2)...FXn (un).

Если совместное распределение случайных величин дискретно, то эти слу- чайные величины независимы тогда и только тогда, когда

p(X1 = a1, X2 = a2, ..., Xn = an) = p(X1 = a1)...p(Xn = an)

для любых значений a1, a2, ..., an.

Если совместное распределение случайных величин абсолютно непрерывно, то эти случайные величины независимы тогда и только тогда, когда совместная плотность распределения f(v1, ..., vn) распадается на произведение плотностей каждой из случайных величин

f(v1, ..., vn) = fX1 (v1)...fXn (vn).

2

Функции от случайных величин. Независимость функций от случайных величин.

Пусть (Ω, A, P) - вероятностное пространство и X(ω) случайная величина. Пусть g(x) - некоторая функция.

Определение. Функция от элементарного исхода Y (ω) = g(X(ω)) является случайной величиной, если для любого u R множество

{ω : Y (ω) < u} = {ω : g(X(ω)) (−∞, u)} = {ω : X(ω) g−1(−∞, u)} A.

Если X(ω) - дискретная случайная величина, то любая функция от нее - тоже

случайная величина.

На практике можно считать, что любая функция от случайной величины - случайная величина.

Пусть теперь на вероятностном пространстве (Ω, A, P) заданы две случайные

величины X1, X2 и пусть Y1 = g(X1), Y2 = h(X2) - также являются случайными величинами. Справедлива следующая теорема.

Теорема. Если случайные величины X1, X2 независимы, то и Y1, Y2 - íåçà- висимые случайные величины.

Доказательство. Пусть B1, B2 - борелевские подмножества числовой прямой. Тогда

p(Y1 B1, Y2 B2) = p(g(X1) B1, h(X2) B2) = = p(X1 g−1B1, X2 h−1B2)

Так как случайные величины X1, X2 независимы, то

p(X1 g−1B1, X2 h−1B1) = p(X1 g−1B1)p(X2 h−1B2).

Очевидно, что

{ω : X1 g−1B1} = {ω : g(X1) B1} = {ω : Y1 B1},

{ω : X2 h−1B2} = {ω : h(X2) B2} = {ω : Y2 B2}.

Поэтому окончательно получаем

P (Y1 B1, Y2 B2) = p(Y1 B1)p(Y2 B2).

для любых событий {ω : Y1 B1}, {ω : Y2 B2}.

Если на исходном вероятностном пространстве задано n случайных вели-

чин, то функция Y = g(X1, ..., Xn), при достаточно общих условиях также является случайной величиной. Например достаточно потребовать, чтобы функция g(x1, ..., xn) была непрерывной. Можно доказать в этом случае теорему, которая является обобщением предыдущей теоремы.

Теорема. Если случайные величины X1, X2, ..., Xn - независимы, то случай- ные величины g1(X1, ..., Xm), g2(Xm+1, ..., Xn) - независимы.

3

Распределение функций от случайных величин.

Теорема Пусть X случайная величина, имеющая функцию распределения F (u) и плотность распределения f(v). Тогда случайная величина Y = AX + B, A 6= 0, имеет плотность распределения

Доказательство. Мы будем, как и раньще предполагать, что плотность f(v) - непрерывная функция всюду, кроме конечного числа точек. Пусть сначала A > 0. Тогда

Из этого равенства следует, что всюду (кроме конечного числа точек) существует

А это и означает, что при A < 0 случайная величина Y = AX+B имеет абсолютно непрерывное распределение с плотностью распределения

Следствие. Если X имеет нормальное распределение с параметрами a, σ2, то Y = AX + B имеет нормальное распределение с параметрами Aa + B, A2σ2.

Следствие. Если случайная величина X имеет экспоненциальное распределение с параметром α, то величина Y = αX имеет экспоненциальное распреде-

ление с параметром 1.

Доказательство. Случайная величина X имеет плотность распределения

4

Продолжим изучение распределения функций от случайных величин. Пример. Пусть случайная величина X имеет нормальное распределение с

параметрами 0, 1.

fX (v) = √1 e−v22 .

2π

Нужно найти плотность распределения случайной величины Y = X2. Для этого сначала найдем функцию распределения случайной величины Y. Очевидно, при всех u ≤ 0

FY (u) = p(Y < u) = p(X2 < u) = 0.

Поэтому будем рассматривать значение этой функции распределения при u > 0.

В общем случае справедлива следующая теорема.

Теорема. Пусть теперь Y = g(X), где g(x) произвольная функция, у которой

существует производная и эта производная не равна нулю всюду, кроме конечного числа точек. Пусть X имеет плотность распределения fX (u). Тогда случайная величина Y = g(X) имеет плотность распределения fY (u). Плотность fY (u) при всех u, принадлежащих области возможных значений функции g(x), равна

В точках u, не принадлежащих области возможных значений функции g(x), значение плотности fY (u) равно нулю.

Перейдем теперь к изучению распределения случайных величин, являющихся функциями от нескольких случайных величин с известными совместными распределениями. Будем для простоты рассматривать Y = g(X1, X2).

Теорема. Пусть X1, X2 две случайные величины, имеющие совместную плотность распределения f(u, v). Определим для любого x область Ds = {(u, v) : g(u, v) < s} R2. Тогда

FY (s) = p(Y < s) = p(g(X1, X2) < s) =

Z Z

= p((X1, X2) Ds) = f(u, v)dudv.

Ds

5

Рассмотрим важный частный случай этой теоремы. Предположим, что две случайные величины - независимы и нужно найти распределение суммы этих двух случайных величин. Распределение суммы двух независимых случайных величин называется сверткой двух распределений.

Формулы свертки

Теорема. (Формула свертки для плотностей распределений). Если случайные величины X1, X2 независимы и имеют абсолютно непрерывное распре-

деление с плотностями fX1 (u), fX2 (v), то сумма этих случайных величин X1 + X2 также имеет плотность распределения и эта плотность равна

Доказательство. Рассмотрим область Ds = {(u, v) : u + v < s}. Òàê êàê случайные величины X1, X2 - независимы и каждая из них имеет плотность распределения, то существует и совместная плотность распределения, равная произведению плотностей этих случайных величин. Поэтому

FX1+X2 (s) = p(X1 + X2 < s) = p((X1, X2) Ds) =

Z Z Z Z

= f(u, v)dudv = fX1 (u)fX2 (v)dudv.

Ds Ds

Интегрирование по области Ds можно заменить последовательным вычислением двух интегралов: наружного по переменной u, меняющейся от −∞ до +∞ и внутреннего - по переменной v, меняющейся в интервале (−∞, s − u). Поэтому

Сделаем во внутреннем интеграле замену переменных t = v + u, v = t − u. При этом dv = dt и область интегрирования v (−∞, s − u) перейдет в область интегрирования t (−∞, s). В полученном после замены переменных интеграле меняем порядок интегрирования:

Это и означает, что распределение суммы имеет плотность равную fX1+X2 (t). Второе равенство получается из первого перестановкой в доказательстве пе-

ременных X1, X2.

6

Сумма двух абсолютно непрерывных случайных величин имеет абсолютно непрерывное распределение, если случайные величины независимы.

Пример. Пусть независимые случайные величины X1, X2 имеют одно и то же экспоненциальное распределение E(α) с плотностью

(

f(u) =

0, u ≤ 0

αe−αu, u > 0.

Экспоненциальное распределение входит в класс Гамма-распределений ( E(α) =(1, α).) Воспользуемся формулой свертки для плотностей и подсчитаем плотность распределения X1 + X2.

Z ∞

fX1+X2 (t) = f(t − u)f(u)du.

−∞

Подынтегральная функция отлична от нуля, только если u > 0 и t − u > 0. То есть, подынтегральная функция не равна нулю, если 0 < u < t. Поэтому при t > 0

Z t

fX1+X2 (t) = αe−α(t−u)αe−αudu = α2te−αt.

0

При t ≤ 0, очевидно, fX1+X2 (t) = 0.

Это означает, что, складывая две независимые, Гамма-распределенные ( (1, α))

случайные величины, мы получаем случайную величину также имеющую Гаммараспределение ( (2, α)).

Пусть теперь две случайные величины имеют дискретное распределение и независимы. В качестве примера рассмотрим две независимые случайные вели- чины, имеющие пуассоновское распределение. Пусть X1 имеет пуассоновское рас- пределение с параметром λ, а X2 - пуассоновское распределение с параметром µ. Тогда сумма случайных величин Z = X1 + X2 принимает только целочисленные значения и

7

Итак, мы показали, что сумма независимых случайных величин, имеющих пуассоновское распределение, также имеет пуассоновское распределение с параметром равным сумме параметров распределений слагаемых.

Определение. Если сумма двух независимых случайных величин из одного и того же класса распределений имеет распределение из того же класса, то говорят, что этот класс распределений устойчив относительно суммирования.

Мы показали, что класс пуассоновских распределений устойчив относительно суммирования.

Позднее будут доказаны следующие утверждения.

Лемма. Если случайные величины X1, X2 независимы и имеют нормальное

распределение N(a1, σ12), N(a2, σ22) соответственно, то случайная величина Z = X1 + X2 имеет нормальное распределение N(a1 + a2, σ12 + σ22).

Семейство нормальных распределений устойчиво относительно суммирования.

Лемма. Если случайные величины X1, X2 независимы и имеют распределе- íèå (λ1, α), (λ2, α) соответственно, то случайная величина Z = X1 + X2 имеет Гамма-распределение (λ1 + λ2, α).

Семейство Гамма-распределений (λ, α) с одним и тем же значением параметра α устойчиво относительно суммирования.

Лемма. Если случайные величины X1, X2 независимы и имеют биномиаль- ное распределение B(n, p), B(m, p) соответственно, то случайная величина Z =

X1 + X2 имеет биномиальное распределение B(n + m, p).

Класс биномиальных распределений содним и тем же значением параметра p устойчив относительно суммирования.

Пусть теперь одна из случайных величин имеет дискретное распределение, а вторая - абсолютно непрерывное.

Лемма. Если одна из случайных величин имеет абсолютно непрерывное распределение, а вторая - дискретное распределение и если эти случайные величи- ны независимы, то сумма этих случайных величин имеет абсолютно непрерывное распределение.

Доказательство. Пусть случайная величина X имеет дискретное распреде-

P

ление. Это означает, что p(X = xk) = pk, k = 1, 2, ... è k pk = 1.

Cлучайная величина Y имеет абсолютно непрерывное распределение с непре-

рывной плотностью распределения fY (u). Проведем доказательство в предположении, что эта плотность ограниченная функция. Найдем функцию распределения Z = X + Y.

Мы получили выражение для функции распределения суммы независимых слу- чайных величин X, Y.

8

Ряд из функций распределения, стоящих справа, сходится равномерно по u.

Поэтому производная от суммы этого ряда равна сумме производных (ряд из суммы производных тоже сходится). Следовательно,

!0

9