Posit1nov (1)

Пусть теперь X = (X1, X2, ..., Xn). Моменты E(Xi), i = 1, 2, . . . , n; D(Xi), i = 1, 2, . . . , n вычисляются аналогично двумерному случаю для каждой случайной величины X1, X2, ..., Xn. Ковариации Kij = K(Xi, Xj ) вычисляются по формулам:

|| || ˚ ˚

(X1, X2, ..., Xn) называется матрица вида K = Kij , где Kij = E(XiXj ).

Данная матрица является неотрицательно определенной симметричной матрицей, имеет на главной диагонали дисперсии Kii = D(Xi), при i = 1, 2, ..., n. Если det(K) = 0, то случайный вектор X имеет вырожденное распределение, то есть множество значений случайного вектора X имеет в Rn нулевую меру (см.замечание 5.1 ), при det(K) 6= 0 - распределение невырожденное.

мы: Y = −X + b, следовательно, множество значений X сосредоточено на прямой y = −x + b и имеет в R2 нулевую меру (площадь).

Ковариационная матрица характеризует сосредоточенность распределения вероятностей случайного вектора (рассеивание). Эллипсоид (~x − ~a)T K−1(~x − ~a) = t, t > 0, где ~x = (x1, x2, . . . xn), а ~a - произвольный фиксированный вектор в Rn называется эллипсоидом рассеивания распределения вероятностей случайного вектора X относительно вектора ~a. Если ~a = EX= (E(X1), E(X2), . . . E(Xn)),

то эллипсоид рассеивания является геометрической характеристикой концентрации распределения вероятностей случайного вектора X около вектора его математических ожиданий EX= (E(X1), E(X2), . . . E(Xn)). Сравним со следствием 4.2 - в одномерном случае эллипсоид рассеивания при a = E(X) будет иметь вид

(x − E(X))D(X)−1((x − E(X)) = t или при t = 9, будем иметь |x − E(X)| = 3σ(X). То есть для X N (a, σ2) эллипсоид рассеивания при t = 9 является границей промежутка (a − 3σ, a − 3σ), в который с вероятностью 0, 9973 попадают значения случайной величины X.

Часто вместо ковариационной матрицы ||Kij || в целях наглядности степени зависимости случайных величин X1, X2, ..., Xn пользуются корреляционной матрицей

Данная матрица является неотрицательно определенной симметричной матрицей, имеет на главной диагонали единицы, причем

53

Условное математическое ожидание и условная дисперсия

Ранее (см. определение 5.5) было дано определение условного закона распределения случайной величины Y при условии X = x. Для условного распределения

рассматривают условные моменты. Остановимся на вычислении условного математического ожидания и условной дисперсии. В дискретном случае имеем

X

=(yj − E(Y |X = xi))2pij /pX,i.

j

Пример 5.8 В условиях примера 5.4 вычислить E(Y |X = 1/3).

Решение. Используя найденную в примере 5.4 условную плотность распределе-

5.4Регрессия и линейная регрессия.

Рассмотрим следующую задачу: пусть задано совместное распределение случайных величин X и Y , как по значению случайной величины X = x предсказать значение случайной величины Y ? Например, известно совместное распределение веса и роста

группы людей. Как, зная рост человека "наилучшим образом" прогнозировать его вес? Для решения такого рода задач служат условное математическое ожидание и регрессия.

Определение 5.13 Предположим, что задано распределение случайного вектора X=(X, Y ). Функции ϕ(x) = E(Y |X = x) и ψ(y) = E(X|Y = y) называются функциями регрессии Y на X и X на Y соответственно. Графики этих функций

называются кривыми регрессии.

54

Можно показать, что если совместное распределение случайных величин X и Y

является нормальным, то функции регрессии являются линейными функциями:

Функция регрессии обладает следующим свойством оптимальности. Рассмотрим следующую задачу: найти такую борелевскую функцию g(x) = ϕb(x), что случайная величина g(X) = ϕb(X) наилучшим образом приближала бы случайную величину Y в смысле среднего квадратичного отклонения, то есть нас интересует

решение экстремальной задачи (то есть функция на которой минимум достигается)

Решением такой задачи является функция регрессии

ϕb(x) = E(Y |X = x).

Замечание 5.6 Можно показать, что значение экстремальной задачи 5.18 - величина E (Y − E(Y |X = x))2 является средней условной дисперсией, то есть

E (Y − E(Y |X = x))2 = E(D(Y |X)),

где условная дисперсия D(Y |X) является случайной величиной определяемой как функция от случайной величины X (см. следующий раздел 6 и (5.13), (5.15)):

d(x) = D(Y |X = x), D(Y |X) = d(X).

Пусть теперь требуется найти линейную функцию g(x) = ax + b, для которой случайная величина g(X) = aX +b являлась бы наилучшим приближением Y в смысле

среднего квадратичного отклонения, то есть в задаче (5.18) минимум рассматривается только в классе линейных функций:

Решением задачи (5.19) является функция вида, аналогичного (5.16),

а определяющее ее уравнение (5.20) называется уравнением линейной среднеквадратичной регрессии Y на X.

55

Пример 5.9 В условиях примера 5.3 найти уравнение линейной среднеквадратичной регрессии Y на X.

Решение. Используя найденные в примере 5.3 распределения случайных величин X и Y найдем математические ожидания и дисперсии

E(X) = −0, 6 + 0, 4 = −0, 2; E(Y ) = −0, 5 + 0, 2 = −0, 3;

D(X) = E(X2) − (E(X))2 = 0, 6 + 0, 4 − (−0, 2)2 = 0.96;

D(Y ) = E(Y 2) − (E(Y ))2 = 0, 5 + 0, 2 − (−0, 3)2 = 0.61.

Для нахождения коэффициента корреляции r(X, Y ) найдем сначала

E(XY ) = (−1) · P (XY = −1) + 0 · P (XY = 0) + 1 · P (XY = 1) =

=−P (X = −1, Y = 1) − P (X = 1, Y = −1) + + P (X = −1, Y = −1) + P (X = 1, Y = 1) =

=−0 − 0 + 0, 5 + 0, 2 = 0, 7.

Тогда

K(X, Y ) = E(XY ) − E(X)E(Y ) = 0, 7 − 0, 2 · 0, 3 = 0.64.

Следовательно,

Пример 5.10 В условиях примера 5.4 найти уравнение среднеквадратичной регрессии Y на X.

Решение. Аналогично примеру 5.8, используя найденную в примере 5.4 услов-

0, x / (0, 1)

исовпадает с графиком линейной среднеквадратичной регрессии Y на X на отрезке (0, 1).

56

6Функциии случайной величины.

6.1Закон распределения монотонной функции случайного аргумента.

Определение 6.1 Пусть функция y = ϕ(x) является борелевской функцией, то есть ϕ−1(B) B для любого B B и на измеримом пространстве (Ω, A) задана случайная величина X. Tогда функция Y = ϕ(X) называется функцией случайного аргумента X. Функция Y (ω) = ϕ(X(ω)) является, в силу определения, случайной величиной, заданной на том же измеримом пространстве (Ω, A).

Закон распределения функции случайной величины.

Рассмотрим сначала дискретный случай. Пусть X - дискретная случайная величи-

на, закон распределения которой задан рядом распределения

Замечание 6.1 Для получения ряда распределения случайной величины Y нужно,

Пусть теперь X - непрерывная случайная величина с плотностью f (x). Рассмотрим (a, b), такой что P (a < X < b) = 1 и дифференцируемую функцию y = ϕ(x), такую что ϕ(a) = c, ϕ(b) = d. Здесь a, b, c, d могут быть как вещественными числами, так и ∞ соответственно.

57

где верхний предел x = ψ(y), ψ(y) - функция обратная ϕ(x). Дифференцируя интеграл по y (от y зависит верхний предел), получим

Рассмотрим теперь случай, когда y = ϕ(x) на (a, b) монотонно убывает.

Можно объединить эти два случая: пусть y = ϕ(x) дифференцируемая монотонная на (a, b), P (a < X < b) = 1 функция, а X - непрерывная случайная величина с плотностью распределения f (x), тогда g(y) - плотность распределения случайной величины Y = ϕ(X) находится по формуле : g(y) = f (ψ(y))|ψ′(y)|, где ψ(y) = ϕ−1(y) - функция обратная для ϕ(x).

Пример 6.2 Пусть случайная величина X подчинена закону распределения Коши с плотностью f (x) = (π(1 + x2))−1/2. Найти плотность распределения g(y) случайной величины Y = 1 − X3. Функция y = 1 − x3 является монотонной на всей

числовой оси, поэтому

В общем случае для непрерывной случайной величины X с функцией распределения F (x), плотностью f (x) и случайной величины Y = ϕ(X), где y = ϕ(x)

- борелевская функция можно написать следующую формулу для нахождения G(y) - функции распределения случайной величины Y = ϕ(X). Обозначим через D(y) = {x : ϕ(x) (−∞, y)} - полный прообраз промежутка (−∞, y), тогда

Z

G(y) = P (Y < y) = P (ϕ(X) < y) = P (X D(y)) = f (x)dx.

D(y)

Пример 6.3 Пусть X N (−1, 1). Найти функцию и плотность распределения случайной величины Y = |X|.

58

Найдем G(y) - функцию распределения Y .

G(y) = P (Y < y) = P (|X| < y) = P (−y < X < y) = F (y) − F (−y) =

Сформулируем без доказательства важное утверждение о независимости функций аргументы которых являются случайными

ми функциями (например, кусочно-непрерывными), тогда случайные величины

6.2Числовые характеристики функции случайной величины.

Рассмотрим непрерывную случайную величину X с плотностью распределения f (x). Пусть задана борелевская функция y = ϕ(x). Тогда математическое ожидание случайной величины Y = ϕ(X) находится по формуле.

Z∞

E(Y ) = ϕ(x)f (x)dx,

−∞

если интеграл в правой части формулы сходится абсолютно. В случае дискретной случайной величины X

X

E(Y ) = E(ϕ(X)) = ϕ(xi)pi,

i

если ряд в правой части формулы сходится абсолютно.

Дополнительные свойства моментов.

59

В этом разделе мы дополним свойства математического ожидания и дисперсии,

Пример 6.4 Пусть имеются две случайные величины X и Y , связанные соотношением Y = −3X + 2, известно, что E(X) = −1, D(X) = 4. Определить E(Y ),

D(Y ), K(X, Y ), r(X, Y ).

Решение. E(Y ) = −3E(X) + 2 = 5; D(Y ) = (−3)2D(X) = 36, σ(X) = 2, σ(Y ) = 6.

В силу линейной зависимости X и Y (a = −3 < 0) имеем r(X, Y ) = −1, следовательно, K(X, Y ) = −σ(X)σ(Y ) = −12. .

6.3Закон распределения функции двух случайных величин.

Рассмотрим систему непрерывных случайных величин (X, Y ) с плотностью распределения f (x, y). Пусть ϕ(x, y) такая функция, что Z = ϕ(X, Y ) является непре-

рывной случайной величиной. Найдем закон Z. Пусть G(z) и g(z) соответственно функция Z и ее плотность. Геометрически функция z

G(z) = P (Z < z) = P (ϕ(x, y) < z) =

R R

= P ((X, Y ) D) = f (x, y)dxdy

D

В данное выражение величина z входит неявно, через пределы интегрирования. Дифференцируя G(z) по z, получим плотность распределения случайной величины

Z : g(z) = G′(z).

Пример 6.5 Пусть f (x, y) - плотность распределения случайного вектора X = (X, Y ). Найти G(z) - функцию распределения случайной величины Z = XY . Решение. Поскольку G(z) = P (Z < z) = P (XY < z), используя свойство fv 3, c. 44

находим

60

Дифференцируя это выражение по z, имеем

−∞

∞

+ R x−1f (x, z/x)dx.

0

Пример 6.6 Закон распределения суммы двух случайных величин. Композиция законов распределения.

−∞

Это общая формула для плотности распределения суммы двух случайных величин. Аналогично,

∞

R

g(z) = f (z − y, y)dy.

−∞

Для независимых случайных величин X и Y отсюда получаем

Таким образом, в этом случае g(z) является сверткой (композицией) исходных плотностей fX (x) и fY (y).

Пример 6.7 Рассмотрим две независимые случайные величины X и Y , подчинен-

ные нормальным законам

61

Пусть Z = X + Y , тогда после преобразований получим:

щих нормальное распределение снова имеет нормальное распределение с парамет-

p

рами mz = mx + my и σz = σx2 + σy2.

Правило композиции нормальных законов может быть обобщено на случай произвольного числа независимых гаусовских случайных величин. Пусть X1, ..., Xn -

независимые случайные величины, подчиненные нормальному закону распределе-

7Предельные теоремы. Закон больших чисел

7.1Неравенство Чебышева

Теорема 7.1 Пусть X - неотрицательная случайная величина, то есть P (X ≥ 0) = 1, и существует математическое ожидание E(X). Тогда для любого ε > 0

выполнено

Доказательство. Приведем доказательство для непрерывной случайной величины X с плотностью распределения f (x). Тогда P (X < 0) = 1−P (X ≥ 0) = f (x)dx =

Отсюда, поделив обе части на ε > 0 получаем неравенство (7.1). Для дискретной

случайной величины доказательство аналогично. В общем случае вместо несобственного риманова интеграла нужно использовать интеграл Лебега-Стилтьеса по мере PX (dx) = dF (x). Все выкладки при этом повторяются.

62