1.3. Закон больших чисел. Теорема Бернулли

Рассмотрим случайную величину , имеющую конечную дисперсию²и среднее, равное. Для любого числаaмы можем записать:

Поскольку вне интервала величиназаведомо больше, получим:

Положив a=, получим

–

(1.13)

неравенство Чебышева.

Рассмотрим теперь случайную величину _N, которая является средним арифметическим набора изNпопарно независимых случайных величин_I

,

причем дисперсии этих величин конечны D()C. Очевидно, дисперсия величины_Nтакже будет ограничена:

.

Используя неравенство Чебышева (1.13), мы можем записать

.

Тогда

.

Таким образом, для всякого > 0 выполняется равенство

.

(1.14)

Полученное выражение называется законом больших чиселилитеоремой Чебышева. Говорят, что если для всякого> 0

,

то последовательность _Nсходится к числуaпо вероятности. Сходимость по вероятности обозначается следующим образом:

.

Вернемся к частотному определению вероятности, данному в п. 1.1. Рассматривая серию из Nиспытаний, появлению некоторого событияAв испытании с номеромiпоставим в соответствие_i= 1, в противном случае будем считать_i= 0. Тогда

–

частота появления события A. Поскольку

получим

.

Согласно теореме Чебышева (1.14), можно записать

или .

(1.15)

Таким образом, частота появления события Aсходится по вероятности к величинеp– вероятности событияAв математическом смысле. Доказанное утверждение носит названиетеоремы Бернуллии доказывает непротиворечивость теории вероятности, поскольку аксиома измерения (1.1) согласуется с математическим определением вероятности. Другими словами, частотное определение вероятности является вполне корректным способом установления соответствия между чисто математическим понятием (вероятностьюp), для которого вводятся утверждения и доказываются теоремы, и экспериментально наблюдаемой частотой появления событий.

Помимо (1.15), существует и другая запись теоремы Бернулли:

,

то есть среднее арифметическое сходится по вероятности к математическому ожиданию. Более сильным утверждением является теорема Бореля, выражающее которую равенство приведем без доказательства:

.

(1.16)

Помимо определенной выше сходимости по вероятности существует еще ряд определений сходимости. Если для последовательности случайных величин _iвыполняется равенство

,

говорят, что последовательность сходится к числу aпочти наверняка. Если же

,

говорят, что последовательность _iсходится к числуaвсреднеквадратичном смыслеи обозначают такой предел следующим образом:

.

4. Совместные и условные функции распределения

Рассмотрим две зависимые случайные величины – и. Пусть событиеAзаключается в том, чтоx, а событиеB– в том, чтоy. Тогда можно рассмотреть вероятность событияAB:P{AB}=P{x,y} =F₂(x,y). Введенная здесь функцияF₂(x,y) называетсядвумерной интегральной функцией распределения вероятностейи обладает очевидными свойствами:

F₂(x, ) = F₁(x), F₂(, y) = F₁(y), F₂(– , y) = F₂(x, – ) = 0.

Если F₂(x,y) – дважды дифференцируема, можно ввести двумерную функцию плотности вероятности:

.

Приведем ряд выражений для двумерной плотности вероятности, которые либо очевидны, либо доказываются тривиально:

, ,

, где , , где .

(1.17)

Очевидно также, что если случайные величины инезависимы, тоF₂(x,y) =F₁(x)F₁(y) и₂(x,y) =₁(x)₁(y). Для зависимых величиниможно записать условную вероятность того, что одна из них находится ниже уровняy, если другая заключена в интервал. Опираясь на соотношения (1.2) и (1.17), получим:

.

В пределе при получим

.

Полученная функция F₂(y|x) называетсяусловной интегральной вероятностьюраспределения величиныпри условии=x. Введем также двумерную условную функцию плотности вероятности:

.

(1.18)

Опираясь на выражения (1.17) и (1.18), можно получить формулу полной вероятности:

или .

(1.19)

Учитывая полученное соотношение, по аналогии с выражением (1.17) можно записать:

.

(1.20)

Мы получили аналог формулы Байеса (1.5) для двумерной условной функции плотности вероятности.

Перейдем к рассмотрению самого общего случая. Для совокупности из nслучайных величин₁,…,_nвведемn-мерную интегральную вероятность

и n-мерную функцию плотности вероятности

.

Очевидно, для nнезависимых случайных величин выполняется соотношение

.

Если трактовать совокупность случайных величин ₁,…,_nкак компоненты случайного векторав некоторомn-мерном пространстве, можно рассмотреть событиеA, заключающееся в том, что конец векторапопал в некоторую областьGэтого пространства. Тогда

.

Действуя так же, как при выводе формул (1.17) и (1.18), можно показать, что

,

.

Так же, как и для одной случайной величины, для их совокупности можно определить моменты

,

центральные моменты

и смешанные моменты

,

.

Смешанный центральный момент второго порядка называется ковариацией:

.

Очевидно, если ₁и₂независимы, тоcov(₁,₂) = 0.Коэффициентом корреляцииR(₁,₂) называется ковариация, нормированная следующим образом:

.

Ясно, что коэффициент корреляции безразмерен и |R(₁,₂)| < 1. ЕслиR(₁,₂) = 0, то говорят, что случайные величины₁и₂некоррелированы. Заметим, что независимые случайные величины всегда некоррелированы, а вот обратное утверждение неверно. Случайные величины₁и₂называютсяортогональными, еслиm₂(₁,₂) = 0.

Наконец, определим условные моменты следующим образом

,

.

Рассмотрим классический пример – многомерное нормальное распределение

.

Здесь D– главный определитель корреляционной матрицы с элементамиd_ij=R(_i,_j) =d_ji(ij),d_ii= 1, |d_ij|1, аD_ij– алгебраическое дополнение элементаd_ij. Можно показать, что входящие в формулу числаи_iсовпадают с первыми и вторыми центральными моментами соответствующих случайных величин, то есть

и .

Рассмотрим более подробно двумерное нормальное распределение:

,

(1.21)

где R = R(_i, _j). Расчет вторых центральных моментов такого распределения дает

.

Рис. 1.6. Распределение Рэлея

Рис. 1.5. Случайная точка на плоскости

Рассмотрим случайную точку на плоскости (x₁,x₂), координаты которой₁и₂– независимые случайные величины, распределенные в соответствии с функцией плотности вероятности (1.21) с нулевыми средними и одинаковыми дисперсиями. Найдем вероятность попадания точки в круг радиусас центром в начале координат (рис. 1.5):

.

Соответствующая этой интегральной вероятности функция плотности имеет вид

(1.22)

и называется распределением Рэлея(рис. 1.6).