Тема 1.5. Последовательность случайных величин

Виды сходимости последовательности случайных величин.

Закон больших чисел

Центральная предельная теорема

Виды сходимости случайных величин

Пусть {Х_n , n ≥ 1} = Х₁ , Х₂ ,… , Х_n ,… – последовательность случайных величин

Определение. Случайные величины Х₁ , Х₂ ,… , Х_n ,… сходятся при n →∞ к случайной величине Х

С вероятностью 1, если Р{ω: X_n (ω) → X(ω)} = 1

в среднеквадратичном, если Е (X_n − X)² → 0

по вероятности, если для любого ε > 0 Р( |X_n − X| <ε) → 1

по распределению, если функции распределения случайных величин F_Xn сходятся к F_X

Замечание. Из сходимости в среднем квадратичном следует сходимость по вероятности

Из сходимости по вероятности следует сходимость по распределению

Из сходимости с вероятностью 1 следует сходимость по вероятности.

Отступление. Сходимость последовательности.

Последовательность функций Х₁ (ω), Х₂ (ω) ,… , Х_n (ω) сходится на пространстве Ω к некоторому Х, если при любом фиксированном ω числовая последовательность {Х_n } сходится к Х(ω).

Число a называется пределом числовой последовательности {a_n}, если для любого положительного числа ε, как бы мало оно ни было, существует такой номерN, что для всех a_n c номерами n>N справедливо неравенство a-ε <a_n<a+ ε. Неравенство | a_n-a| < ε. эквивалентное неравенству a-ε <a_n<a+ ε , означает, что для любого ε.>0 существует такой номерN , что все a_n номерами n>N расположены между a-ε и a+ ε. Последовательность a_n, предел которой - конечное число a, называется сходящейся, и ее предел обозначают lim a_n = a при n∞. Если изобразить элементы последовательности a_n на плоскости точками с координатами (n, a_n), то неравенства a-ε <a_n<a+ ε означают, что все точки (n, a_n) с номерами n>N расположены между параллельными оси абсцисс прямыми a-ε и a+ ε.

Закон больших чисел

Пусть у нас имеется случайная величина Х с математическим ожиданием а и дисперсией σ² . Проведем n независимых опытов, находя значения Х, и рассмотрим среднее арифметическое всех наблюденных значений Х. Рассмотрим значение математического ожидания и дисперсии этой величины. Пусть Х - значение Х ₁в первом эксперименте, Х₂ - во втором,…, Х_n – в n, и т.д. Соответственно, Х₁ , Х₂ ,… , Х_n ,… - это последовательность независимых, одинаково распределенных случайных величин (Термин «одинаково распределенные» означает, что величины имеют общее распределение (и, соответственно, совпадают их математические ожидания, дисперсии и пр.), которое не обязательно должно быть указано). По свойствам математического ожидания и дисперсии математическое ожидание среднего арифметического (Х₁ + Х₂ +… + Х_n ) / n будет равно а, а дисперсия σ²/n. То есть, математическое ожидание среднего арифметического равно математическому ожиданию самой величины Х и не зависит от количества испытаний, а дисперсия с ростом их числа убывает. Иными словами, при большом числе экспериментов n среднее арифметическое оказывается практически неслучайной величиной. В таком случае говорят об устойчивости среднего арифметического.

Рассмотрим теперь формулировку закона больших чисел:

Пусть {Х_i , i ≥ 1} – последовательность независимых, одинаково распределенных случайных величин. (Иными словами, проводится большое количество независимых экспериментов, в каждом из которых наблюдается случайная величина одной и той же природы). Предполагается, что среднее и дисперсия каждой из Х_i конечны. Они обозначаются a и σ² соответственно.

S_n = Х₁ + Х₂ +… + Х_n , n ≥ 1

ES_n = na

DS_n = nσ²

Тогда случайная величина S_n / n, равная среднему арифметическому n первых величин из последовательности, сходится в среднеквадратичном, по вероятности и с вероятностью 1 к математическому ожиданию а.

Е (S_n / n - a)² → 0 ,

P (|S_n / n - a | < ε )  1 и

Р{ω: S_n / n (ω) → а} = 1

при n  ∞

Пример.

Пусть эксперимент состоит в n-кратном подбрасывании монеты. Пусть Х_n – случайная величина, равная 1, если выпал «герб», и 0 – если «решка» в n бросании. Величины Х_i независимы, поскольку независимы эксперименты (подбрасывания). Вероятности выпадения «герба» и «решки» совпадают и равны ½. Тогда математическое ожидание EХ_i = а = ½ , а дисперсия DX= σ²=1/4. Величина (Х₁ + Х₂ +… + Х_n ) / n равна доле выпавших гербов при n бросаниях монеты и согласно закону больших чисел должна стремиться к ½.Если бы монета была несимметричной и вероятность выпадения Герда была p  ½, то по закону больших чисел доля гербов стремилась бы к а = р

Обобщение закона больших чисел (закон больших чисел в форме Чебышева)

Рассмотренное выше утверждение можно обобщить на случай, когда мы не можем гарантировать одинаковое распределение случайных величин, то есть когда закон распределения случайной величины Х от эксперимента к эксперименту не остается одним и тем же, а изменяется. Тогда вместо среднего арифметического наблюденных значений одной и той же величины Х с постоянными математическим ожиданием а и дисперсией σ² рассматривается среднее арифметическое n различных случайных величин с различными математическими ожиданиями a_i и дисперсиями σ²_i . Обобщенный закон больших чисел утверждает, что и в этом случае среднее арифметическое (Х₁ + Х₂ +… + Х_n ) / n сходится к среднему их математических ожиданий (a₁ + a₂ +… + a_n) / n .

Замечание. Выполнение закона больших чисел отражает предельную устойчивость средних арифметических случайных величин: при большом числе испытаний они практически перестают быть случайными и совпадают со своими средними значениями

Замечание. Именно Закон больших чисел является основанием для использования в статистике среднего арифметического выборки (выборочного среднего) для оценки математического ожидания генеральной совокупности.

Ни в одной из форм закона больших чисел не идет речь о законах распределения. Предельные законы распределения составляют предмет другой группы теорем - центральной предельной теоремы, которую иногда называют «количественной формой закона больших чисел».