§ 13. Закон больших чисел

13.1. Виды сходимости последовательностей св

В п. 1.3 при определении вероятности указывается эмпирический факт, состоящий в устойчивости частоты появления события A   в исследуемом опыте G   при последовательном его повторении. Этот экспериментальный факт может быть обоснован математически с помощью закона больших чисел. Но для этого нам понадобятся некоторые понятия, характеризующие сходимость последовательности СВ.

Определение 13.1. Бесконечная последовательность СВ Xn,n=1,2,...,   определенная на одном пространстве элементарных событий Ω,   называется случайной последовательностью (СП) и обозначается {Xn},n=1,2,...

Замечание 13.1.

 Если последовательность состоит из детерминированных величин xn, то говорят, что последовательность сходится к величине x   (это обозначается xn→x   или limn→∞xn=x ), если для любого ε>0   найдется такое N>0, что |xn−x|<ε   для всех n≥N. Попробуем уточнить смысл этого понятия для случайной последовательности. Так как для любого n, вообще говоря, может найтись такое ε>0, что случайное событие {ω:|Xn(ω)−X(ω)|≥ε}≠∅, то нельзя говорить о сходимости случайной последовательности Xn   к X   в приведенном выше детерминированном смысле. Мы рассмотрим четыре вида сходимости последовательностей СВ. В дальнейшем для краткости записи мы по-прежнему не будем указывать зависимость СВ Xn(ω)   от элементарного события ω.

Определение 13.2. Пусть Fn(x)   — Функция распределения СВ Xn, где n=1,2,...   и F(x)   — функция распределения СВ X. СП {Xn}, n=1,2,...,   сходится по распределению к СВ x   приn→∞,   если последовательность функций Fn(x)   сходится к функции F(x)   в каждой точке x   непрерывности функции F(x), т.е. Fn(x)→F(x)   при n→∞. Этот вид сходимости будем обозначать Xn→FX.

Пример 13.1.

 Поясним на примере случай, когда Fn(x)   сходится к F(x)   во всех точках, за исключением точек разрыва функции F(x). Пусть с вероятностью 1 выполняется Xn=1/n,n=1,2,...,   и X=0.Для них

Fn(x)={1,x≥1/n,0,x<1/n,

F(x)={1,x≥0,0,x<0.

Очевидно, что Fn(x)→F(x) при n→∞   для всех x≠0. Но Fn(0)=0   для всех n, аF(0)=1,   поэтому последовательность {Fn(0)},n=1,2,...,   не сходится к F(0). Но точкаx=0   является точкой разрыва функции F(x), поэтому согласно определению 13.2 Xn→FX.

Определение 13.3. Случайная последовательность {Xn},n=1,2,...,   сходится почти наверное (п.н.) к СВ X   при n→∞, что записывается как Xn−→п.н.X,   если

P{ω:limn→∞Xn(ω)=X(ω)}=1.

Очевидно, что если Xn−→п.н.X,   то вероятность события, состоящего из таких ω, что последовательность {xn}   реализаций СВ Xn(ω)   не сходится к реализации x   СВ X(ω), равна нулю:

P{ω:limn→∞Xn(ω)≠X(ω)}=0.

Таким образом, сходимость почти наверное случайной последовательности понимается по реализациям СВ Xn   и X   и в этом смысле похожа на сходимость детерминированной последовательности.

Кроме того, можно показать, что сходимость Xn−→п.н.X   равносильна тому, что для всех ε>0   имеет место

limn→∞P{supm≥n|Xm−X|≤ε}=1.

Определение 13.4. Случайная последовательность {Xn},n=1,2,...,   сходится по вероятности к СВ X   при n→∞, что записывается как Xn→PX,   если для всех ε>0   справедливо

limn→∞P{|Xm−X|≤ε}=1.

Очевидно, что условие сходимости Xn→PX,   в вышеприведенном определении эквивалентно следующему: limn→∞P{|Xm−X|>ε}=0.

Сходимость п.н. для случайной последовательности влечет за собой и сходимость по вероятности. Действительно,

{ω:|Xn(ω)−X(ω)|≤ε}⊇{ω:supm≥n|Xm(ω)−X(ω)|≤ε}.

Поэтому

limn→∞P{|Xm−X|≤ε}≥limn→∞P{supm≥n|Xm−X|≤ε}=1.

Из сходимости по вероятности не следует сходимость п.н.

Если Xn→PX, то можно доказать, что и Xn→FX. Обратное утверждение, вообще говоря, неверно.

Замечание 13.2.

 В биржевом парадоксе мы имели сходимость Zn→P0.

Теорема 13.1. (Неравенство Чебышева, усиленный вариант). Пусть r-й абсолютный момент СВ X  конечен, т.е. M[|X|r]<∞. Тогда для всех ε>0   выполняется неравенствоP{|X|≥ε}≤M[|X|r]/εr.

Д о к а з а т е л ь с т в о.

Для простоты доказательства предположим, что у СВ X   существует плотность распределенияfX(x). Тогда, используя свойство 3)f(x) имеем

M[|X|r]≜∫−∞+∞|x|rfX(x)dx≥∫∣∣x∣∣≥ε|x|rfX(x)dx≥εr∫∣∣x∣∣≥εfX(x)dx=εrP⎧⎩⎨⎪⎪⎪⎪|X|≥ε⎫⎭⎬⎪⎪⎪⎪,

откуда следует доказываемое утверждение. ■

Рассмотрим важный частный случай приведенного неравенства. Пусть СВ Y≜X−mX, гдеmX≜M[X]. Тогда, полагая в неравенстве Чебышева r=2,   получим

P{|X−mX|≥ε}≤M[|X−mX|2]ε2≜D[X]ε2.

Замечание 13.3.

 Данное неравенство, позволяющее оценить сверху вероятность отклонения от её МО на основе информации лишь о её дисперсии, широко используется в теории оценивания и управления стохастическими системами. В литературе чаще всего именно последнее неравенство называют неравенством Чебышева.

Определение 13.5. Случайная последовательность {Xn},n=1,2,...,   сходится к СВ X   в среднем квадратическом при n→∞,   что записывается как Xn→с.к.X,   еслиM[|Xn−X|2]→0   при n→∞.

Покажем, что если Xn→с.кX, то Xn→PX. Действительно, рассмотрим СВ Yn≜Xn−X. В силу неравенства Чебышева для СВ Yn   имеем

P{|Yn|>ε}≤P{|Yn|≥ε}≤M[Y2n]ε2≜M[|Xn−X|2]ε2.

Поэтому, если Xn→с.к.X, т.е. M[|Xn−X|2]→0   при n→∞, то для любого ε>0   выполняется P{|Yn|>ε}→0   при n→∞,   т.е. Xn→PX. Из сходимости по вероятности не следует сходимость в среднем квадратическом.

Связь между различными видами сходимости удобно представить в виде логической схемы ( рис. 13.1 ).

Рис. 13.1