дов

§10. Применение закона больших чисел метод Монте-Карло

Метод Монте-Карло играет большую и все возрастающую роль в многих компьютерных вычислениях. В нем случайность моделируется искусственно. Используется имеющийся в многих программных пакетах датчик случайных чисел. Предполагается, что этот датчик выплевывает числа x1, x2, ..., xn, которые являются наблюдениями независимых случайных величин с равномерным распределением на отрезке [0; 1]. Это должно означать, что для любого борелевского множества B [0; 1] доля чисел xi, попавших в B, должна стремится к длине B, доля всех пар (xi; xi+1), попавших в подмножество B [0; 1] [0; 1], сходится к площади B, аналогичные утверждения должны быть верны для последовательных троек и объемов, для последовательных четверок и четырехмерных объемов, и т. д. На практике идеальную последовательность с таким свойствами получить невозможно, и строится последовательность не случайных чисел, а чисел, называемых ’псевдослучайными’. Алгоритмы для создания псевдослучайных чисел создавались специалистами по теории чисел. Более того, они проверялись на большом числе практических вычислений, некоторые из них были в конце концов отвергнуты (см. замечательную брошюру И.М. Соболь...) Тем не менее, в теоретических рассуждениях мы предполагаем, что независимость и одинаковая равномерная распределенность на [0; 1] имеют место. Таким образом, мы считаем, что числа xi наблюдения случайных величин i, которые являются независимыми и с равномерным распределением. Мы обозначим также через одну эталонную случайную величину с равномерным распределением на [0; 1]. Рассмотрим теперь функцию f с хорошими свойствами на [0; 1], тогда согласно закону больших чисел

Последнее равенство следует из формулы замены переменной

Z

Ef( ) = f(x)p (x)dx;

причем в случае равномерного распределения на [0; 1]

p (x) = I[0;1](x):

Так как xi мы считаем наблюденными значениями случайных величин i, то мы считаем, что с вероятностью, близкой к 1, число

f(x1) + f(x2) + ::: + f(xn)

n

близко к

1

Z

f(x)dx:

0

Можно даже оценить меру близости вероятности (к 1) и числа. Давайте потребуем, чтобы вероятность нужной нам близости была бы не меньше чем 0:999. Для оценки мы будем использовать простейшее неравенство Чебышева. Но чтобы его использовать, мы должны оценить2 = Df( ). Пусть jfj C. Вы можете хотя бы на примере двухзначных случайных величин убедиться, что Df( ) C2. Имеем:

81

интервал [0; 1) с мерой Лебега, в частности, вероятность интервала это длина этого интервала. И рассмотрим последовательность случайных величин, которые в данном случае измеримые функции:

Думаю, что вы сообразили сами, как строятся случайные величины "4, "5 и т. д. Нетрудно проверить, и вам придется это сделать самим, что случайные величины "n независимы (проверьте независимость для пар "n, "m, где m 6= n, потом для троек, думаю, этого хватит). По теореме Колмогорова, которую мы с вами докажем,

"1 + "2 + ::: + "n п.н.

n

! 0:

Но это верно не для всех случайных исходов ! 2 [0; 1]. например, при ! = 0, "n(1) = 1 для всех n и предел будет равен 1, а не 0. Легко видеть, что лишь конечное число нулей будет у нашей последовательности в любой точке ! = k=2n, поэтому предел также равен 1. А вот придумать такое (нерациональное) !, что предел равен 0, я не могу. Тем более, не могу вычислить меру Лебега таких точек и доказать, что она равна 1. Так что, убедиться в справедливости теоремы ’на примерах’ не получается. Итак, будьте внимательны, а вдруг теорема великого Колмогорова неверна.

В замечательной книге Пойа ’Математика и правдоподобные рассуждения’ в одной из глав используется эпиграф: ’Убедившись, что теорема верна, начинаем ее доказывать. Традиционный профессор математики.’

К нашей ситуации этот эпиграф неприменим.

Кстати, последовательность построенных функций, если добавить к ней функцию, тождественно равную 1, называется системой Радемахера, она ортонормирована, но не полна. Но если взять все конечные произведения таких функций Радемахера, то получим ортонормированный базис Уолша в пространстве L2[0; 1). Этот базис используется в разных прикладных задачах. в частности, в задачах сжатия информации.

План доказательства. Сначала мы докажем усиленный закон больших чисел в иной ситуации. Если бы у одинаково распределенных случайных величин n существовали дисперсии D( n), которые также должны быть равны, то

Мы сделаем следующее: заменим в условиях теоремы независимые одинаково распределенные случайные величины n, у которых существует среднее m; на независимые случайные величины n, у которых существуют дисперсии и сходится ряд

a) Мы докажем, что для последовательности независимых случайных величин ( n), удовлетворяющей условию (20), ряд

X

n

сходится почти наверное.

83

P P

iii) Ряд xn сходится тогда и только тогда, когда существуют сходящийся ряд k,

n k

где k 0 для всех k, и возрастающая последовательность натуральных чисел n1 < n2 <

::: < nk < :::, такие, что для любого k

s

выполнение условий критерия Коши: пусть дано произвольное " > 0, выберем такое k, что

X

s < ":

s k

Теперь в критерии Коши мы выберем N = nk. Проверим нужное равенство для куска ряда от N + 1 до N + r. Пусть l k таково, что N + r > nl. Мы имеем нужную нам оценку:

малыми, мы выберем последовательности "k и k, сходящиеся к нулю достаточно быстро, а по ним последовательность натуральных чисел nk = N из соотношения (**). Мы должны

P

для этого мы выбираем сходящимся ряд "k. Из условия леммы следует, что это возможно.

Согласно лемме Бореля Кантелли, мера всех !, принадлежащих бесконечному числу элементов последовательности (Ak), равна нулю. С вероятностью 1 элементарный исход ! не попадает в Ak, начиная с некоторого k = k(!). Но тогда начиная с k(!) для ! верно обратное неравенство:

Необходимость в лемме мы использовать не будем, ее доказательство является упражнени-

ем.

Теперь докажем a).

Теорема о п.н. сходимости ряда независимых случайных величин. Если последовательность независимых случайных величин n удовлетворяет условию

X

D( n) < 1;

n

85

то ряд

X

( n E( i))

n

сходится почти наверное.

Доказательство состоит в проверке условий в лемме 1, для чего достаточно доказать следующее замечательное

Неравенство Колмогорова. Пусть случайные величины i, i r, независимы и имеют дисперсию. Тогда

Перепишем неравенство в виде

Событие A в левой части неравенства мы представим в виде суммы несовместных событий

A1 = fj 1 E( 1)j > g ;

A2 = fj 1 E( 1)j ; j[ 1 E( 1)] + [ 2 E( 2)]j > g ; ;

Ar = f ; j[ 1 E( 1)] + + [ r 1 E( r 1)]j ;

j[ 1 E( 1)] + + +[ r E( r)]j > g:

Используя свойство дисперсии (дисперсия суммы независимых случайных величин равна сумме дисперсий), но в обратную сторону, мы перепишем правую часть (***):

86

Таким образом, оба множителя независимы согласно теореме 4 §6 (как функции независимых наборов случайных величин), среднее значение произведения равно произведению средних, но среднее значение второго множителя равно 0.

Если просуммировать все полученные оценки, мы получим

rr

XX

Теперь, если выполнены условия теоремы о п.н. сходимости ряда, мы легко можем проверить условия критерия Коши п.н. сходимости ряда. А именно, мы выбираем такое N, что

P1 D( n) < 2" и подставляем в неравенство Колмогорова 1 = N+1,..., r = N+r (про-

n=N+1

верьте!).

Следствие 1. Если последовательность независимых случайных величин i, удовлетворяет условию

X D( n) < 1; n2

n

то ряд

X n E n

n

n

сходится почти наверное.

Дальше нам понадобится сходимость по Чезаро: последовательность sn называется сходящейся по Чезаро к s, если

(s1 s) + (s2 s) + ::: + (sn s) ! 0: n

Оправданием этого понятия является следующая

Теорема Чезаро. Если sn ! s (в обычном смысле), то sn сходится к s по Чезаро. Доказательство очевидно. Начиная с n > N верно jsn sj ", в то же время

87

В этом представлении первое слагаемое сходится к нулю, так как числитель фиксирован, а

второе слагаемое меньше n N ". n

Сейчас мы установим b), для этого введем обозначение xn = n(!) E n, рассмотрим те

Так как sn ! s, из теоремы о том, что обычная сходимость влечет сходимость по Чезаро,

следует, что s1 + :::: + sn 1 ! s. Отсюда следует, что выражение в (6) сходится к 0. n

Итак, мы по существу доказали следующее

Следствие 2. Если последовательность независимых случайных величин i удовлетво-

с) Теперь мы наконец перейдем к доказательству основной теоремы, т.е. (1). рассмотрим случай одинаково распределенных случайных величин n, у которых существует среднее. Напомним, что для любой измеримой функции f

ZZ

f(x)P 1 (x) = ::: = f(x)P n (x) = :::;

RR

ичто интегрируемость означает для интеграла Лебега абсолютную интегрируемость, т.е.

Z

Ej 1j = jxjP 1 (x) < 1:

R

Рассмотрим новые случайные величины

n = nIfj njng:

Как функции независимых случайных величин, новые случайные величины тоже независимы, но их распределения не обязательно одинаковы. Покажем, что они удовлетворяют условиям пункта a):

Мы выразим эту сумму через (совпадающие) распределения случайных величин i, т. е., через распределение 1.

88

образом, условия следствия 2 выполнены, и для последовательности справедлив усиленный закон больших чисел в формулировке следствия 2. Дальнейшая наша задача доказать справедливость этой формулировки также для первоначальных случайных величин

n

Здесь опять выгодно выразить сумму через интеграл по распределению 1.

Z

XX

nn (n;1)

ZZ

XX

Z

jxjdP 1 < 1:

R

В итоге, опять по лемме Бореля-Кантелли, с вероятностью 1 случайные величины n(!) совпадают с n(!), начиная с некоторого случайного n = n(!). Причем нетрудно видеть, что для

( 1(!) E 1) + ( 2(!) E 2) + ::: + ( n(!) E n) ! 0: n

следует сходимость

( 1(!) E 1) + ( 2(!) E 2) + ::: + ( n(!) E n) ! 0: n

Действительно, числители в обеих дробях отличаются лишь на фиксированное конечное число слагаемых, а знаменатель сходится к нулю, поэтому разность дробей сходится к нулю. Итак, из

( 1(!) E 1) + ( 2 E 2) + ::: + ( n E n) п.н.

n

! 0:

Для окончательного доказательства теоремы нам осталось заменить в (11) E i на E i для всех i, а для этого достаточно доказать сходимость

89

Но вспомним, что E n = E 1. Соотношение (12) следует из сходимости

ZZ

E n = 1Ifj 1j ngdP ! 1dP = E 1;

которое само следует из теоремы Лебега для всюду сходящейся последовательности 1Ifj 1j ng (ограниченной интегрируемой функцией j 1j), и из теоремы Чезаро. Поэтому, чтобы придти к формуле (1), нам достаточно перенести m в правую часть.

Теорема Леви и ее следствия для интегралов по распределению Распределение – ограниченная мера, поэтому имеется сходимость интегралов по распределению от ограниченных и даже интегрируемых функций. Дифференцирование под знаком интеграла.

R R

Как записываются интегралы по распределению dF , d P .

§12. Слабая сходимость распределений

В теории вероятностей (в отличие от изучаемой в курсе функционального анализа теории меры) кроме сходимости функций (они в теории вероятностей называются случайными величинами, а точки, на которых они заданы, называются элементарными исходами) изучается также сходимость распределений вероятностей на числовой прямой или на многомерных пространствах. Каким условиям должна удовлетворять сходимость распределений вероятностей?

Первая мысль, которая кажется очень разумной сходимость распределений Pn ! P должна означать, что

для любого ’хорошего’ (хорошо бы, любого борелевского) множества на числовой прямой. Чтобы проверить эту идею, рассмотрим крайний случай – Pn – распределения случайных величинn, чтобы все было проще, будем считать их постоянными, например, равными 1=n. Имеем: 1=n ! 0 = . Будет разумно, если и P n ! P . Но если мы выберем очень простое множество A = f0g, мы будем иметь

P n (A) = 0; P (A) = 1:

Итак, условие (?) оказывается слишком жестким. Мы введем другую значительно более слабую сходимость, которая так и называется ’слабая сходимость’ вероятностных мер. Эта сходимость тесно связана со сходимостью по вероятности.

Определение 1. Последовательность Pn вероятностных распределений на борелевской числовой прямой R слабо сходится к P (мы пишем

сл

Pn ! P);

если для любой непрерывной ограниченной функции f на R имеет место сходимость интегралов

ZZ

RR

Итак, мы ввели слабую сходимость и обещаем, что она будет подходящей для наших целей. Мы покажем, что из сходимости

P

n !

следует

сл

P n ! P :

Кроме того, будет показана возможность другого определения слабой сходимости а именно, на языке функций распределения F n и F .

В терминах слабой сходимости в теории вероятностей среди множества всех распределений на числовой прямой выделяются классы особенно важных распределений, которые являются пределами распределений встречающихся в приложениях последовательностей случайных

90