дов

Вернемся к доказательству теоремы.

Напомним, что приближение интеграла Римана интегральной суммой оказалось возможным благодаря равномерной непрерывности непрерывной функции на отрезке. В нашем случае мы интегрируем не по отрезку, а по бесконечной числовой прямой.

Итак, первая цель заменить интегралы в (1) по числовой прямой интегралами по отрезку. Делается это следующим образом: мы подбираем такие a < b, что

где = supfjf(x)jx 2 Rg. Сдвигая, если понадобится, a влево, а b – вправо, мы добьемся того, что a и b будут точки непрерывности F .

В нашем критерии сходимости мы берем

ZZ

R[a;b]

ZZ

R[a;b]

Действительно, из условия теоремы 1 следует, что для n > n0

C (P( 1; a) + P[b; 1)) = Cf(1 Fn(b)) + Fn(a)g ";

точно так же

jx yj ":

Теперь мы должны доказать yn ! y. Мы опять используем лемму 1. Для доказательства сходимости (yn) мы заменяем интегралы интегральными суммами. Используя равномерную непрерывность f на [a; b], получаем такое разбиение a = u0 < u1 < ::: < ur = b, что функция f на любом из отрезков разбиения меняется меньше чем на ", но при этом мы накладываем на точки ui дополнительное условие, они должны быть точками непрерывности функции F . Теперь нам нужно доказать

Но нужно еще проверить неравенства, связывающие xn, x и yn, y в этой части доказатель-

ства. Обозначим

r 1

X

f~(x) = f(vi)I[ui;ui+1); x 2 [a; b]:

i=0

92

То же верно для интегралов по Pn(x).

Импликация (1) ) (2) доказывается путем подбора функций f. Теперь нужно для фиксированной точки x непрерывности функции F доказать сходимость Fn(x) ! F (x). Так как xточка непрерывности, существует окрестность [x ; x + ] точки x, в которой функция F меняется не больше чем на ". Заметим, что ввиду монотонности F для этого достаточно

F (x + ) F (x) "; F (x) F (x ) "

По этой окрестности мы подберем две функции f1 и f2:

f1(y) = 1 при y 2 (1; x ]; f1(y) = 0 при y 2 [x; 1);

а между точками x и x функция f1 убывает линейно. Аналогично строится функция f2:

f2(y) = 1 при y 2 (1; x]; f2(y) = 0 при y 2 [x + ; 1);

а между точками x и x + функция f2 убывает линейно. Легко проверяется, что последовательности интегралов

ZZ

f1(x)dPn(x); f2(x)dPn(x)

RR

являются "-милиционерами для последовательности Fn(x) и числа F (x). Действительно, очевидно, что

f1(y)dPn(y) ! f1(y)dP;

RR

ZZ

f2(y)dPn(y) ! f2(y)dP(y);

RR

ZZ

F (x) " F (x ) f1(y)dP(y) F (x) f2(y)dP(y) F (x+ ) F (x)+":

RR

Упражнение. Пусть Pn нормальные распределения с параметрами N(mn; n), P нормальное распределение с параметрами N(m; ), Дано, что mn tom, n ! . Доказать

сл

Pn ! P:

93

Если mn = 0, n ! 0, то Pn слабо сходится к распределению, сосредоточенному в точке 0 (такое распределение часто называется функцией Дирака ).

3. Теорема. Если n, – случайные величины,

P

n ! ;

то

сл

P n ! P :

Доказательство использует формулу (2) в качестве определения слабой сходимости. Надо доказать:

F n (x) ! F (x) для любой точки x непрерывности F :

Мы опять фиксируем такое , что F изменяется в окрестности [x ; x + ] не более чем на ", кроме того, фиксируем n0, начиная с которого

Вместе эти неравенства ввиду произвольности " означают нужную сходимость.

Пример. Очевидно, что из слабой сходимости распределений случайных величин F n к F n не следует сходимость по вероятности случайных величин n к . Приведем простой пример:

11

= f0; 1g; P f0g = 2; P f1g = 2; n(1) = 0; n(0) = 1; (0) = 0; (1) = 1:

Имеем:

P fj n j = 1g = 1;

в то же время

P n = P ;

и тем более имеет место сходимость

сл

P n ! P :

Этот пример основан на наличии случайной величины , имеющих то же распределение, что и , но не равных . Более того, любая такая пара f ; g дает контрпример ; ; ; ::: 6!. Возможность выбора пары зависит также от вероятностного пространства. Например, если вероятность одной точки равна 2=3, а другой 1=3, такой пары не существует. Но если = Const, то есть постоянная случайная величина, то такой контрпример оказывается невозможным. В этом случае верно обратное утверждение.

94

Обозначения. Слабая сходимость сходимость распределений, а не случайных величин. Однако нам будет удобно следующее обозначение:

при этом мы будем говорить, что n сходится к n по распределению (in distribution). Точно так же мы будем использовать обозначение

D

= () P = P ;

и будем говорить, что случайные величины и совпадают по распределению.

4. Теорема. Если n, – случайные величины, = c,

сл

P n ! P ;

то

P

n ! :

Доказательство. В этой ситуации все точки x 6= c являются точками непрерывности функции распределения F . Пусть даны > 0 и " > 0, возьмем x = c + и x = c . Выберем по ним такое n0, что для всех n > n0 имеют место неравенства

Так как

F ( ) = 0; F ( + ) = 1;

Мы получили сходимость по вероятности.

Комментарий. Итак, имеется связь между слабой сходимостью и сходимостью по вероятности. Но не нужно путать эти два понятия. Сходимость по вероятности относится к случайным величинам, то есть к функциям, заданным на множестве элементарных исходов. Слабая сходимость относится к распределениям, то есть к вероятностям, заданным на борелевских множествах вещественной прямой (которая, кстати, состоит из чисел, а не из элементарных исходов). Добавим к этому то, что иногда мы создаем вероятностные модели, в которых элементарные исходы числа в R или векторы в Rn, события борелевские множества, а вероятность распределение некоторой случайной величины или некоторого случайного вектора.

Упражнение 1. Возьмем в качестве вероятностного пространства (0; 1) с -алгеброй борелевских множеств как -алгеброй собыий и вероятностью, равной мере Лебега. Покажите, что для любой строго возрастающей непрерывной функции распределения F функция F 1 случайная величина на (0; 1) c функцией распределения F . Используя эту конструкцию, придумайте две разные случайные величины на (0; 1) c нормальным распределением со средним 0 и дисперсией 1.

Упражнение 2.Проверьте целесообразность введения в понятие слабой сходимости на языке интегралов условий ограниченности и непрерывности произвольной функции.

a) Покажите, что если измеримая функция f на R неограничена, то существует такое од-

R

номерное распределение P, что f(x)dP(x) расходится. Намек. Распределение возьмите дис-

R

кретным, тогда интеграл превратится в ряд, нужно, чтобы этот ряд сходился к 1 или 1. Из

95

этого упражнения следует, что определение слабой сходимости оказывается неуниверсальным. Поэтому для искомой вероятности даже утверждение

сл

P; P; P; ::: ! P)

не имеет смысла.

b) Пусть f(x) = I(1;0], Pnf1=ng = 1 распределения констант, сходящихся к нулю,

RR

Pf0g = 1 . Тогда f(x)dPn(x) = 0, f(x)dP(x) = 1.

RR

Упражнение 18. Если f : R ! R непрерывная функция,

сл

P n ! P ;

то

сл

Pf( n) ! Pf( ):

§13. Характеристическая функция

Для изучения слабой сходимости распределений эффективен аппарат характеристических функций (преобразований Фурье распределений).

1. Характеристическая функция.

Определение. Характеристической функцией ' вероятностного распределения P на числовой прямой называется функция

Z

'(t) = eitxdP(x):

R

Если нет возможности путаницы, мы будем обозначать характеристическую функцию 'P или 'F , если распределение задано функцией распределения (или ' , если наше распределение является распределением случайной величины ), в этом случае мы можем ее определить

соотношением

' (t) = E(eit );

то же соотношение в интегральных обозначениях записывается так:

Z

' (t) = eit dP:

Если использовать интеграл Римана – Стильтьеса, получается

Z

' (t) = eitxdF (x):

R

Если имеется функция плотности распределения, мы имеем несобственный интеграл:

Z

' (t) = eitxp (x)dx:

R

Наконец, в случае дискретного распределения, мы имеем сумму:

X

' (t) = eitan P f = ang :

n

2. Свойства характеристических функций

96

1.'(0) = 1; '( t) = '(t).

2.' непрерывная и даже равномерно непрерывная функция;

Непрерывность немедленно следует из теоремы Лебега и определения непрерывности на языке последовательностей. Пусть tn ! t, тогда jeitnxj = 1 1 и eitnx ! eitnx для всех x, а функция f(x) = 1 интегрируется по вероятностной (!) мере dF (x). По теореме Лебега

ZZ

eitnxdF (x) ! eitxdF (x):

RR

Равномерная непрерывность характеристической функции доказывается тоньше. Сначала по данному " > 0 (используя сходимость функций распределения на 1) мы выбираем такие a; b 2 R, что

1 eitx < "=2. Если теперь jt t0j < , то

ZZ

RR

3. Если случайные величины и независимы, то

' + (t) = ' (t)' (t);

4.

'a +b(t) = eitb' (at);

5. Если случайная величина имеет среднее, то дифференцирование под знаком интеграла

дает нам

'0 (0) = iE( );

поэтому

' (t) = 1 + iE( )t + o(t):

Если случайная величина имеет дисперсию, то

'00(0) = E( 2);

' (t) = 1 + iE( )t 12E( 2)t2 + o(t2):

6.Теорема единственности. Характеристическая функция 'F однозначно определяет функцию распределения F (а следовательно, и распределение).

7.Теорема непрерывности. Последовательность распределений сходится слабо тогда

итолько тогда, когда последовательность их функций распределения сходится поточечно.

Комментарий. Свойства 1-4 проверяются непосредственной проверкой. Причем свойство 3 – очевидное следствие свойства среднего – среднее произведения независимых случайных величин равно произведению средних. Свойство 5 получается разложением Тейлора характеристической функции с одновременным дифференцированием под знаком среднего. Прежде

97

чем доказать свойство 6, выводится формула обращения, которая позволяет выражать через характеристическую функцию разность значений функции распределения в двух точках непрерывности функции распределения. Доказательство теоремы непрерывности сложно и использует теоремы о компактности некоторого расширения множества функций распределений, критерий слабой компактности в пространстве функций распределения, а также одно неравенство, позволяющее проверить этот критерий в терминах поведения функций распределения в окрестности нуля.

3. Как вычислять характеристическую функцию?

P

Если имеет дискретное распределение ( anP f = ang = 1), то

n

X

' (t) = eiantP f = ang :

n

Если имеет непрерывный тип распределения с функцией плотности p (x), то

Z

' (t) = eitxp (x):

R

4. Примеры.

1. Характеристическая функция распределения Пуассона.

P fkg = k e '(t) = e (eit 1). k!

2. Характеристическая функция нормального распределения.

Сначала рассмотрим параметры N(0; 1), p(x) = p1 e x22 : Тогда

2p

Этот интеграл можно найти в Демидовиче. Но можно вычислить и самостоятельно, представив его как интеграл по прямой R на комплексной плоскости C и используя известную теорему о независимости от пути интеграла от аналитической функции.

RR

Общий случай сводится к предыдущему: нормальное распределение с параметрами m и имеет случайная величина + m, где имеет параметры 0, 1. По свойству 4

' +m(t) = eitm' ( t) = eitm 12 2t2 :

Элементарным следствием из этих выкладок и теоремы единственности является устойчивость распределений Пуассона и нормального: сумма независимых случайных величин с распределением Пуассона имеет распределение Пуассона, сумма независимых случайных величин с нормальным распределением имеет нормальное распределение.

3. Характеристическая функция распределения Коши. Упражнение. Докажите, что

98

Покажите, что если 1,..., n независимы и имеют распределение Коши, то

1 + ::: + n

n

имеет распределение Коши.

5. Центральная предельная теорема. Пусть ( n) последовательность одинаково распределенных независимых случайных величин со средним и дисперсией, обозначим

E( n) = m; D( n) = 2:

Тогда последовательность распределений центрированных и нормированных сумм

1 + 2 + ::: + n nm p

n

слабо сходится к нормальному распределению с параметрами N(0; 1).

Доказательство основано на разложении (свойство 5), теоремах единственности и непрерывности, свойствах 3 и 4.

Запишем разложение 5 для характеристической функции случайной величины i m. У

этой случайной величины среднее равно нулю, а дисперсия 1. Поэтому

По теореме непрерывности мы имеем сходимости, а по теореме единственности идентифицируем распределение с данной характеристической функцией.

Упражнения 19. a. Докажите, что слабый предел нормальных распределений нормальное распределение (здесь мы считаем распределение константы вырожденным нормальным распределением).

b. Докажите, что слабый предел распределений Пуассона распределение Пуассона (здесь мы считаем распределение константы вырожденным распределением Пуассона).

c. Докажите, что слабый предел равномерных распределений равномерное распределение (здесь мы считаем распределение константы вырожденным равномерным распределением).

d. Может ли предел по вероятности случайных величин с нормальным распределением иметь распределение, не являющееся нормальным? (Как и выше, здесь мы считаем распределение константы вырожденным нормальным распределением).

e. Даны распределения Pn, задаваемые равенствами Pnfk=ng = 1=n для k = 1; 2; :::; m. Доказать, что распределения Pn слабо сходятся к равномерному распределению на отрезке

[0; 1].

Важнейшие свойства характеристических функций Теорема единственности

Формула обращения

99

Пусть a и b две точки непрерывности функции распределения F . Тогда

A

Интеграл в правой части является интегралом в смысле главного значения, если заменить предел на интеграл по всей числовой прямой, то возникнет неочевидный вопрос о сходимо-

по t 2 R в обычном смысле расходится. В математическом анализе имеются понятия преобразования Фурье и обратного преобразования Фурье, которое с точностью до нормирующего множителя выглядит так:

где p – функция плотности для F , которая должна удовлетворять некоторым дополнительным условиям. Формула (1) получается из предыдущей интегрированием от a до b, но выполняется при значительно более общих условиях. Плотности и ,тем более, ’хорошей плотности’ у распределения может и не быть.

Для доказательства (1) мы заменим 'F на свое определение и получим двойной интеграл:

Нетрудно проверить, что подынтегральная функция ограничена на произведении [ A; A] R,

проблемы возможны лишь в точке t = 0, но там предел e ita e itb вычисляется по правиit

лу Лопиталя, т.е. существует. Обе меры, по которым мы интегрируем, и на [ A; A] и на R, конечны. Мы вправе применить теорему Фубини и записать все следующим образом:

RA

Мы вводим дополнительное обозначение и сводим внутренний интеграл к следующему:

RR

для этого мы воспользуемся теоремой Лебега. Чтобы быть вправе использовать теорему Лебега (она формулируется для последовательностей), мы будем доказывать предельное соотношение на языке последовательностей. Итак, нам достаточно доказать

i) сходимость lim IAn (x) для всех x,

An!1

ii) ограниченность функции IA(x) некоторой константой C (функция g(x) = C очевидно интегрируема по мере dF ).

i) следует из известной вам сходимости интеграла

1

Z

sin tdx; t

0

100