Глава 11

Центральная предельная теорема

До сих пор мы говорили об устойчивости средних характеристик большого числа опытов, точнее, об устойчивости сумм вида

sn = X1 + X 2n+...+ X n .

Однако не следует все же забывать, что величина sn – случайная, а значит, она имеет некоторый

закон распределения. Оказывается – и этот замечательный факт составляет содержание группы теорем, объединяемых общим названием "центральная предельная теорема", – что при весьма общих условиях закон распределения sn близок к нормальному закону.

Существенный вклад в формулировку и доказательство центральной предельной теоремы внес русский ученый А.А. Ляпунов. Он же разработал метод характеристических функций, широко используемый в теории вероятностей.

§ 11.1. Характеристические функции

Определение. Пусть X – абсолютно непрерывная случайная величина с плотностью f(x). Характеристической функцией случайной величины X называется функция, определенная для действительных значений t формулой

то характеристическую функцию можно записать в следующем виде

Замечание. В курсе математического анализа формула (11.1) определяет преобразование Фурье функции f(x). Там же доказано, что если ϕX(t) выражается через функцию f(x) с помощью преобразования Фурье, то и f(x) находится из ϕX(t) с помощью обратного преобразования Фурье

В частности, функция плотности однозначно восстанавливается по своей характеристической функции.

Свойства характеристических функций.

1.Пусть случайная величина Y пропорциональна случайной величине X:

Действительно,

ϕaX (t)= M (eitaX )= M (ei(at )X )= ϕX (at).

2. Характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых.

Пусть X1, X2, …, Xn – независимые случайные величины с характеристическими функциями

ϕX1 (t), ϕX 2 (t),K, ϕX n (t).

Имеем

ϕX1 + X2 +K+Xn (t)= M (eit(X1 + X2 +K+ Xn ))= M (eitX1 eitX2 K eitXn ).

Поскольку случайные величины Xi независимы, то все множители eitX k , k = 1,…, n также будут независимы. Используя свойство математического ожидания, получим

ϕX1 +X2 +K+Xn (t)= M (eitX1 ) M (eitX2 )K M (eitXn )=,

=ϕX1 (t) ϕX2 (t) K ϕXn (t)

что и требовалось доказать.

3.Характеристическая функция выражается через производящую функцию моментов

По определению,

ψX (t)= M (etX ),

откуда (11.5) следует немедленно.

Пример 11.1. Найти характеристическую функцию стандартной нормальной случайной величи-

ны X ~ N(0, 1).

Р е ш е н и е . Мы уже находили производящую функцию моментов X

t2

ψX (t)= e 2 .

Заменяя t на it и учитывая, что i2 = –1, получим

Из свойства 2 следует, что характеристическая функция свертки двух функций равна произведению характеристических функций сомножителей.

Пример 11.2. Найти характеристическую функцию суммы Z = X + Y, где X ~ N(0, σ1), Y ~ N(0,

σ2) – нормальные величины.

Р е ш е н и е . Сначала найдем характеристическую функцию для одного слагаемого. Мы знаем,

что X = σU, где U ~ N(0, 1) – стандартная нормальная случайная величина. На основании свойства 1 и предыдущего примера имеем

Взяв произведение характеристических функций слагаемых, получим

Мы видим, что (11.7) дает характеристическую функцию нормальной случайной величины

§11.2. Центральная предельная теорема для одинаково распределенных сла- гаемых

Так как величина sn лишь постоянным множителем отличается от суммы:

то в общих чертах содержание центральной предельной теоремы может быть высказано следующим образом.

Распределение суммы большого числа независимых случайных величин при весьма общих условиях близко к нормальному распределению.

Этим и определяется особая роль нормального закона, поскольку с суммами большого числа случайных слагаемых приходится иметь дело весьма часто как в самой теории вероятностей, так и в ее многочисленных приложениях. Чуть позже мы поясним этот факт примерами из разных областей.

Чтобы подготовить точную формулировку центральной предельной теоремы, поставим два вопроса.

1.Какой точный смысл содержится в утверждении о том, что закон распределения суммы (11.8) близок к нормальному закону?

2.При каких условиях имеет место эта близость?

Чтобы ответить на эти вопросы, рассмотрим не просто большое число, а бесконечную последовательность случайных величин:

X1, X2, …, Xn, … .

От каждой из случайных величин Sn перейдем к "нормированной" случайной величине (см. §4.3,

п. 3°):

математическое ожидание которой равно 0, а дисперсия 1. Ответ на первый из поставленных вопросов теперь можно сформулировать в виде равенства

(где a и b – любые, a < b), означающего, что закон распределения случайной величины Sn′ с ростом п приближается к нормальному закону распределения с математическим ожиданием 1 и дисперсией 0.

Если обозначить через Fn(x) функцию распределения для каждой из случайных величин Sn′ ,

F0(x) – функцию распределения стандартного нормального закона, то условие (11.10) можно выразить по другому, а именно, для любого x

В курсе математического анализа устанавливается, что условие (11.12) можно проверять для последовательности соответствующих характеристических функций:

Разумеется, из того факта, что величина Sn′ имеет приближенно нормальное распределение, следует, что и величина Sn распределена приближенно нормально. Ведь связь между Sn′ и Sn линейная:

а, как мы знаем, нормальный закон распределения сохраняется при линейном преобразовании случайной величины.

Все эти предварительные замечания позволяют доказать нам следующую теорему.

Теорема 11.1. Если X1, X2, …, Xn, … – последовательность независимых случайных величин, имеющих один и тот же закон распределения с математическим ожиданием m и дисперсией σ2, то при неограниченном увеличении n закон распределения нормализованной суммы (11.10) неограниченно приближается к нормальному.

Д о к а з а т е л ь с т в о . Рассуждения, предшествовавшие формулировке теоремы, показывают, что нам достаточно рассмотреть случай нормированных слагаемых Xk, так что можно положить m

= 0, σ = 1. Поскольку в этом случае σ(Sn )= n , то случайная величина

ϕ(t)= ϕX k (t), ϕn (t)= ϕYn (t)

– характеристические функции слагаемых Xk и случайной величины Yn соответственно. Для доказательства теоремы достаточно проверить, что

Разложим функцию ϕ(t) в ряд Маклорена до второго порядка включительно. Для этого воспользуемся разложением в ряд производящей функции моментов (7.18) и соотношением (11.5):

lim ϕ (t)= e−t2 ,

n→∞ n

2

что и требовалось доказать.

В качестве графической иллюстрации центральной предельной теоремы рассмотрим случай, когда все Xi распределены равномерно на отрезке [0, 1]. Математическое ожидание и стандартное отклонение случайной величины Sn легко находятся

Построим на одном графике функции плотности Sn и нормальной случайной величины с такими же параметрами. Ниже приведены соответствующие графики (см. рис. 11.1-3) для случаев n = 2, 5, 10. В последнем случае обе кривые практически сливаются.