Конспект лекций Глазова / 7.7. Центр пред теорема

7.7. Центральная предельная теорема.

Излагаемая ниже центральная предельная теорема устанавливает, что при определенных условиях распределение суммы независимых случайных величин стремится к нормальному при возрастании числа слагаемых. Как указывалось в п. 3.8, эта теорема имеет большое значение, т. к. названное свойство сумм случайных величин приводит к фундаментальной роли нормального распределения в теории вероятностей, математической статистике и приложениях. В частности, в математической статистике большое значение имеет тот факт, что вследствие центральной предельной теоремы распределения статистических моментов выборки также стремятся к нормальному при увеличении объема выборки.

Идея теоремы была впервые высказана Лапласом в 1812 г. Строгое доказательство при довольно общих условиях было дано Ляпуновым в 1901 г. В дальнейшем многие ученые работали над определением более общих условий справедливости этой теоремы. Решающие результаты в этом направлении получены Феллером, Хинчиным, Леви и Линдебергом. В результате, сейчас можно сформулировать необходимые и достаточные условия в различных вариантах. Наиболее типичные условия: существование дисперсий слагаемых и отсутствие доминирующего слагаемого, т. е. такого, которое с большой вероятностью может составить значительную часть суммы. Существуют и другие комплексы условий, в том числе такие, которые не требуют даже существования дисперсий.

Наиболее совершенные и простые доказательства используют аппарат характеристических функций (ХФ). Но прежде чем пользоваться этим аппаратом, необходимо выяснить следующий вопрос: если последовательность ХФ при стремится к функции , которой соответствует функция распределения F(x), то будет ли стремится к этой F(x) соответствующая последовательность функций распределения F₁(x), F₂(x), ..., F_n(x), ...? Другими словами, можно ли о сходимости последовательности распределений судить по сходимости последовательности их ХФ ? Ответ на этот вопрос дает одна из предельных теорем:

Теорема непрерывности Леви-Крамера. Дана последовательность распределений с функциями распределения F₁(x), F₂(x), ..., F_n(x), ... и характеристическими функциями Для того чтобы последовательность функций распределения сходилась к функции распределения F(x), необходимо и достаточно, чтобы при любом v последовательность характеристических функций сходилась к некоторому пределу , причем должна быть непрерывной при v=0. Если последнее условие выполнено, то есть ХФ распределения F(x).

Мы примем эту теорему без доказательства. Таким образом, ответ на поставленный вопрос положителен, но требуется выполнение условия: непрерывность предельной ХФ в нуле.

Характеристическая функция была введена в п. 3.6 как

, для непрерывной СВ;

, для дискретной СВ.

Там же было показано, что значение ХФ в нуле

,

(7.7.1)

и что ее производные в нуле связаны с начальными моментами:

.

(7.7.2)

Кроме того, в п. 5.2 показано, что ХФ есть среднее вида

,

(7.7.3)

а в п. 5.4 - что

,

(7.7.4)

и что ХФ суммы Z=Y₁+Y₂+...+Y_n независимых случайных величин равна произведению их ХФ:

,

(7.7.5)

Следующая лемма дает полезное приближенное представление характеристической функции.

Лемма 7.7.1. Если первые два момента СВ Х существуют, то ее характеристическая функция может быть представлена в виде

,

(7.7.6)

где R - остаточный член порядка по модулю.

Доказательство. Из (7.7.2) видно, что существование первых двух моментов эквивалентно существованию первых двух производных ХФ в нуле. Поэтому можем написать часть ее ряда Маклорена:

,

и, учитывая (7.7.1), (7.7.2), получаем представление (7.7.6), ч. т. д.

Следствие 1. Рассмотрим частный случай m_x=0. Тогда

и (7.7.6) принимает вид

.

(7.7.7)

Теперь мы готовы доказать простейший вариант центральной предельной теоремы.

Теорема Линдеберга-Леви. Если независимые случайные величины X₁, X₂, ..., X_n имеют одинаковые распределения с математическим ожиданием m_x и с. к. о. , то сумма

,

(7.7.8)

асимптотически нормальна .

Поясним формулировку теоремы. Заметим сначала, что теорема не предполагает какой-то конкретный вид распределения слагаемого X_k в (7.7.8): это распределение может быть непрерывным или дискретным, ограниченным или нет, и т. д. С другой стороны, это распределение не может быть любым: по условию теоремы оно должно иметь по меньшей мере два конечных момента m_x и (а следовательно, и ). Будем увеличивать количество n слагаемых в (7.7.8), тогда получим бесконечную случайную последовательность Y₁, Y₂, ..., Y_n , ... и соответствующую ей бесконечную последовательность функций распределения F_y1(y), F_y2(y), ..., F_yn(y), ... Теорема утверждает, что при эта последовательность почленно приближается во всех точках непрерывности к последовательности нормальных функций распределения со средними и среднеквадратичными отклонениями .

Доказательство. Математическое ожидание, дисперсия и с. к. о. величины Y_n равны, соответственно:

.

Найдем средние от правой и левой частей равенства (7.7.8):

,

(7.7.9)

и вычитая (7.7.9) из (7.7.8), получаем

,

где верхним нулем обозначены центрированные величины. Величины также независимы и ХФ их суммы равна произведению ХФ слагаемых:

.

Поскольку , воспользуемся представлением (7.7.7):

.

(7.7.10)

Согласно (7.7.4), для того, чтобы найти ХФ величины

,

нужно в правой части (7.7.10) заменить v на . Тогда

,

где R₁ - новый остаточный член порядка по модулю. Вспомнив замечательный предел

,

и положив а=-v²/2, получаем

.

Правая часть - характеристическая функция канонического нормального распределения N(0, 1). Значит, мы доказали, что СВ асимптотически нормальна N(0, 1). Следовательно, СВ Y_n асимптотически нормальна , что и требовалось доказать.

Следствие 1. Если генеральная СВ имеет первые два момента, то в простой выборке объема n сумма выборочных значений асимптотически нормальна .

Действительно, все условия теоремы выполнены, а моменты суммы независимых СВ определены еще в п. 5.3.

Следствие 2. Если генеральная СВ имеет первые два момента, то в простой выборке объема n статистическое среднее

асимптотически нормально .

Действительно, все условия теоремы выполнены, а моменты легко определяются. Это важное следствие указывает, что статистическое среднее простой выборки при не только сходится к математическому ожиданию, как показано в п. 7.4, но становится все более нормальной СВ (нормализуется).

Замечания к теореме Линдеберга-Леви.

1) Эта теорема - простейшая из центральных предельных теорем, а ее условия - наиболее узкие из всех. Существуют многие другие теоремы, накладывающие более широкие условия.

2)Приведем пример ситуации, не удовлетворяющей условию теоремы. Пусть СВ Y есть сумма n независимых СВ, одинаково распределенных по закону Коши

f(x)=.

В этом распределении все моменты, начиная с первого, не существуют, а характеристическая функция

,

не дифференцируема в нуле. Соответствующее условие теоремы не выполнено, и действительно, можно показать, что в данном случае асимптотическая нормальность отсутствует.

3) Центральная предельная теорема при некоторых условиях может быть справедлива и при наличии зависимости между слагаемыми.

4) Центральную предельную теорему иногда интерпретируют в том смысле, что из нее следует асимптотическая нормальность функции

многих случайных переменных при возрастании их числа. В общем случае это неверно: асимптотическая нормальность гарантируется (при определенных условиях) только линейной функции случайных аргументов. Тем не менее, и некоторые функции (...), отличные от линейных, также могут быть асимптотически нормальны.