1.4. Выборочные моменты

Знание моментов распределения также многое может сказать о его виде и свойствах. Введем выборочные аналоги неизвестных истинных моментов распределения.

Пусть , , — теоретические среднее, дисперсия, -й момент. Мы уже знакомы с соответствующими характеристиками выборочного распределения , , .

Теоретические характеристики	Эмпирические характеристики
	— выборочное среднее
	— выборочная дисперсия либо — несмещенная выборочная дисперсия
	— выборочный -й момент

Список числовых характеристик и их оценок можно продолжать, рассмотрев, например, центральные, абсолютные и т.п. моменты. В общем случае

момент     будем оценивать величиной   .

1.5. Сходимость эмпирических характеристик к теоретическим

• Свойства эмпирической функции распределения

• Свойства гистограммы

• Свойства выборочных моментов

Мы ввели три вида эмпирических характеристик, предназначенных для оценивания неизвестных теоретических характеристик распределения: эмпирическую функцию распределения, гистограмму, выборочные моменты. Если наши оценки удачны, разница между ними и истинными характеристиками должна стремится к нулю с ростом объема выборки. Такое свойство эмпирических характеристик называют состоятельностью. Убедимся, что наши выборочные характеристики таким свойством обладают.

1.5.1. Свойства эмпирической функции распределения

Теорема 1.

Пусть — выборка объема из неизвестного распределения с функцией распределения . Пусть — эмпирическая функция распределения, построенная по этой выборке. Тогда для любого

Замечание 2.

— случайная величина, так как она является функцией от случайных величин . То же самое можно сказать про гистограмму и выборочные моменты.

Доказательство теоремы   1.  По определению 1,

Случайные величины , , независимы и одинаково распределены, их математическое ожидание конечно:

поэтому применим ЗБЧ Хинчина, а что это такое? и

Таким образом, с ростом объема выборки эмпирическая функция распределения сходится (по вероятности) к неизвестной теоретической.

Q.D.E.

Верен более общий результат, показывающий, что сходимость эмпирической функции распределения к теоретической имеет «равномерный» характер.

Теорема    Гливенко — Кантелли.

Пусть — выборка объема из неизвестного распределения с функцией распределения . Пусть — эмпирическая функция распределения, построенная по этой выборке. Тогда

Замечание 3.

Более того, в условиях теорем 1 и Гливенко — Кантелли имеет место сходимость не только по вероятности, но и почти наверное.

Если функция распределения непрерывна, то скорость сходимости к нулю в теореме Гливенко — Кантелли имеет порядок :

Теорема    Колмогорова.

Пусть — выборка объема из неизвестного распределения с непрерывной функцией распределения , а -- эмпирическая функция распределения. Тогда

где случайная величина имеет распределение Колмогорова с непрерывной функцией распределения

Следующие свойства эмпирической функции распределения — это хорошо знакомые нам свойства среднего арифметического независимых слагаемых, имеющих, к тому же, распределение Бернулли.

В первых двух пунктах утверждается, что случайная величина имеет математическое ожидание и дисперсию , которая убывает как  . Третий пункт показывает, что сходится к  со скоростью .

Свойство 1.

Для любого

1)

, т.е. — «несмещенная» оценка для ;

2)

;

3)

если , то , т.е.  — «асимптотически нормальная» оценка для ;

4)

случайная величина имеет биномиальное распределение .

Доказательство свойства 1.  Заметим снова, что имеет распределение Бернулли , поэтому

1)

Случайные величины , , одинаково распределены, поэтому где используется одинаковая распределенность?

2)

Случайные величины , , независимы и одинаково распределены, поэтому где используется независимость?

3)

Воспользуемся ЦПТ Ляпунова: а что это такое?

4)

Поскольку (число успехов в одном испытании) имеет распределение Бернулли , почему? то имеет биномиальное распределение . почему?  а что такое устойчивость по суммированию?

Q.D.E.

Замечание 4. Все определения, как то: «оценка», «несмещенность», «состоятельность», «асимптотическая нормальность» будут даны в главе 2. Но смысл этих терминов должен быть вполне понятен уже сейчас.