3. Точечное оценивание значений функции распределения.
Пусть
выборка из распределения
с неизвестным параметром
,
и
некоторое фиксированное числовое
значение, требуется построить оценку
значения функции распределения –
неизвестной величины
(неизвестной в силу того, что параметр
неизвестен) и исследовать свойства
несмещенности и состоятельности
построенной оценки.
Предположим, что в качестве оценки
неизвестной величины вероятности
используется значение эмпирической
функции распределения
,
,
где согласно определению эмпирической
функции распределения 1.6 функция
равна случайной величине количества
случайных величин выборки
меньших
.
Заметим, что функцию
можно представить в виде суммы значений
индикаторных функций от случайных
величин выборки:
,
где
(
)
принимает значение 1 если
и 0 в противном случае. Таким образом,
каждая величина
является случайной величиной, принимающей
лишь два значения: 1 с вероятностью
и 0 с вероятностью
:
.
Поскольку
выборка из распределения
,
то в соответствии с определением выборки
1.1, все случайные величины имеют функцию
распределения
,
отсюда следует, что
,
Таким образом, окончательно статистика имеет вид:
|
(2.1) |
где
- случайные величины,
.
Исследуем свойства оценки (2.1), покажем, что статистика (2.1) является несмещенной оценкой , действительно, по свойству математического ожидания,
.
Для исследования свойства состоятельности оценки достаточно вспомнить теорему о сходимости по вероятности значений эмпирической функции распределения к значениям при всяком фиксированном . Поскольку оценка в точности совпадает с , то очевидно сходится по вероятности к при и, следовательно, является состоятельной.
3. Точечное оценивание математического ожидания и дисперсии для функции распределения.
Пусть
выборка из распределения
с неизвестным параметром
,
требуется построить оценки первого
начального момента (математического
ожидания)
и второго центрального момента (дисперсии)
(при условии, что указанные моменты
конечны):
,
и исследовать свойства построенных оценок.
Для построения оценок воспользуемся
определениями моментов, приведенными
выше, в которых неизвестную функцию
распределения
заменим известным «приближением» –
эмпирической функцией распределения
:
,
.
Поскольку
является ступенчатой функцией, с
разрывами величины
в точках
(
),
то в результате вычисления интегралов
получим следующие статистики:
|
(2.2) |
|
(2.3) |
Определение 2.2.
Статистика называется выборочным средним.
Определение 2.3.
Статистика называется выборочной дисперсией.
Легко видеть, что оценка
является несмещенной, действительно:
.
Для доказательства состоятельности оценки может быть использована теорема Хинчина или утверждение 2.1. Заметим, что в случае использования утверждения 2.1 требуется существование дисперсий случайных величин , в то время как теорема Хинчина применима даже в тех случаях, когда у случайных величин дисперсии не существует.
В данном случае величины
,
,
…,
образуют выборку, поэтому они независимы,
имеют одинаковую функцию распределения,
и, следовательно, одинаковое математическое
ожидание
,
конечность которого гарантируется
исходной постановкой рассматриваемой
задачи оценки. Таким образом, к совокупности
случайных величин
,
…,
при
применима теорема Хинчина, и поскольку
статистика
есть в точности
получим:
,
при
,
что и означает состоятельность оценки
.
Поскольку оценка
является несмещенной, то состоятельность
оценки
может быть доказана с использованием
утверждения 2.1, при условии, что дисперсия
оценки
конечна и стремиться к нулю с ростом
.
Вычислим
непосредственно из определения статистики
:
поскольку величины
,
…,
образуют выборку, то согласно определению
выборки они независимы в совокупности
и, следовательно, попарно независимы,
так что при
.
При
,
конечно,
,
поэтому:
|
(2.4) |
Поскольку
предполагается конечной по условию
постановки исходной задачи, приведенной
в начале пункта, то дисперсия
конечна и монотонно стремится к нулю с
ростом
,
поэтому в силу утверждения 2.1 оценка
является состоятельной.
Исследуем свойства оценки
,
предварительно преобразовав статистику
к следующему виду:
.
Вычислим математическое ожидание
:
(поскольку
,
то
)
(дисперсия была вычислена ранее – соотношение 2.2)
Таким образом,
|
(2.5) |
и оценка
оказывается смещенной, но смещение
легко исправить, в результате приходим
к новой оценке:
.
Оценка
является несмещенной, действительно,
.
Определение 2.4.
Статистика
называется исправленной выборочной
дисперсией.
Для доказательства состоятельности
оценки
может быть использована теорема Хинчина
и свойства сходимости по вероятности.
Ранее было получено выражение для оценки
в виде:
К совокупности случайных величин
применима теорема Хинчина: величины
независимы
и имеют одинаковую функцию распределения
(поскольку величины
образуют выборку), кроме того, математическое
ожидание каждой величины
конечно (по условию постановки исходной
задачи, приведенной в начале пункта).
Таким образом, по теореме Хинчина:
,
при
.
Оценка является состоятельной, что по определению означает:
,
при
откуда по определению сходимости по вероятности
,
при
.
Функция возведения в квадрат является непрерывной, и, как и для всякой непрерывной функции, в силу свойства сходимости по вероятности:
,
при
.
В силу свойства суммы двух пределов по вероятности,
,
при
,
откуда следует, что
,
при
,
то есть оценка в соответствии с определением является состоятельной.
Для доказательства состоятельности
оценки
могут быть использованы свойства
сходимости по вероятности или утверждение
2.1.
В соответствии с определением оценки :
,
где оценка
состоятельна, то есть
при
,
и числовая последовательность
стремиться к 1 при
.
Последнее означает, что для любого
всегда можно найти
такое, что при
:
,
отсюда, считая элементы последовательности
функциями
тождественно равные постоянным, получим:
,
тогда, очевидно, что и для всякого :
.
Таким образом, числовая последовательность
сходится по вероятности к 1 при
,
.
Оценка
,
отсюда по свойству сходимости по
вероятности:
,
при
.
Поскольку статистика
является несмещенной оценкой
,
то для проверки состоятельности
статистики
можно воспользоваться утверждением
2.1, для этого покажем, что дисперсия
статистики
конечна и стремиться к нулю с ростом
,
при
.
При вычислении дисперсии
дополнительно потребуется существование
четвертого центрального момента
:
,
будем считать, что это требование выполнено.
Прежде всего, вычислим дисперсию
статистики
,
которую, как было показано ранее, можно
представить в следующем виде:
.
Далее, подставляя выражение для получим:
.
Введем центрированные случайные величины
,
тогда для
получим выражение:
Теперь, возводя в квадрат и преобразовывая, получим выражение:
.
Представим дисперсию в виде:
|
(2.4) |
Вычислим
:
.
Заметим, что величины
(
)
совместно независимы, поскольку
независимы величины
(
),
так как
образуют выборку, и кроме того:
.
Рассмотрим слагаемые
в сумме
,
зафиксируем
,
и рассмотрим все возможные варианты
для индексов
и
:
1)
,
а)
– невозможно, поскольку
и
;
а)
:
;
2)
,
а)
:
;
б) :
.
Таким образом, все слагаемые
.
Рассмотрим слагаемые
в сумме
,
зафиксируем индексы
и
,
и рассмотрим все возможные варианты
для индексов
и
:
1)
:
а)
– невозможно, поскольку
и
;
б)
:
;
в)
,
:
;
2)
:
а) :
;
б)
– невозможно, поскольку
и
;
в) , :
;
3)
и
:
а) :
;
б) :
;
в) , :
;
Заметим, что только в случае 1б)
,
и в случае 2а)
,
слагаемое
может быть отлично от нуля, во всех
остальных случаях слагаемое
.
Таким образом, для получим выражение:
.
Поскольку
,
то
Поскольку величины
(
)
независимы, то
,
тогда:
.
Таким образом,
.
Из (2.4) с учетом (2.3) получим выражение для дисперсии :
.
Зная выражение для дисперсии , легко вычислить дисперсию оценки . Поскольку , то:
.
Поскольку
и
,
то очевидно
и
,
при
,
откуда в силу утверждения 2.3 оценка
является состоятельной.