Тема 9. Оценка моментов и параметров распределения

Виды оценок и их характеристики. Точечные оценки моментов случайной величины. Методы оценки параметров распределения (метод моментов, метод максимального правдоподобия). Интервальная оценка параметров. Доверительные интервалы для параметров нормального распределения.

Сначала изучите материал, изложенный в главе 9 [1]. Затем ответьте на вопросы и выполните задания для самопроверки. Внимательно разберите решение приведенных примеров.

При изучении материала обратите особое внимание на следующее.

1. Статистика – это любая функция, зависящая от результатов наблюдений и являющаяся случайной величиной.

2. Состоятельность оценки параметра распределения означает, что эта оценка сходится по вероятности при увеличении объема выборки к истинному значению параметра.

“Хорошая” оценка обязательно должна обладать свойством состоятельности. В противном случае оценка не имеет практического смысла: увеличение объема исходной информации о случайной величине не будет “приближать нас к истине”.

3. Оценка â_n неизвестного параметра a называется несмещенной, если при любом объеме выборки n результат ее усреднения по всем возможным выборкам данного объема приводит к точному истинному значению оцениваемого параметра.

4. Неравенство Рао – Крамера дает нижнюю границу для дисперсии несмещенной оценки, которую улучшить нельзя, т.е. нельзя получить оценку с меньшей дисперсией. Это неравенство справедливо только для законов распределения, которые относятся к так называемым регулярным моделям, одним из свойств которых является независимость области возможных значений случайной величины от параметра распределения. Нерегулярной моделью является, например, равномерное распределение, так как область возможных значений случайной величины, в которой плотность вероятности положительна, зависит от оцениваемых по выборке параметров.

5. Если оценке подлежат несколько параметров распределения, то дисперсии оценок параметров следует рассчитывать с учетом корреляции между оценками.

6. На стр. 150 [1] формулы для оценок математического ожидания и можно интерпретировать следующим образом. Для дискретной случайной величины

Любую выборку можно рассматривать в качестве генеральной совокупности дискретной случайной величины, все значения которой равновероятны. Поэтому

.

Аналогично для дисперсии и других моментов.

7. Дисперсия оценки математического ожидания в n раз меньше дисперсии генеральной совокупности .

8. Выборочная дисперсия является смещенной оценкой дисперсии генеральной совокупности.

9. Чтобы уяснить сущность оценки параметров методом максимального правдоподобия, рассмотрим два примера. За основу возьмем приведенное на стр. 154 высказывание Фишера: “Наилучшим описанием исследуемого явления является то, при котором максимальна вероятность получить фактически измеренные значения наблюдаемых величин”.

Пример 1. Пусть имеются две урны, каждая из которых содержит белые и черные шары:

урна A – 1 белый и 3 черных,

урна B – 3 белых и 1 черный.

Наугад выбирается одна из урн и из нее вынимаются (с последующим возвращением) три шара. Как известно, вероятность того, что среди этих шаров окажется n черных, дается биномиальным распределением

,

где параметр p равен для урны A и для урны B.

Задача состоит в оценке параметра p на основании произведенной в результате испытания выборки. Выборка представляет собой одно из значений n (которое наблюдалось). Параметр p может быть равен или или . Фактически нужно определить из какой из урн была взята выборка.

Если рассчитывать значения для всех возможных n и двух значений p, то получится следующая таблица.

n	0	1	2	3
p=
p=

Предположим, что среди вынутых шаров черного не оказалось, т.е. n = 0. В этом случае мы делаем заключение, что полученный результат должен был наблюдаться с вероятностью в 27 раз большей при p = , чем при p = .

В общем можно утверждать, что наиболее правдоподобной оценкой параметра p будет:

, если n = 0 или n = 1;

, если n = 2 или n = 3.

Пример 2. Пусть теперь величина X является непрерывной и подчиняется экспоненциальному закону распределения

, x>0,

где λ - неизвестный параметр, который следует оценить по независимой выборке, состоящей из трех наблюдений: x₁=1,0; x₂=1,1; x₃=0,9.

Совместная плотность вероятности получения этих значений

Будем искать такое значение λ, при котором эта плотность вероятности будет принимать максимальное значение. Это значение и следует принять за максимальную правдоподобную оценку параметра λ.

Построим зависимость от параметра λ, для чего рассчитаем значения плотности вероятности при различных значениях λ:

λ	0,25	0,5	1,0	1,5	2,0	2,5	3,0
	7,4	27	49	37	20	9	2,7

Построим эту зависимость.

Чтобы определить, при каком значении λ будет иметь место максимум, воспользуемся обычными правилами, взяв производную по λ и приравняв ее к нулю:

.

Отсюда

10. Изложенная методика построения доверительных интервалов для математического ожидания и дисперсии справедлива только в том случае, если выборочные данные принадлежат нормальной генеральной совокупности.

Вопросы и задания для самопроверки.

1. Назовите виды оценок параметров распределений.

2. Какие требования предъявляются к точечным оценкам?

3. Какая оценка называется состоятельной?

4. Какая оценка называется несмещенной?

5. Какая оценка называется эффективной?

6. Что показывает неравенство Рао-Крамера?

7. Какие условия должны быть выполнены, чтобы оценка была эффективной?

8. Запишите выражения для точечной оценки математического ожидания (выборочного среднего). Является ли оценка несмещенной?

9. Запишите выражение для оценок дисперсии при известном и неизвестном математическом ожидании. Какая из этих оценок является смещенной?

10. Как связаны между собой оценки дисперсии математического ожидания и случайной величины?

11. Запишите выражение для несмещенной оценки дисперсии.

12. Как находятся оценки параметров распределения методом моментов?

13. В чем состоит сущность метода максимального правдоподобия для оценки параметров распределения?

14. Выборка взята из нормальной генеральной совокупности с единичной дисперсией. Запишите выражение для функции правдоподобия при оценке математического ожидания.

15. Что называют интервальной оценкой параметра распределения?

16. Что такое доверительная вероятность?

17. Какую статистику используют при построении доверительного интервала для математического ожидания в случае, когда выборка взята из нормальной генеральной совокупности с известной дисперсией? По какому закону она распределена?

18. Какую статистику используют при построении доверительного интервала для математического ожидания в случае, когда выборка взята из нормальной генеральной совокупности с неизвестной дисперсией? По какому закону она распределена?

19. Какую статистику используют при построении доверительного интервала для дисперсии в случае, когда выборка взята из нормальной генеральной совокупности? По какому закону она распределена?

Примеры решения задач

Пример 1. Для определения точности измерительного прибора, систематическая погрешность которого практически равна нулю, было проведено пять независимых измерений какой-то величины и получены следующие результаты: 2781; 2836; 2807; 2763; 2858.

Необходимо дать несмещенную оценку дисперсии погрешностей измерительного прибора, если: 1) значение измеряемой величины известно и равно 2800; 2) значение измеряемой величины неизвестно.

Решение.

1) Если значение измеряемой величины, т.е. математическое ожидание, известно, то несмещенная оценка дисперсии находится по формуле

.

2) Если значение измеряемой величины неизвестно, то оценка дисперсии дается формулой

,

где – оценка значения измеряемой величины (математического ожидания). Вычисления дают . Тогда

.

Как видно, во втором случае дисперсия погрешностей больше.

Пример 2. Оценить параметр в законе распределения Релея

,

по результатам независимой выборки : 1) методом моментов; 2) методом максимального правдоподобия.

Решение. 1) В методе моментов определенное количество моментов, оцененных по выборке, приравнивается к соответствующим моментам теоретического распределения, которые являются функциями неизвестных параметров. Необходимое количество моментов должно быть равно числу подлежащих оценке параметров. Решая полученную систему уравнений относительно этих параметров, можно найти искомые оценки.

В задаче параметр один, поэтому достаточно одного уравнения. Какой момент выбрать? Из закона распределения Релея видно, что параметр имеет размерность квадрата величины. Поэтому следует взять либо начальный момент второго порядка , либо центральный момент второго порядка .

Возьмем момент и найдем его теоретическое значение:

.

Аналогичный выборочный момент находится по формуле

.

Приравняв и , получаем уравнение

,

откуда .

2) Поскольку значения в выборке независимы, то функция правдоподобия, как совместная плотность вероятности появления значений в выборке,

.

Логарифм функции правдоподобия

.

В соответствии с методом максимального правдоподобия необходимо найти такое , при котором функция принимает максимальное значение. Находим производную по :

.

Приравняв производную нулю, получаем уравнение правдоподобия

.

Отсюда .

Как видно, оценки, полученные обоими методами, совпадают.

Проверим полученные оценки на несмещенность:

.

Следовательно, оценка является несмещенной.

Исследуем оценку на эффективность. Чтобы оценка была эффективной, должно выполняться равенство

,

где – функция, не зависящая от выборочных значений.

.

Таким образам, оценка является эффективной.

Дисперсию оценки можно найти с помощью неравенства Рао-Крамера, которое в случае эффективности оценки переходят в равенство:

.

.

Подставив вместо параметра его оценку, получим

.

Пример 3. Найти 95% доверительный интервал для разности двух математических ожиданий нормальных генеральных совокупностей, если полученные по выборкам объемами и оценки и . Дисперсии совокупностей известны и равны .

Решение. Разность оценок математических ожиданий будет распределена по нормальному закону с параметрами и .

Введем случайную величину (статистику)

.

Эта статистика будет распределена по стандартному нормальному закону. Тогда по аналогии построения доверительного интервала для математического ожидания (стр. 162 [1]) получим

,

где – квантиль порядка .

Подставив исходные данные, получим:

.

Следовательно, доверительный интервал (-2,88; -1,92) накрывает неизвестную разность математических ожиданий двух генеральных совокупностей с вероятностью 0,95.