3. Точечные оценки неизвестных параметров
3.1. Определение и свойства точечной оценки
Большинство случайных величин,
рассмотренных в курсе теории вероятностей,
имели распределения, зависящие от одного
или нескольких параметров. Так,
биномиальное распределение зависит от
параметров
и
,
нормальное – от параметров
и
,
распределение Пуассона – от параметра
и т.п. Одной из основных задач
математической статистики (см. главу
1) является оценивание этих параметров
по наблюдаемым данным, т.е. по выборочной
совокупности. В главе 2 были рассмотрены
выборочные среднее и дисперсия, которые
интерпретировались как приближенные
значения неизвестных значений
математического ожидания и дисперсии
изучаемой случайной величины
,
т.е. являлись оценками этих неизвестных
характеристик.
Выборочная характеристика, используемая в качестве приближенного значения неизвестного параметра генеральной совокупности, называется точечной оценкой этого параметра. В этом определении слово "точечная" означает, что значение оценки представляет собой число или точку на числовой оси.
Обозначим через
некоторый неизвестный параметр
генеральной совокупности, а через
–
точечную оценку этого параметра. Оценка
есть функция
от
независимых
экземпляров
генеральной совокупности, где
–
объем выборки (см. п. 2.1). Поэтому оценка
,
как функция случайных величин, также
является случайной, и свойства
можно исследовать с использованием
понятий теории вероятностей.
В общем случае точечная оценка не связана с оцениваемым параметром . Поэтому естественно потребовать, чтобы была близка к . Это требование формулируется в терминах несмещенности, состоятельности и эффективности.
Оценка параметра называется несмещенной, если для любого фиксированного объема выборки математическое ожидание оценки равно оцениваемому параметру, т.е.
. (3.1)
Поясним смысл этого равенства следующим
примером. Имеются два алгоритма вычисления
оценок для параметра
.
Значения оценок, построенных первым
алгоритмом по различным выборкам объема
генеральной совокупности, приведены
на рис. 3.1,а, а с использованием
второго алгоритма – на рис. 3.1,б.
Видим, что среднее значение оценок на
рис. 3.1,а совпадает с
,
и, естественно, такие оценки предпочтительнее
по сравнению с оценками на рис. 3.1,б,
которые концентрируются слева от
значения
и для которых
,
т.е. эти оценки являются смещенными.
Оценка называется состоятельной, если
,
т.е. для любого
при
. (3.2)
Поясним смысл этого предельного
соотношения. Пусть
– очень малое положительное число.
Тогда (3.2) означает, что чем больше число
наблюдений
,
тем больше уверенность (вероятность) в
незначительном отклонении
от неизвестного параметра
.
Очевидно, что "хорошая" оценка
должна быть состоятельной, иначе она
не имеет практического смысла, так как
увеличение объема исходной информации
не будет приближать нас к "истинному"
значению
.
Предположим, что имеются две состоятельные и несмещенные оценки
(3.3)
одного и того же параметра
.
Как из двух этих оценок выбрать лучшую?
Каждая из них является случайной
величиной, и мы не можем предсказать
индивидуальное значение оценки в каждом
частном случае. Однако, рассматривая в
качестве меры концентрации распределения
оценки
около значения параметра
величину
,
мы можем теперь точно охарактеризовать
сравнительную эффективность оценок
и
.
В качестве меры эффективности принимается
отношение
.
(3.4)
Если
,
то оценка
более эффективна, чем
.
В случае несмещенных оценок
,
и поэтому
,
(3.5)
где
– дисперсия оценки
.
Рис. 3.1. К определению несмещенной оценки
Рис. 3.2. К определению эффективной оценки
Таким образом, несмещенная оценка параметра называется несмещенной эффективной, если она среди всех других несмещенных оценок того же параметра обладает наименьшей дисперсией.
Приведенная на рис. 3.2,а оценка является более эффективной по сравнению с оценкой, значения которой нанесены на рис. 3.2,б (почему?).
Как же выяснить, является ли несмещенная оценка эффективной? Очевидно, для этого необходимо сравнить дисперсию этой оценки с минимальной дисперсией.
Для широкого класса оценок неравенство Рао–Крамера указывает точную нижнюю границу для дисперсий различных оценок одного и того же параметра. Если существует оценка, дисперсия которой в точности равна этой нижней границе, то она называется эффективной оценкой. Оценка, имеющая наименьшую дисперсию среди оценок данного класса, называется эффективной в данном классе оценок. Поясним понятие эффективной оценки несколькими примерами.
Предположим,
что генеральная совокупность распределена
по нормальному закону с параметрами
и
,
причем
–
математическое ожидание, подлежащее
оценке, а
–
известная дисперсия. Оказывается, что
для любой несмещенной регулярной оценки
имеет место неравенство
, (3.6)
где
–
объем выборки, по которой производится
оценивание. Если в качестве
принять
,
то дисперсия этой оценки, как будет
показано ниже, равна
,
т.е.
–
эффективная оценка параметра а, так
как для нее достигается нижняя грань в
неравенстве (3.6).
Рассмотрим
на примере понятие эффективной в
данном классе оценки. Предположим,
что один и тот же предмет, истинная
величина которого равна
,
измеряется
раз различными приборами, имеющими
различную точность. Пусть
– результаты i-го
измерения. Тогда
если
считать, что измерения проводятся без
систематических ошибок. Дисперсия
характеризует точность измерений. Для
оценки истинного значения параметра
рассмотрим класс линейных оценок, т.е.
оценок вида
,
где
–
некоторые неизвестные константы. Из
всех несмещенных оценок данного класса
нужно выбрать ту, которая имеет наименьшую
дисперсию.
Из несмещенности оценок получим
.
Значит,
(3.7)
Пользуясь свойствами дисперсии и независимостью проведенных измерений, получим
.
Числа должны удовлетворять условию (3.7) и обеспечивать минимум функции
.
Мы получим задачу на условный экстремум, которую можно решить с помощью функции Лагранжа:
.
Найдем критические точки функции Лагранжа:
;
.
Отсюда находим значение
(3.8)
Полученный результат имеет простой физический смысл: чем меньше точность данного прибора, тем с меньшим значением коэффициента его результат должен входить в оценку.
Заметим, что
если все приборы имеют одинаковую
точность, т.е.
,
то
и в качестве оценки получим
.