Раздел 14. Точечные оценки параметров распределения, их свойства и методы получения

Основная задача математической статистики состоит в нахождении распределения наблюдаемой случайной величины X по данным выборки. Во многих случаях вид распределения X можно считать известным, и задача сводится к получению приближенных значений неизвестных параметров

этого распределения. Пусть FX x, – функция распределения случайной величины X , содержащая один неизвестный параметр , a x1, x2 ,..., xn – вы-

борка наблюдений этой случайной величины. Точечной оценкой неиз-

вестного параметра называется такая функция результатов опыта (вы-

борки) x1, x2 ,..., xn , которую можно принять за подходящее значение оцениваемого параметра.

Любую функцию элементов выборки называют статистикой. Чтобы выяснить, какие свойства должна иметь статистика x1, x2 ,..., xn для того,

чтобы ее значения могли бы считаться хорошей в некотором смысле оценкой

Xi , i 1,2,..., n , есть FX x, и является функцией параметра , то и распре-

деление статистики x1, x2 ,..., xn также зависит от неизвестного параметра

.

Качество оценок характеризуется следующими основными свойствами.

2. Несмещенность. Оценка называется несмещённой оценкой параметра , если ее математическое ожидание равно оцениваемому параметру,

110

ных оценок систематическая ошибка оценивания равна нулю.

Для оценки параметра может быть предложено несколько состоятель-

ных несмещенных оценок. Мерой точности несмещенной оценки считают ее дисперсию D .

3. Эффективной называется несмещенная оценка 0 параметра , дис-

персия которой минимальна среди всех возможных оценок .

При выполнении некоторых условий регулярности, для дисперсии не-

смещенной оценки параметра выполняется неравенство Крамера-Рао:

где In – информация Фишера, содержащаяся в выборке объема n относи-

тельно неизвестного параметра . Для непрерывной случайной величины X с условной плотностью распределения WX x /

где p x / P X x / .

Условия регулярности выполняются для обычно используемых статистик нормального, биномиального и пуассоновского распределений.

Несмещенная оценка n называется асимптотически эффективной оценкой параметра , если

Методы оценивания статистических характеристик

1. Простейший метод статистического оценивания – метод подстановки или аналогии – состоит в том, что в качестве оценки той или иной число-

111

вой характеристики (среднего, дисперсии и др.) генеральной совокупности берут соответствующую характеристику распределения выборки – выборочную характеристику.

Известно, что выборочная дисперсия

D*X 1n xi x 2

является смещенной оценкой дисперсии генеральной совокупности. Показано, что несмещенная оценка дисперсии генеральной совокупности задается статистикой

2. Метод максимального правдоподобия. Метод максимального прав-

доподобия является одним из наиболее распространенных методов нахождения оценок неизвестных параметров распределения генеральной совокупности. Пусть X – непрерывная случайная величина с условной плотностью распределения WX x / , зависящей от неизвестного параметра , значение которого требуется оценить по выборке объема n . Условную плотность распределения выборочного вектора X1,..., Xn при фиксированном значении неизвестного параметра можно записать в виде

Пусть, наконец, x1, x2 ,..., xn – выборка наблюдений случайной величины X , по которой находится оценка неизвестного параметра.

Функцией правдоподобия L выборки объема n называется условная плотность выборочного вектора, рассматриваемая при фиксированных значениях переменных x1, x2 ,..., xn . Функция правдоподобия является, таким образом, функцией только неизвестного параметра , т.е.

n

L WXi xi / .

i 1

Аналогично определяется функция правдоподобия выборки дискретной случайной величины X . Пусть X – дискретная случайная величина, причем вероятность P X x p x / есть функция неизвестного параметра .

Предположим, что для оценки параметра получена конкретная выборка

112

наблюдений случайной величины X объема n : x1, x2 ,..., xn . Функция правдо-

подобия L выборки объема n равна вероятности того, что при заданном значении параметра компоненты выборочного вектора X1,..., Xn примут фиксированные значения x1,..., xn , т. е.

По методу максимального правдоподобия в качестве оценки неизвестно-

го параметра принимается значение , при котором функция правдоподобия достигает максимума. Такую оценку называют МП-оценкой. В случае дискретного распределения наблюдаемой случайной величины X МПоценка неизвестного параметра есть такое значение , при котором вероятность появления данной конкретной выборки максимальна. Аналогичную интерпретацию МП-оценки можно дать и в случае оценки параметра распределения непрерывной случайной величины.

Для упрощения вычислений, связанных с получением МП-оценок, в некоторых случаях удобно использовать логарифмическую функцию правдоподобия, то есть l( ) ln L .

При выполнении некоторых достаточно общих условий МП-оценки состоятельны, асимптотически эффективны и асимптотически нормально распределены.

Если для параметра существует эффективная оценка, то метод максимального правдоподобия дает именно эту оценку и другой МП-оценки не существует.

3. Метод моментов. Для получения оценок неизвестных параметров1, 2 ,..., s распределения генеральной совокупности X часто используется метод моментов, состоящий в следующем.

Пусть WX x / 1, 2 ,..., s – условная плотность распределения случай-

ной величины X . Определим с помощью этой плотности s каких-либо моментов случайной величины X , например первые s начальных моментов, по формулам

По выборке наблюдений случайной величины найдем значения соответствующих выборочных моментов:

Решая полученную систему относительно неизвестных 1,..., s находим оценки 1,..., s неизвестных параметров.

Аналогично находятся оценки неизвестных параметров по выборке наблюдений дискретной случайной величины.

Пример 1

Пусть x1, x2 ,..., xn – выборка из генеральной совокупности с конечными

математическим ожиданием m и дисперсией 2 . Используя метод подстановки, найти оценку m . Проверить несмещенность и состоятельность полученной оценки.

Решение. По методу подстановки в качестве оценки m математического ожидания надо взять математическое ожидание распределения выборки – выборочное среднее. Таким образом, получаем

1 n

m x n xi .

i 1

Чтобы проверить несмещенность и состоятельность выборочного среднего как оценки m , рассмотрим эту статистику как функцию выборочного

115

Пример 3

Найти МП-оценку параметра распределения Пуассона.

Решение. Пусть x1, x2 ,..., xn – выборка наблюдений случайной величины X , имеющей распределение Пуассона с неизвестным параметром , т.е.

P X x x e , x!

где x принимает неотрицательные целочисленные значения, x 0,1,2...

Функция правдоподобия L выборки объема n определяется по формуле:

Полученная МП-оценка является несмещенной и состоятельной оценкой(пример 1), а также эффективной оценкой этого параметра.

Пример 4

Найти МП-оценки математического ожидания m и дисперсии 2 нормально распределенной генеральной совокупности.

Решение. Пусть x1, x2 ,..., xn – выборка наблюдений случайной величины X с плотностью распределения

116

стему уравнений для нахождения МП-оценок:

Из первого уравнения системы находим m 1n xi x . Подставляя это

значение во второе уравнение, получаем

2 1n xi x 2 D*X .

Отметим, что выборочное среднее x является несмещенной и состоятельной оценкой m (см. пример 1), а также эффективной оценкой в случае нормально распределенной генеральной совокупности (см. пример 2). Выбо-

рочная дисперсия D*X является состоятельной и смещенной оценкой 2 .

Пример 5

Методом моментов найти оценки неизвестных параметров a и b для Г- распределения с плотностью

117

Решение. Для нахождения опенок параметров a и b по методу моментов воспользуемся начальным моментом первого порядка (математическим ожиданием) и центральным моментом второго порядка (дисперсией):

распределение, находим значения соответствующих выборочных моментов:

Задачи

14.1. Пусть x1, x2 ,..., xn – выборка из генеральной совокупности с конеч-

ным начальным моментом s . Используя метод подстановки, найти оценку начального момента s . Показать, что полученная оценка является несмещенной и состоятельной.

14.2. Пусть x1, x2 ,..., xn – выборка из генеральной совокупности с извест-

ным средним m и неизвестной дисперсией 2 . Показать, что несмещенной оценкой 2 будет статистика

s02 1n xi m 2.

14.3. Рассмотрим две выборки объемов n1 и n2 из одной генеральной со-

смещенные оценки средних и дисперсий, определенные по этим выборкам. Показать что объединенные оценки, вычисляемые по формулам

X n1 X 1 n2 X 2 , n1 n2

будут несмещенными и состоятельными оценками m и 2 .

14.4. Показать, что выборочное среднее, вычисленное по выборке из генеральной совокупности, имеющей распределение Пуассона с параметром , будет несмещенной и состоятельной оценкой этого параметра.

14.5. В результате проведения n независимых экспериментов в одних и тех же условиях случайное событие A произошло x раз.

б) Определить такое значение p , при котором дисперсия h будет максимальна.

14.6.Показать, что выборочное среднее является эффективной оценкой параметра распределения Пуассона.

14.7.Показать, что относительная частота появления события A в n независимых испытаниях является эффективной оценкой вероятности p появ-

ления события A в одном испытании.

14.8. Пусть x1, x2 ,..., xn – выборка из нормально распределенной гене-

ральной совокупности N m, . Найти информацию Фишера In 2 .

14.9. Пусть x – наблюдаемое значение случайной величины, имеющей биномиальное распределение B n, p . Другими словами, x – число «успе-

хов» в n независимых испытаниях, причем p – вероятность «успеха» в од-

ном испытании. Найти МП-оценку параметра p . Показать, что полученная оценка является несмещенной, состоятельной и эффективной.

14.10. Пусть x – число автолюбителей, заправившихся на данной станции в течение n часов. Предположим, что число автолюбителей, подъезжа-

119

ющих на заправку, есть случайная величина X , имеющая распределение Пуассона с параметром n , где – ожидаемое число заправляющихся автолюбителей в течение одного часа. Найти МП-оценку параметра . Показать, что полученная оценка является несмещенной, состоятельной и эффективной.

В задачах 14.11 и 14.12 по выборке x1, x2 ,..., xn объема n найти МПоценки параметров указанных распределений. Показать, что полученные оценки являются несмещенными и состоятельными.

14.11. Показательное распределение EX 1/ . 14.12. Нормальное распределение N m, 1 .

14.13. При помощи n различных приборов получены n измерений случайной величины X . В предположении, что X имеет нормальное распреде-

ление, а дисперсия i -го измерения известна и равна i2 , i 1,2,..., n , найти МП-оценку математического ожидания m случайной величины X . Показать, что полученная оценка является несмещенной, и вычислить ее дисперсию.

14.14. Отказ прибора произошел при k -м испытании. Найти МП-оценку вероятности отказа p при одном испытании и вычислить ее математическое ожидание.

14.15. В n независимых испытаниях событие A произошло x раз. Методом моментов найти оценку вероятности p появления события A в одном испытании.

В задачах 14.16–14.18 по выборке x1, x2 ,..., xn объема n найти оценки параметров указанных распределений, используя метод моментов.

14.16. Пуассоновское распределение с параметром . 14.17. Нормальное распределение N m, .

14.18. Показательное распределение EX .

120