Конспект лекций Глазова / 11. Оценив пар-ров распр-ний

11. Оценивание параметров распределений.

Общее понятие о задаче статистического оценивания дано в п. 8.1. Сейчас мы приступаем к последовательному изложению этой части математической статистики.

11.1. Постановка задачи параметрического оценивания.

Пусть имеется выборка х, по которой принимаются статистические решения. Задачей оценивания является определение по выборке (с доступной точностью и надежностью) тех или иных статистических характеристик генеральной СВ, например, распределения, его параметров, моментов и т. д. Распределение генеральной СВ может быть до некоторой степени известно из соображений предметной области или приближенно определено по выборке, например, путем сглаживания статистического ряда (см. п. 8.2). И в том, и в другом случае, чаще всего, известен вид распределения и неизвестны параметры распределения. Например, может быть ясно, что распределение генеральной СВ нормально N(m_x, ), но неизвестны параметры m_x , распределения; в этом случае оцениванию подлежат два параметра. В другом случае могут быть известны и распределение генеральной СВ, например, нормальное, и математическое ожидание, тогда оценке подлежит один параметр . Оценивание параметров известного распределения называется параметрическим оцениванием; результаты оценивания называются параметрическими оценками, или просто оценками. Существуют оценки двух видов. Если мы принимаем решение «такой-то параметр равен тому-то», то это точечная оценка; если принимаем решение «значение такого-то параметра находится в таком-то интервале», то это интервальная оценка.

Не следует думать, что задача оценивания параметров возникает только после того, как задан вид распределения, и что оценивание параметров - всегда вспомогательная задача. В ряде случаев нас не интересует распределение генеральной СВ, а интересуют именно параметры. Пусть, например, известно, что в серии измерений некоторой физической величины, проведенных в одинаковых условиях, имелась случайная, но не систематическая, ошибка. Тогда нас может не интересовать распределение вероятностей этой ошибки, а интересовать лишь мера разброса ошибки как мера точности измерений. В качестве этой меры можно взять с. к. о. ошибки, называемую среднеквадратичной ошибкой. В этом случае задача заключается в оценивании параметра генеральной СВ, и мы пришли к задаче параметрического оценивания. Пусть теперь ситуация другая: в тех же измерениях могут быть как случайная, так и систематическая ошибки; тогда оцениванию подлежат два параметра - математическое ожидание генеральной СВ и ее с. к. о.

Вследствие случайности выборки и ограниченности ее объема, точечная оценка никогда не дает истинного значения параметра, а интервальная оценка никогда не гарантирует, что параметр обязательно находится в указанном интервале. Поскольку оценка находится по выборочным данным, она должна быть функцией выборочных значений, т. е. оценивающей статистикой (это касается точечной оценки; в интервальной оценке статистиками являются начало и конец интервала). Следовательно, точечная оценка - случайная величина, а интервальная оценка - пара случайных величин. Поэтому можно говорить о распределении вероятностей точечной оценки. Это распределение зависит от распределения генеральной СВ и от вида оценивающей статистики. Фундаментальным фактом является то, что по одним и тем же выборочным данным можно по разному оценить параметр и получить, вообще говоря, разные результаты. Другими словами, поскольку для оценки данного параметра можно предложить бесконечное количество различных статистик, задача параметрического оценивания однозначно не определена.

Проиллюстрируем это примером. Пусть получена выборка объемом n=8 (для удобства расположена в порядке возрастания):

x1	x2	x3	x4	x5	x6	x7	x8
2.0	2.1	2.1	2.4	2.8	3.0	3.1	3.1

Требуется оценить математическое ожидание генеральной случайной величины. Можно предложить бесконечное число «разумных» статистик, претендующих на роль оценки этого параметра, например:

1) среднее арифметическое выборочных значений

;

2) среднее геометрическое выборочных значений

;

3) среднее арифметическое наибольшего и наименьшего выборочных значений

;

4) среднее арифметическое средних по величине выборочных значений

;

5) взвешенное среднее, с большими весами для средних по величине выборочных значений

,

где

и множество других статистик.

Какую же из возможных «разумных» статистик считать лучшей оценкой параметра? Мы не можем потребовать от лучшей оценки ни отсутствия ошибки, ни самого малого отклонения от истинного значения параметра, ибо, как сказано выше, каждая статистика есть случайная величина и с некоторой вероятностью может отклоняться от истинного значения параметра как угодно далеко. Другими словами, мы не можем предсказать, насколько индивидуальное значение оценки (по данной выборке) отклонится от истинного значения параметра, и поэтому не можем выбирать лучшую статистику по признаку меньшего отклонения.

11.2. Эффективная точечная оценка.

Приведенные выше рассуждения показывают, что о качестве оценки нужно судить не по ее индивидуальному значению, а по ее статистическим характеристикам как случайной величины. Но каковы должны быть эти характеристики, чтобы оценку можно было считать «хорошей» или даже «наилучшей»? На этот вопрос не может быть однозначного ответа. Наиболее часто принимаются следующие три условия доброкачественной оценки Р. Фишера: состоятельность, несмещенность, эффективность. Охарактеризуем каждое из этих условий.

Состоятельность. Это свойство оценки как случайной величины стремиться по вероятности к истинному значению параметра при неограниченном увеличении объема выборки n, т.е. если - оценка, а a - истинное значение параметра, то (см. п. 7.1)

.

Благодаря этому свойству можно быть уверенным, что при больших выборках различие между оценкой и истинным значением параметра будет в определенном смысле малым. Оценка, обладающая свойством состоятельности, называется состоятельной оценкой.

Несмещенность. Как случайная величина оценка имеет некоторое математическое ожидание ; разность между ним и истинным значением параметра a называется смещением оценки. Оценка называется несмещенной, если ее смещение равно нулю при любом n, т. е. если

=a.

В противном случае оценка называется смещенной. Смысл условия несмещенности состоит в следующем. В общем случае оценка дает ошибку по отношению к истинному значению параметра a, состоящую из двух частей: систематической ошибки и случайной среднеквадратичной ошибки ; если же оценка несмещенная, то систематическая ошибка отсутствует. Иногда оценка является смещенной, но ее смещение стремится к нулю при . Такая оценка называется асимптотически несмещенной. Следует заметить, что требование несмещенности нельзя признать обязательным условием доброкачественной оценки. Дело в том, что иногда среднеквадратичная ошибка смещенной оценки

может оказаться меньше среднеквадратичной ошибки несмещенной оценки, и возникает искушение допустить смещение ради уменьшения ошибки.

Эффективность. Предположим, что имеется несколько статистик, удовлетворяющих требованию состоятельности и несмещенности относительно оцениваемого параметра a. Какую из этих статистик предпочесть? Для ответа на этот вопрос необходим критерий оптимальности оценки. Как и в случае испытания гипотез, в задаче параметрического оценивания не существует одного, раз и навсегда выбранного, критерия оптимальности; можно предложить много конкурирующих критериев. Некоторую помощь в выборе критерия оптимальности может оказать специфика предметной области, но в большинстве случаев полной определенности в этом вопросе нет; выбор критерия всегда в той или иной мере субъективен.

Чаще всего в качестве критерия принимают среднеквадратичную ошибку оценки, т. е. с. к. о. несмещенной оценки, или для смещенной оценки. Этот критерий называется среднеквадратичным, он имеет простой смысл и, как выяснится ниже, приводит к целому набору замечательных свойств оптимальных оценок. Если этот критерий принят, то из конкурирующих состоятельных оценок одного параметра лучше та, для которой значение критерия меньше. Теперь задача оптимального выбора несмещенной оценки сводится к следующему принципу оптимальности: из всех возможных состоятельных и несмещенных оценок должна быть взята оценка, имеющая минимальную дисперсию. Аналогичный принцип справедлив и для смещенной оценки. Состоятельная, несмещенная оценка конкретного параметра с минимальной дисперсией называется эффективной оценкой. Не всегда удается удовлетворить всем этим требованиям одновременно. Иногда для упрощения формул и расчетов пользуются оценками с несколько большей, чем у эффективной, дисперсией (такие оценки называются субоптимальными); иногда используют асимптотически несмещенные оценки; наконец, иногда в классе состоятельных и несмещенных оценок данного параметра в данном распределении минимум дисперсии не существует, и в этом смысле не существует эффективная оценка.

Мера эффективности оценки. В ряде случаев приходится пользоваться неэффективной оценкой. Иногда мы не можем теоретически найти вид статистики, дающей эффективную оценку, иногда не в состоянии доказать, что данная оценка эффективна, наконец, в некоторых случаях выражение для эффективной оценки слишком сложно для практического использования. Поскольку мы допускаем применение неэффективных оценок, хотелось бы иметь меру того, насколько данная оценка близка к эффективной. Эта мера называется эффективностью оценки. Если оценка несмещенная, то эффективность оценки выражается отношением

,

где - дисперсия эффективной оценки. Для эффективной оценки числитель равен знаменателю и Е=1. Для всякой другой оценки знаменатель больше числителя и 0<E<1. Чем больше Е, тем «лучше» оценка.

Как мы увидим далее, в некоторых случаях мы можем найти D_min , не находя самой эффективной оценки. Взяв теперь любую оценку и вычислив ее эффективность, мы можем узнать, является ли она эффективной, и если нет, то насколько она близка к эффективной. Иногда удается найти такую оценку, которая хотя и не является эффективной, но имеет при ; такая оценка называется асимптотически эффективной.