Математическая статистика

первому и второму моменту, Eα — по всем моментам, E1/α — по первому моменту, U−θ, θ — как получится, α, λ — по первому и второму моменту,

ного правдоподобия для следующих семейств распределений: Bm, p при

известном значении m N, Πλ+1, U0, 2θ, E2α+3, U−θ, θ, Na, σ2 при известном a.

7.Какие из оценок в задачах 5 и 6 несмещённые? Какие из них состоятельны?

8.Эмпирическая функция распределения Fn(y) строится по выборке из равномерного распределения на отрезке [0, a], где a > 1. Для какого параметра θ = θ(a) статистика Fn(1) является несмещённой оценкой? Является ли она состоятельной оценкой того же параметра?

9.Пусть элементы выборки X1, . . . , Xn имеют распределение с плот-

ностью

где θ > 0 — неизвестный параметр. Проверить, является ли оценка максимального правдоподобия асимптотически несмещённой оценкой для параметра θ .

10. Дана выборка из равномерного распределения на отрезке [0, θ]. Найти предел (в смысле сходимости п. н.) при k → ∞ последовательности оценок параметра θ, полученных методом моментов по k -му моменту.

Г Л А В А III

СРАВНЕНИЕ ОЦЕНОК

Используя метод моментов и метод максимального правдоподобия, мы получили для каждого параметра достаточно много различных оценок. Каким же образом их сравнивать? Что должно быть показателем «хорошести» оценки? Понятно, что чем дальше оценка отклоняется от параметра, тем она хуже. Но величина |θ − θ| для сравнения непригодна: во-первых, параметр θ неизвестен, во-вторых, θ — случайная величина, поэтому при разных значениях выборки эти расстояния будут, вообще говоря, различны. Для сравнения оценок используют обычно усреднённые характеристики рассеяния. Это может быть либо E(θ − θ)2, либо некий «предельный» разброс последовательности оценок относительно параметра. В зависимости от этого различают среднеквадратический и асимптотический подходы к сравнению оценок.

§ 1. Среднеквадратический подход к сравнению оценок

Среднеквадратический подход использует в качестве «расстояния» от оценки до параметра величину E(θ − θ)2. Это среднее является функцией от параметра θ, поэтому сравнивают такие отклонения при каждом возможном значении θ.

Пусть X1, . . . , Xn — выборка объёма n из параметрического семейства распределений Fθ, где θ Θ.

О п р е д е л е н и е 9. Говорят, что оценка θ1 лучше оценки θ2 в смысле среднеквадратического подхода (или в среднеквадратичном), если для

любого θ Θ

E(θ1 − θ)2 6 E(θ2 − θ)2,

и хотя бы при одном θ это неравенство строгое.

Существует ли среди всех оценок наилучшая в смысле среднеквадратического подхода? Здравый смысл подсказывает, что ответ на этот вопрос скорее отрицателен, равно как и на любой вопрос о существовании слишком глобального экстремума. Предположим, что мы имеем дело

34 ГЛАВА III. СРАВНЕНИЕ ОЦЕНОК

с невырожденной задачей: ни для какой статистики θ невозможно, чтобы оценка θ равнялась θ п. н. при любых θ Θ.

Т е о р е м а 10. В классе всех возможных оценок наилучшей в смысле среднеквадратического подхода оценки не существует.

Д о к а з а т е л ь с т в о. Пусть, напротив, θ — наилучшая, т. е. для лю-

Но величина (θ − θ)2 неотрицательна, поэтому равенство нулю её математического ожидания возможно только в случае, когда θ = θ п. н. (оценка в точности отгадывает неизвестный параметр), т. е. для вырожденной с точки зрения математической статистики задачи. Приведём примеры вырожденных задач, когда параметр однозначно определяется по выборке. Так, для выборки из вырожденного распределения Iθ параметр совпадает с любым элементом выборки: θ = X1 п. н.; для выборки из равномерного распределения Uθ, θ+1 при Θ = Z имеет

место равенство θ = X1 п. н.

Если в классе всех оценок наилучшей не существует, то, возможно, следует разбить класс всех оценок на отдельные подклассы и в каждом

искать наилучшую. Обычно рассматривают оценки, имеющие одинаковое

смещение b(θ) = Eθ − θ.

Обозначим через Kb = Kb(θ) класс всех оценок со смещением, равным заданной функции b(θ):

Kb = {θ | Eθ = θ + b(θ)} , K0 = {θ | Eθ = θ} .

Здесь K0 — класс несмещённых оценок.

О п р е д е л е н и е 10. Оценка θ Kb называется эффективной оценкой в классе Kb, если она лучше (не хуже) всех других оценок класса Kb в смысле среднеквадратического подхода, т. е. для любой θ1 Kb, для

любого θ Θ

E(θ − θ)2 6 E(θ1 − θ)2.

О п р е д е л е н и е 11. Эффективная оценка в классе K0 называется просто эффективной.

сто сравнение их дисперсий. Поэтому эффективную оценку ещё называют «несмещённой оценкой с равномерно минимальной дисперсией» («н. о. р. м. д.»). Равномерность имеется в виду по всем θ Θ.

Для смещённых оценок θ Kb

E(θ − θ)2 = D(θ − θ) + (Eθ − θ)2 = Dθ + b2(θ),

т. е. сравнение в среднеквадратичном оценок с одинаковым смещением также приводит к сравнению их дисперсий.

У п р а ж н е н и е. Мы хотим найти наилучшую оценку в классе Kb. Объясните, почему доказательство теоремы 10 не пройдет в классе Kb.

Следующее утверждение показывает, что в классе оценок с одинаковым смещением не может существовать двух различных эффективных оценок:

Kb (доказать). Вычислим её среднеквадратическое отклонение. Запишем

Подставим эти выражения в (7) и вычислим математические ожидания обеих частей:

Но оценка θ принадлежит Kb, т. е. она не лучше, например, эффективной оценки θ1. Поэтому

E(θ − θ)2 > E(θ1 − θ)2.

Итак, оценка θ = 2X асимптотически нормальна с коэффициентом

σ2(θ) = 4DX1 = 4 · θ2 = θ2 .

12 3

Для проверки асимптотической нормальности оценки ˆθ = X(n) воспользуемся определением слабой сходимости. По определению, ξn F,

если для любой точки x, являющейся точкой непрерывности функции распределения F, имеет место сходимость

P(ξn < x) → F (x) при n → ∞.

П о р я д о к д е й с т в и й: Выписать определение слабой сходимости. На-

рисовать функцию распределения нуля. Найти по определению функцию

√

распределения n(X(n) −θ). Убедиться, что она сходится к функции распределения нуля во всех точках непрерывности последней. Не забыть о

существовании замечательных пределов, логарифмов и ряда Тейлора.

√

В о п р о с 2. Если n(X(n) − θ) 0, то на какую степень n нужно попробовать умножить X(n) − θ, чтобы получить сходимость к величине, отличной от нуля и от бесконечности?

У п р а ж н е н и е. Доказать, что −n(X(n) − θ) η, где случайная величина η имеет показательное распределение E1/θ.

П о р я д о к д е й с т в и й: прежний.

У п р а ж н е н и е. Модифицировать рассуждения и доказать, что эта оценка тоже не является асимптотически нормальной.

В о п р о с п о с л е д н и й. Плохо ли, что оценка ˆθ = X(n) не асимптотически нормальна? Может быть, сходимость n(X(n) − θ) −η ещё лучше (особенно из-за множителя n при разности (X(n) и θ)?

«Скорость» сходимости оценки к параметру. Попробуем ответить на

√

последний вопрос и заодно объясним себе, о чём говорит множитель n

вопределении асимптотической нормальности оценок.

Те о р е м а 12. Если θ — асимптотически нормальная оценка для параметра θ, то она состоятельна.

Д о к а з а т е л ь с т в о. Вспомним свойство слабой сходимости: произведение двух последовательностей, одна из которых сходится по вероятности к постоянной, а другая слабо сходится к некоторой случайной величине,

слабо сходится к произведению пределов. Поэтому

где ξ имеет нормальное распределение N0, σ2(θ). Но слабая сходимость к нулю влечет сходимость к нулю по вероятности.

У п р а ж н е н и е. Верно ли утверждение теоремы 12, если предельная величина ξ имеет распределение, отличное от нормального?

0. Свойство асимптотической нормальности показывает, в частности, что

1

скорость этой сходимости имеет порядок √n . Действительно, расстояние

Взглянем с этой точки зрения на оценку ˆθ = X(n) в примере 14. Для

Сделаем вывод из предыдущих рассуждений. Асимптотическая нормальность представляет собой типичное, ничем не выдающееся качество оценок. Асимптотически нормальные оценки сближаются с параметром со

1

скоростью √n . Остутствие такого качества может означать, что оценка

быстрее сходится к параметру, нежели любая асимптотически нормальная оценка. Примером такой «выдающейся» оценки может служить ОМП для параметра θ равномерного распределения на отрезке [0, θ], не являющаяся асимптотически нормальной. Она так быстро сходится к параметру, как не умеет ни одна АНО. Таким образом, отсутствие свойства АНО не делает эту оценку хуже. Скорее наоборот.

Асимптотическая нормальность ОММ. Продолжим рассмотрение асимптотически нормальных оценок. В примере 14 мы видели, что для оценки 2X свойство асимптотической нормальности сразу следует из ЦПТ. Установим асимптотическую нормальность оценок более сложного вида, какими обычно оказываются оценки метода моментов.

Л е м м а 1. Пусть функция g(y) такова, что 0 6= Dg(X1) < ∞. Тогда статистика g(X) является асимптотически нормальной оценкой для Eg(X1) с коэффициентом σ2(θ) = Dg(X1) :

У п р а ж н е н и е. Вспомнить ЦПТ и доказать лемму 1.

Следующая теорема утверждает асимптотическую нормальность оценок вида

θ = H g(X) = H g(X1) + . . . + g(Xn) . n

Такие оценки получаются обычно (найти примеры) при использовании метода моментов, при этом всегда θ = H (Eg(X1)) .

Т е о р е м а 13. Пусть функция g(y) такова, что 0 6= Dg(X1) < ∞, функция H(y) дифференцируема в точке a = Eg(X1) и её производная в этой точке H0(a) = H0(y) y=a отлична от нуля.

Тогда оценка θ = H g(X) является асимптотически нормальной оценкой для параметра θ = H (Eg(X1)) = H(a) с коэффициентом асимптотической нормальности

σ2(θ) = H0(a) 2 · Dg(X1).