Posit1nov (1)

На этом варианте метода подстановки основан метод моментов.

Еще один вариант метода подстановки связан с рассмотрением экстремальных задач вида

˜

min EθH(X, θ), (13.36)

˜

θ Θ

˜

где H(x, θ) – такая функция, что минимум достигается при θ = θ. Тогда эта задача

заменяется задачей минимизации

ˆ(n)

изначение θn(X ), на котором достигается минимум, принимается в качестве

оценки. По существу на этом варианте метода подстановки основан рассматриваемый далее метод максимального правдоподобия.

Отметим, что использование методов подстановки само по себе не гарантирует получения хороших оценок: каждый вариант метода требует отдельного исследования.

13.4.2Метод моментов

Пусть распределение FX (t) = F (t, θ) генеральной совокупности X известно с точностью до k-мерного вектора параметров θ Θ Rk . Тогда любые числовые характеристики (функции) g(FX ) = g(θ) генеральной совокупности можно выразить через параметры распределения θ = (θ1, ..., θk ) . Выберем k-мерную векторную характеристику g(FX ) = (g1(FX ), ..., gk(FX )) , gj (FX ) = gj (θ), j = 1, ..., k, такую, что система уравнений относительно векторного параметра θ

где g = (g1, ..., gk) – теоретическое значение характеристики, имеет единственное решение и обладает свойством устойчивости: при малом изменении вектора g вектор решений θ также мало меняется (для этого достаточно непрерывности и невырожденности матрицы частных производных g′(θ) = k∂gj (θ)/∂θlk, j, l = 1, ..., k).

Заменим в системе уравнений (13.38) теоретическое значение характеристики

ˆ

В качестве оценок θn возьмем решения системы уравнений (13.39).

Как правило, в качестве характеристик gj (θ) выбирают моменты генеральной совокупности (начальные или центральные), а в качестве оценок gˆn,j – соответству-

ющие выборочные моменты. Поэтому описанный метод построения оценок неизвестных параметров обычно называют методом моментов, а уравнения (13.39) –

уравнениями метода моментов.

Свойства метода моментов

ˆ

1. Если gˆn – состоятельные оценки характеристики g(θ), то решения θn системы уравнений (13.39) дают состоятельные оценки векторного параметра θ.

Это свойство вытекает из устойчивости решений системы уравнений (13.38).

107

2. Если gˆn – асимптотически нормальные оценки характеристики g(θ), то

ˆ

оценки θn также асимптотически нормальны.

Простейший вариант метода моментов при одномерном параметре – выражение

существу этот метод и был использован в примерах 13.1 и 13.2. Рассмотрим другие примеры.

Пример 13.4 Оценка параметра показательного распределения. Для показательного распределения Expλ = Expu, u = 1/λ, математическое ожидание

есть Eu(X) = u, так что получаем оценку uˆn = Xn. Эта оценка не смещена, поэтому, так как Du(X) = u2, имеем:

Пример 13.5 Оценка параметров гамма–распределения. Пусть генеральная совокупность имеет гамма–распределение, плотность которого

где λ > 0, a > 0, (λ) – гамма-функция

Z ∞

(λ) = xλ−1e−xdx; (n) = (n − 1)!

0

Параметр a называют параметром масштаба, параметр λ – параметром формы.

Для гамма–распределения имеют место равенства

Eθ(X) = λ/a, Dθ(X) = λ/a2,

заменяя в которых теоретические моменты эмпирическими, получим оценки метода моментов:

13.4.3Метод максимального правдоподобия

Этот метод основан на принципе максимального правдоподобия: в качестве оценки неизвестного параметра θ Θ по наблюдениям x X выбирается такое значение

параметра, при котором полученные результаты наблюдений наиболее вероятны (правдоподобны).

Будем считать, что Θ – область в Rk и что выполнено одно из двух предполо-

жений:

108

Функцией правдоподобия называется функция

L(θ, X) = f (X, θ), θ Θ, X X,

рассматриваемая как функция от параметра θ Θ.

Логарифмической функцией правдоподобия называется функция

l(θ, X) = ln L(θ, X) = ln f (X, θ), θ Θ, X X.

Функция правдоподобия и логарифмическая функция правдоподобия при заданном значении x X есть обычные функции параметра θ Θ, а при случайном X X – это случайные функции θ Θ.

Для модели независимой однородной выборки функция правдоподобия и логарифмическая функция правдоподобия имеют вид:

где f (x, θ) – плотность распределения или вероятности значений генеральной совокупности X.

Отметим, что если генеральная совокупность X имеет дискретное распределе-

где nj – число элементов в выборке X(n) = (X1, ..., Xn), принимающих значение x(j).

Оценкой максимального правдоподобия называется значение параметра θ = θ (X) Θ, доставляющее максимум функции правдоподобия, то есть такое значение θ (X) Θ, что

L(θ , X) = max L(θ, X).

θ Θ

Очевидно, что при L(θ, X) > 0 функцию правдоподобия можно заменить любой

возрастающей функцией от нее, например логарифмической функцией правдоподобия, то есть значение θ (X) можно определить из условия

l(θ , X) = max l(θ, X); l(θ, X) = ln L(θ, X).

θ Θ

Метод максимального правдоподобия можно рассматривать как вариант метода

H(X, θ) = − ln f (X, θ).

Пусть Θ – область в Rk и логарифмическая функция правдоподобия непрерывно

дифференцируема. Тогда оценка максимального правдоподобия (если она существует) есть одно из решений векторного уравнения lθ′ (θ, X) = 0, то есть системы

уравнений

∂

∂θj

l(θ, X) = 0, j = 1, ..., k,

109

которые называются уравнениями максимального правдоподобия.

При оценке параметров распределения по выборке X(n) = (X1, ..., Xn) уравнения

максимального правдоподобия имеют вид:

n

X

i=1

где l′(θ, X) – логарифмическая функция правдоподобия генеральной совокупности X, соответствующая одному наблюдению.

Вообще говоря, решения уравнений максимального правдоподобия могут давать не только максимумы (локальные) функции правдоподобия, но также минимумы и седловые точки. Поэтому среди решений нужно выбрать такие, для которых выполнено условие отрицательной определенности матрицы вторых производных: −l′′(θ, X) > 0, что дает локальные максимумы и среди них – значение, обеспечиваю-

щее глобальный максимум. Часто уравнения максимального правдоподобия имеют единственное решение, что существенно упрощает анализ.

Можно показать, что при достаточно общих предположениях регулярности оценки максимального правдоподобия (ОМП) являются состоятельными, асимптотически √n-несмещенными и обладают различными свойствами асимптотической

оптимальности (подробнее эти вопросы будут рассмотрены ниже). В частности, при оценке параметров распределения генеральной совокупности X в случае одномерного параметра ОМП асимптотически нормальны с дисперсией 2(θ, θn) = 1/I(θ),

где

I(θ) = Eθ(l′(θ, X))2.

Функция I(θ) называется информацией Фишера.

Пример 13.6 Оценка неизвестной вероятности события. (Cр. с примером 13.1.). Пусть проводится n независимых экспериментов, в каждом из которых может произойти или не произойти случайное событие A, вероятность которого P (A) = p (0, 1) неизвестна. Пусть X – индикаторная функция события A, то есть X = 1, если событие A произошло, и X = 0, если событие A не произошло; Xi – индикаторная функция события A в i-м эксперименте, i = 1, ..., n.

Таким образом, результаты экспериментов мы можем рассматривать как независимую выборку из генеральной совокупности X с дискретным бернуллиевским распределением: P (X = 1) = p, P (X = 0) = q = 1 − p.

Вычислим информацию Фишера. Для одного наблюдения X = {0, 1}, и выражение для f (x, p) можно представить в виде:

110

поскольку Ep(X − p)2 = Dp(X) = p(1 − p). Таким образом,

1

I(p) = p(1 − p) .

Уравнение максимального правдоподобия и ОМП pn имеют вид:

где k – число успехов в серии из n испытаний, то есть pn есть наблюдаемая частота k/n. Как было показано в подразд. 13.1 (cм. формулу (13.3)), pn есть несмещенная оценка p и

Dn,p(pn) = p(1 − p)/n = 1/(nI(p)).

Пример 13.7 Оценка неизвестного среднего нормального распределения c известной дисперсией. (Cр. с примером 13.2). Пусть X N (a, σ2), дисперсия σ2 > 0 известна, среднее a есть неизвестный параметр. Вычислим вначале

информацию Фишера. Для одного наблюдения

так что I(a) = σ−2. Уравнение максимального правдоподобия и его решение an

то есть an = Xn – выборочное среднее. Как было показано выше, Xn – несмещен-

ная оценка, следовательно (см. (13.5)),

Dn,a(Xn) = σ2/n = 1/(nI(a)).

13.5Задача доверительного оценивания

13.5.1Принцип построения доверительных областей

Методы построения доверительных областей основаны на следующем принципе. Пусть нам удалось найти такую случайную величину Y = h(X, g(θ)), где X – слу-

наблюдаемыми данными X и состоит из таких значений g G, которые удовлетворяют неравенству: h(X, g) ≤ Hγ ; пороговое значение Hγ определяется из условия

FY (Hγ ) = γ.

111

где величина tγ выбирается по уровню надежности γ из соотношения P (|ξ| < tγ ) = Φ(tγ ) − Φ(−tγ ) = 2Φ(tγ ) − 1 = γ, то есть

Если величина d неизвестна, можно использовать вместо нее оценку√σn2 вида (13.6). Известно (см. [2], [7]), что при этом распределение величины ηn = n(Xn − a)/σn не зависит от неизвестных параметров θ = (a, σ2):

Pn,θ(ηn < t) = Sn−1(t),

(t) есть функция распределения Стьюдента с n − 1 степенью свободы. Отметим, что распределение Стьюдента симметрично: Sn−1(t) = 1 − Sn−1(−t).

Кроме того, распределение Стьюдента асимптотически нормально при n → ∞. Действительно, в силу закона больших чисел σn → σ по вероятности, поэтому при n → ∞

√

Pn,θ(ηn < t) = Pn,θ( n(Xn − a)/σ < t) + o(1) = P (ξ < t) + o(1) → Φ(t), ξ N (0, 1),

так как случайная величина √n(Xn − a)/σ имеет стандартное нормальное распределение. Напомним, что через o(1) обозначают величину, стремящуюся в рассмат-

риваемом предельном переходе к нулю.

Положим h(X(n), a) = |ηn| = √n|Xn − a|/σn. Тогда доверительный интервал для неизвестного среднего a нормального распределения при неизвестном σ также

имеет вид, аналогичный (13.45):

Таблицы величин tn,γ , определяемых (13.48), имеются, например, в [2], [7]. При n > 30 величины tn,γ практически не зависят от n и совпадают с величиной tγ , опре-

деляемой соотношением (13.46), что и соответствует асимптотической нормальности распределения Стьюдента.

112

В задаче оценки дисперсии нормального распределения при неизвестном среднем можно положить:

h(X(n), d) = (n − 1)|(σn2 /σ2) − 1| = |τn − n + 1|.

Случайная величина τn = (n − 1)σn2 /σ2 имеет распределение хи-квадрат с n − 1 степенью свободы. Поэтому пороговое значение Hn,γ можно определить из условия:

P (|τn − n + 1| ≤ Hn,γ ) = P (n − 1 − Hn,γ ≤ τn ≤ n − 1 + Hn,γ ) = = χ2n−1(n − 1 + Hn,γ ) − χ2n−1(n − 1 − Hn,γ ) = γ.

Это приводит к доверительному интервалу вида

В силу асимптотической нормальности распределения хи-квадрат при n → ∞ пороговое значение Hn,γ можно представить в виде Hn,γ tγ 2(n − 1), где ве-

В общем случае методы выбора функции h(X, g(θ)) зависят от конкретной мо-

дели. Достаточно общие методы можно предложить в рамках асимптотического подхода.

13.5.2Асимптотические доверительные интервалы

где величина tγ определяется из условия (13.46). Тогда из соотношения (13.51) следует, что для любого θ Θ при n → ∞

˜ | | ≤ →

Pn,θ(θ Θn,γ ) = Pn,θ( Zn tγ ) γ.

113

˜

Это соотношение означает, что Θn,γ есть асимптотическое доверительное множество уровня надежности γ.

Эти рассуждения без каких-либо изменений переносятся на задачу доверительного оценивания одной характеристики g(θ), если gˆn – асимптотически нормальная последовательность точечных оценок с дисперсией вида 2(θ) = 2(g(θ)), которая зависит лишь от оцениваемой характеристики g(θ). При этом асимптотическое

граничные точки которых определяются как решения уравнений:

В примере 13.1 (оценка неизвестной вероятности события) при использовании

В примере 13.3 (оценка неизвестной дисперсии нормального распределения при

Нетрудно видеть, что величины, определяемые (13.55) и (13.50), асимптотически эквивалентны (их отношение и разность есть величины порядка n−1).

Рассмотрим задачу доверительного оценивания одной характеристики g(θ) в общем случае. Пусть gn – асимптотически нормальная последовательность точечных оценок с дисперсией 2(θ). Пусть также имеется последовательность n состоятельных оценок характеристики Δ(θ). Тогда последовательность случайных величин Zn = √n(gn − g(θ))/ n асимптотически нормальна по Pn,θ-распределению, и,

следовательно,

Pn,θ

|Zn| −→ |ξ|, ξ N (0, 1).

114

Поэтому, полагая √ gn± = gn ± δ(n, γ); δ(n, γ) = tγ n/ n,

где величина tγ определяется из условия (13.46), имеем:

Pn,θ(gn− < g(θ) < gn+) = Pn,θ(|Zn| < tγ ) → P (|ξ| < tγ ) = = Φ(tγ ) − Φ(−tγ ) = 2Φ(tγ ) − 1 = γ.

˜ − +

Это означает, что Gγ = [gγ , gγ ] есть асимптотический доверительный интервал

асимптотический доверительный интервал надежности γ для неизвестной вероятности θ = P (A) события A:

Величины, определяемые (13.56) и (13.54), асимптотически эквивалентны (их отношение и разность есть величины порядка n−1).

В примере 13.2 при неизвестной величине σ, полагая n = σn, придем к асимптотическому доверительному интервалу надежности γ для неизвестного среднего

при неизвестной дисперсии:

Этот доверительный интервал отличается от точного доверительного интервала (13.47) лишь заменой величины tn,γ на tγ , что допустимо, как отмечалось выше, при n > 30.

Aналогично в примере 13.3 при оценке неизвестной дисперсии d = σ2 нормального распределения при неизвестном среднем a мы получим доверительный интервал

вида

ски эквивалентны, поскольку

p p

(1 tγ 2/n)−1 = 1 ± tγ 2/n + O(n−1).

Рассмотрим задачу доверительного оценивания дисперсии при неизвестной функции распределения F = FX генеральной совокупности, предполагая лишь существование моментов 4-го порядка: F F4. Используя результаты раздела 13.3.3, в качестве асимптотического доверительного интервала надежности γ можно вы-

брать интервал

ность имеет нормальное распределение N (a, d), то при n → ∞ с PF -вероятностью

1 p p √ √

µ4n − d2n → µ4(F ) − D2(F ) = 3d2 − d2 = 2d,

так что эти доверительные интервалы асимптотически эквивалентны.

115

13.5.3Доверительное оценивание на основе ОМП

Результаты п. 13.5.2 позволяют строить асимптотические доверительные интервалы для неизвестных параметров θ и характеристик g(θ) на основе oценок макси-

мального правдоподобия.

Пусть параметр θ одномерный. В качестве асимптотического доверительного

где величина tγ определяется из условия Φ(tγ ) = (1 + γ)/2. Заменяя в (13.59) неиз-

вестное значение I(θ) величиной I(θ ) → I(θ), получим доверительный интервал

n p

˜

Θn,γ = (θn,−, θn,+) c центром в точке θn и длиной 2δn = 2tγ / nI(θn):

Применяя этот метод в задачах доверительного оценивания неизвестного среднего, дисперсии нормального распределения или неизвестной вероятности, мы получим те же доверительные интервалы, что и в п. 13.5.2.

14Оптимальное и асимптотически оптимальное оценивание

В этом разделе мы рассмотрим задачи оценивания конечномерного параметра распределения Pθ, θ Θ Rk , а также характеристик (функций) g(θ) G Rm, θ Θ по наблюдениям X X.

14.1О сравнении качества оценок

Сравнивать различные оценки можно пытаться с помощью функции риска. Говорят, что оценка gˆ1 не хуже оценки gˆ2, если R(ˆg1, θ) ≤ R(ˆg2, θ) для всех θ Θ (это обозначают gˆ1 gˆ2).

К сожалению, такое сравнение возможно не для всех оценок: может быть R(ˆg1, θ1) < R(ˆg2, θ1) для одних значений θ1 Θ, в то время как R(ˆg1, θ2) > R(ˆg2, θ2) для других значений θ2 Θ.

Пусть G = {gˆ} – некоторый класс оценок. Говорят, что оценка gˆ эффективна в классе G, если gˆ gˆ для всех gˆ G.

116