Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Теория вероятностей и случайные процессы. Учебное пособие
.pdf
Ãëàâà 12
Оценки ìàêсимального
правдоподобия.
Сравнение оценок
12.1. Ìåòîä ìàêсимального правдоподобия
ÏóñòüX ⊂= F (t, θ), θ ∈ Θ
деление ëèáî абсолютно непрерывно ñ плотностью
дискретно, ïðè ýòîì äëÿ ðÿäà распределения áóäåì использовать òî æå
обозначение:
ствующей выборкåX
Оценкîé ìàêсимального правдоподобия
êîå çíàчение параметра
принимает наибольшее çíàчение, òî åñòü
Åñëè функция правдоподобия дифференцируåìà ïðè âñåõ
çíàчение
f(t, θ) = P(Xi= t).
, называетсÿ функция
Π(θ) = Π(X, θ) =
θ =ˆθ
должно áûòü решением уравнения
. Предполоæèì, ÷òî теоретическîå распре-
f(t, θ) = f
Функцией правдоподобия, соответ-
n
f(Xi, θ).
i=1
(ÎÌÏ) называетсÿ òà-
θ =ˆθ(X)
Π(X,ˆθ) = max
, ïðè êотором функция правдоподобия
Π(X, θ).
θ∈Θ
Π′(θ) = 0,
111
(t)
X
i
θ ∈ Θ
, ëèáî
(12.1)
(12.2)
, òî
(12.3)
êоторое называетсÿ уравнением правдоподобия, èëè эквивалентного óðàâ-
нения
d
ln Π(θ) = 0 ⇐⇒
dθ
y = Π(θ, X)
6
n
i=1
d
ln f (Xi, θ) = 0.
dθ
(12.4)
-
0
X
(n)
θ
Ðèñ. 12.1: Функция правдоподобия äëÿX ⊂= U
[0,θ]
.
Ðассмотрим теперь случай многомерного параметра, предполоæèâ
опять äëÿ простоты, ÷òî
íàõîждения ÎÌÏ нужно найти точкуˆθ = (ˆθ1,ˆθ2)
функции äâóõ переменных
θ = (θ1, θ2)
Π(θ1, θ2)
- двумерный параметр. Òîãäà äëÿ
наибольшего çíàчения
. Â частности, åñëè функция правдо-
ïîдобия дифференцируåìà, òî äëÿ решения ýòîé çàäà÷è, вместо уравнения
правдоподобия (12.3) èëè (12.4), нужно найти решение следующей системы
уравнений:
∂Π(θ1,θ2)
∂θ
1
∂Π(θ1,θ2)
∂θ
2
= 0,
(12.5)
= 0.
12.2. Сравнение оценок:
среднеквадратический ïîäõîä
ÏóñòüX ⊂= F (t, θ), θ ∈ Θ
метраθ. Òàê êàê оценкà являетсÿ случайной величиной, òî äàæå свойство
несмещенности íå ãарантируåò близость åå êонкретной реализацииθ(x)
оцениваемому параметру. Åñëè оценкà являетсÿ состоятельной, òî òàêàÿ
, èθ =θ(X)
112
êàêàÿ-íèáóäü оценкà ïàðà-
ê
близость ãарантируåòñÿ ñ заданной âåðîятностью, íî толькî ïðè äîñòà-
точно больших объемах выборкиn. Ïðè ôèêсированном объеме выборки
наиболее распространенной ¾мерой близости¿ оценки ê оцениваемому ïà-
раметру являетсÿ
íèå квадратà отклонения
Èç äâóõ оценокθ1ñ÷èòàåòñÿ
квадратическàÿ õарактеристикà
E(θ −θ)2.
лучше
, ÷åìθ2, åñëè ïðè âñåõ
, èëè среднее çíà÷å-
θ ∈ Θ
выполняетсÿ неравенство
E(θ1− θ)2≤ E(θ2− θ)2,
(12.6)
à õîòÿ áû äëÿ îдногоθнеравенство â (12.6) îêазываетсÿ строгим.
Заметим, ÷òî квадратическàÿ õарактеристикà оценки íå меньше åå äèñ-
персии, è равенство достигàåòñÿ äëÿ несмещенных оценок:
E(θ −θ)2=E(θ −θ)
Åñëèθ
несмещенная оценкà параметраθ, òî åñòü
E(θ −θ)2=Eθ −θ
2
+ D(θ −θ) =Eθ −θ
2
+ Dθ = Dθ.
2
+ Dθ ≥ Dθ.
Eθ = θ
, òî äëÿ íåå
Отметим, ÷òî ïðè среднеквадратическîì ïîäõîäå ê сравнению оценок
нельзя найти наилучшую â классе âñåõ оценок (â частности, существуют
несравнимые оценки).
Òеорема 12.1.
 невырожденной статистической задаче (òî åñòü
â ситуации, когда ïî выборке íåëüçÿ однозначно опредеëèòü неизвестный
ïàðаметр) íå существует наилучшей â классе âñåõ оценок.
Доказательство.
оценок параметраθоценкàˇθ
˜
θd= θ0. Ýòà оценкà равняетсÿ êîíñòàíòå
Предполоæèì, ÷òî существуåò наилучшая â классе âñåõ
. Ðассмотрим следующую дурацкую оценку
θ0äëÿ любых выборочных çíà÷å-
íèé, òî åñòü íèêàê íå используåò информацию, представленную выборкîé.
Однакî åñëè
ñèòóàöèè, êîãäà
θ0 возмоæíîå çíàчение параметраθ, òî нельзя исключить
θ = θ0(дурацкàÿ оценкà ìîæåò îêазатьсÿ наиболее âåð-
íîé, åñëè правильно óãадывает çíàчение неизвестного параметра). Â ýòîì
случае квадратичная õарактеристикà ýòîé оценки равна 0:
E(˜θd− θ)2= E(θ0− θ0)2= 0.
Íî åñëè оценкàˇθ
íå õóæå, ÷åì˜θd, òî åå квадратичная õарактеристикà
âñåãäà íå больше, ÷åì квадратичная õарактеристикà оценки˜θdäëÿ любого
θ
. Â частности, ïðè
θ = θ0получаем:
E(ˇθ −θ0)2≤ E(θ0− θ0)2= 0.
113
Îòñþäà
E(ˇθ − θ0)2= 0
, òî åñòüˇθ = θ0ñ âåðîятностью 1. Ýòî проти-
воречит невырожденности ñòатистическîé çàäà÷è предполагалось, ÷òî
ïî выборкå нельзя îднозна÷íî определить неизвестный параметр. Èòàê, íå
ìîæåò существовать наилучшей â классе âñåõ оценок. Òеорема äîêазана.
Äëÿ òîãî, чтобы избежàòü íåîáõîдимости сравнивать получаемые îöåí-
êè ñ âûðîжденными оценкàìè (рассмотренными â äîêазательстве òåî-
ðåìû), нужно ограничить класс рассматриваемых оценок. Êàê прави-
ëî, сравнивают толькî несмещенные оценки. Среди несмещенных оценок
наилучшая оценкà параметра äëÿ заданного параметрическîãî семейства
ìîæåò существовать. Åå называют
ýôфективной
оценкîé. Эффективная
оценкà имеет наименьшую дисперсию èç âñåõ несмещенных оценок.
Ê ñîæалению, òàêîå определение эффективной оценки непригоäíî äëÿ
практическîãî использования, òàê êàê äëÿ проверки оптимальности îäíîé
оценки требуåòñÿ сравнивать дисперсии âñåõ оценок âñåõ несмещенных îöå-
íîê. Поэтому æелательно иметь критерий, позволяющий проверÿòü îïòè-
мальность оценки íà основании õарактеристик распределения толькî ýòîé
оценки. Îäèí èç òàêèõ критериев основан íà неравенстве Ðао-Крамера,
êоторое сформулировано íèæå.
Äëÿ формулировки точного ðåçóëüòàòà введем дополнительное óñëî-
âèå. Ïóñòü функция распределения
F (t, θ)
рассматриваемой ìîäåëè имеет
плотность èëè ðÿä распределения, êоторые ìû, êàê è прежде, обозна÷à-
åì îдинакîâî:
f(t, θ))
. Áóäåì предполагàòü, ÷òî функция
f(t, θ)
óäî-
влетворÿåò íåêоторым аналитическим óсловиям, êоторые áóäåì называть
óсловиями ðåãóлярности
(óсловия (R)), è ñóòü êоторых заключаетсÿ â
возможности менять ïîðÿäîê дифференцирования ïîθè интегрирования
ïîxфункции правдоподобия
Π(x, θ)
, соответствующей
f(t, θ)
. Òочная
формулировкà ýòèõ óсловий довольно ñëîæíà, приведем â êàчестве приме-
ðà óсловие èç [1], äîñòаточное äëÿ (R): функцияf(t, θ)
ðóåìà ïî
θ ∈ Θ
, è функция
i(θ)
, называемая информацией ïî Фишеру è
дифференци-
определяемая равенством
i(θ) = E
∂ ln f(Xi, θ)
∂θ
существуåò, строго ïîëîжительна è непрерывна ïîθäëÿ âñåõ
2
,
θ ∈ Θ
Примером ìîäåëè, äëÿ êоторой íå выполнены óсловия ðåãóлярности,
являетсÿ ìîäåëüX ⊂= U
[0; θ]
, θ > 0
.
Òеорема 12.2. (Неравенство Ðао-Крамера.)
ПустьX ⊂= F (t,θ), θ ∈ Θ
, âûïîлнены óñловия регулярности. Òîãäà äëÿ
114
(12.7)
.
любой íåñмещенной оценки˜θ
ïàðаметрàθâûïîлняется íåðавенство:
D˜θ ≥
Åñëè äëÿ íåêоторой несмещенной оценкиˇθ
1
ni(θ)
.
îêàæåòñÿ, ÷òî åå дисперсия
(12.8)
совпадает ñ правой частью неравенства Ðао-Крамера (говорÿò, ÷òî äëÿ
ýòîé оценки â неравенстве Ðао-Крамера достигàåòñÿ равенство), òî оценкà
ˇ
θ
являетсÿ эффективной, òàê êàê äëÿ любой другой несмещенной оценки
˜
θ
неравенство (12.8) ïðîäîëæàåò выполнятьсÿ è, следовательно,
äëÿ âñåõ
θ ∈ Θ
.
D˜θ ≥ Dˇθ
12.3. Ðешение типовых примеров
Пример 12.1.
ïàðаметрà
λ.
Ðешение.
âèä:
Èñêîìàÿ оценкà должна áûòü решением уравнения правдоподобия (12.3)
èëè (12.4). Äëÿ решения этого уравнения вычислим последовательно:
f(Xi, λ) = e
 óñловиях примерà 11.4 найти ÎÌÏ неизвестного
Äëÿ распределения Ïóассона
f(t, λ) = P(Xi= t) = e
X
i
λ
−λ
, ln f (Xi, λ) = −λ + Xiln λ − ln(Xi!),
Xi!
Πλðÿä распределения имеет
t
λ
−λ
.
t!
n
i=1
d
ln f (Xi, λ) = −1 +
dλ
d
ln f (Xi, λ) = −n +
dλ
1
λ
1
λ
n
Xi= −n +
i=1
Xi,
1
λ
nX.
Òîãäà уравнение (12.4) è åãî решение имеют âèä:
1
−n +
nX = 0 ⇐⇒ λ = X .
λ
Заметим, ÷òî вторая произвоäíàÿ ëîãарифмическîé функции правдопоäî-
áèÿ
2
d
ln Π(λ) = −
2
dλ
1
nX < 0
2
λ
115
ïðè âñåõλ, òàê êàê ïðè нашем предполоæåíèèX ⊂= Πλâñå элементы
выборки
ñòüþ единица неотрицательны. Çíà÷èò, найденное решение
X1, X2, ..., Xn, à çíà÷èò, è выборочное среднееX, ñ âåðîÿòíî-
λ = X
óðàâ-
нения правдоподобия являетсÿ единственной òî÷êîé ìàêсимума функций
Π(λ)èln Π(λ)
, à следовательно, ñòатистикàˆλ = X
являетсÿ ÎÌÏ ïàðà-
метраλ.
Пример 12.2.
ПустьX ⊂= U
[0,θ]
,
ãäå
θ > 0
. Найти ÎÌÏ äëÿ ïàðà-
ìåòðàθ.
Ðешение.
áîðêåX
çàêîíà
èç равномерного распределения
U
[0,θ]
Найдем функцию правдоподобия, соответствующую âû-
U
.
Плотность распределения
[0,θ]
ïðè
t = Xiравна:
1
,
åñëè
f(Xi, θ) =
θ
0,
åñëè
Xi∈ [0, θ],
Xi/∈ [0, θ]
(12.9)
Òîãäà функция правдоподобия вычисляетсÿ следующим образом:
1
,
åñëè
n
θ
0,
Xi∈ [0, θ]
èíà÷å.
äëÿ âñåõ
i = 1, 2, ..., n;
Π(θ) = Π(X, θ) =
n
f(Xi, θ) =
i=1
Ýòî соотношение ìîæíî переписать â следующих равносильных ôîð-
ìàõ:
1
,
åñëè
max
Π(θ) =
n
θ
0,
èíà÷å.
1≤i≤n
Xi≤ θ;
Последнее задание функции
⇐⇒ Π(θ) =
Π(θ) = Π(X, θ)
1
,
åñëè
n
θ
0,
θ > X
èíà÷å.
(n)
;
позволяет ëåãêî изобразить
åå график (ñì. ðèñ. 12.1). Èç графикà видно, ÷òî своего наибольшего çíà-
чения функция
ìàêсимального правдоподобия имеет âèä:ˆθ(X) = X
Π(θ)
достигàåò ïðè
θ = X
. Следовательно, оценкà
(n)
.
(n)
Пример 12.3.
ïàðаметрà
Ðешение.
áîðêåX
θ = (θ1, θ2).
Найдем функцию правдоподобия, соответствующую âû-
èç равномерного распределения
пределения çàêîíà
 óñловиях примерà 11.5 найти ÎÌÏ неизвестного
U
. Òàê êàê плотность ðàñ-
[θ1,θ2]
U
f(Xi, θ) =
[θ1,θ2]
ïðè
t = Xiравна
1
θ2−θ
0,
,
åñëè
1
Xi∈ (θ1, θ2),
åñëè
Xi/∈ [θ1, θ2],
116
òî функция правдоподобия представляетсÿ â âèäå
1
(θ2−θ1)
0,
,
n
åñëè âñå
èíà÷å.
Xi∈ [θ1, θ2];
Π(θ1, θ2) =
n
p(Xi, θ) =
i=1
Èëè по-другому:
1
,
åñëè
Π(θ1, θ2) =
(θ2−θ1)
0,
n
θ2≥ X
èíà÷å.
, θ1≤ X
(n)
(1)
;
(12.10)
Èç последнего равенства видно, ÷òî функция правдоподобия îòлична îò
íóëÿ (более òîãî, строго ïîëîжительна) ëèøü ïðè çíàчениях
(θ1, θ2)
, óäî-
влетворяющих неравенствам:
θ1≤ X
Çíà÷èò, своего наибольшего çíàчения функция
ïðè òàêèõ
(θ1, θ2)
. Однакî ïðè òàêèõ çíàчениях
принимает ñâîå наименьшее çíàчение
θ1= X
.
À çíà÷èò, â ñèëó (12.10), функция
(1)
наибольшее çíàчение ïðè òåõ æå çíàчениях
имеет âèä:ˆθ2= X
Пример 12.4.
,ˆθ1= X
(n)
ПустьX ⊂= U
среднеквадратического подхода оценки ïàðаметрà
Ðешение.
Проверим ñíà÷àëà свойство несмещенности обеих оценок.
(1)
(1)
.
≤ X
[0; θ]
≤ θ2.
(n)
(X
− X
(n)
(θ1, θ2)
, θ > 0
Π(θ1, θ2)
(θ1, θ2)
)
(1)
Π(θ1, θ2)
достигàåò ëèøü
разность
ïðè
θ2= X
принимает ñâîå
(θ2− θ1)
,
(n)
, òî åñòü èñêîìàÿ ÎÌÏ
. Ñðавнить ñ ïîмощью
∗
θ : θ
= 2X
1
èˆθ = X
(n)
Вычисляем математические îжидания, используÿ ðåçóëüòàòû предыдуще-
ãî параграфа (ñì. решение примера 11.2):
∗
Eθ
= E(2X) = 2EX = 2
1
Видим, ÷òî èç äâóõ оценок
X
смещенной. Чтобы выяснить, êàêàÿ èç оценок лучше, вычислим
(n)
θ
= θ, Eˆθ = EX
2
∗
θ
= 2X
1
являетсÿ несмещенной, àˆθ =
(n)
=
n
n + 1
θ.
äëÿ êаждой квадратичную õарактеристику. Äëÿ несмещенной оценки îíà
совпадает ñ дисперсией:
E(θ
∗
1
− θ)2= Dθ
∗
= D(2X) = 4D
1
1
= 4
nDθX1=
2
n
1
n
4nθ
12
n
i=1
2
Xi= 4
θ
=
3n
2
n
1
DθXi=
2
n
i=1
.
(12.11)
.
117
Ïðè вычислении квадратичной õарактеристики оценкиˆθn= X
(n)
ìû
áóäåì использовать плотность åå распределения, найденную ïðè решении
примера 11.2.
θ
E(X
− θ)2= EX
(n)
2
− 2θEX
(n)
(n)
+ θ2=
0
n−1
ny
2
y
θ
n
dy − 2θ
nθ
n + 1
+ θ2=
=
n
n + 2
θ2−
2n
n + 1
θ2+ θ2=
(n + 1)(n + 2)
2θ
2
.
Сравнивая квадратичные õарактеристики, вычисленные â (12.11) è
(12.12), видим, ÷òî
äëÿ âñåõ
θ > 0
è äëÿ âñåõ
Следовательно, ÎÌψθ = X
ÎÌÌ
тимальность оценки
персии è учитывая, ÷òî
∗
θ
= 2X
1
Пример 12.5.
à)X ⊂= E
.
Èññледовать ñ ïîмощью íåðавенства Ðàî-Êðàìåðà îï-
1
, θ > 0;
θ
á)X ⊂= Πλ, λ > 0
Ðешение.
Dθ∗= DX = D
à) Вычислим дисперсию оценки, применяя свойства äèñ-
1
n
X
.
DXi= θ2:
n
i=1
2
θ
≥
3n
(n + 1)(n + 2)
n ≥ 1
.
â ìîäåëÿõ:
1
Xi=
n
2
2θ
лучше â среднеквадратичном, ÷åì
(n)
n
DXi=
2
i=1
1
nDX1=
2
n
2
θ
.
n
Найдем правую часть неравенства Ðао-Крамера äëÿ рассматриваемой
ìîäåëè, äëÿ этого вычислим последовательно:
(12.12)
(12.13)
f(Xi, θ) =
i(θ) = E
X
1
i
−
θ
e
; ln f(Xi, θ) = −ln θ −
θ
∂ ln f(Xi, θ)
∂θ
1
=
E(Xi− θ)2=
4
θ
2
= E−
118
1
θ
DX
θ
X
∂ ln f(Xi, θ)
i
;
θ
X
+
2
θ
i
=
4
∂θ
i
2
θ
4
θ
2
= E
=
θ
1
2
Xi− θ
;
θ
= −
2
1
X
i
+
;
2
θ
θ
2
=
1
ni(θ)
2
θ
=
.
n
(12.14)
Сравнивая (12.13) è (12.14), видим, ÷òî äëÿ оценки
θ∗= X
â неравенстве
Ðао-Крамера достигàåòñÿ равенство, следовательно, îíà эффективна.
á) Прежде всего вспомним, ÷òî äëÿ распределения Ïóассона
тематическîå îжидание è дисперсия равны
EXi= λ, DXi= λ
Πλìà-
. Òîãäà
дисперсия нашей оценки равна:
Dλ∗= DX = D
n
1
Xi=
n
i=1
n
1
DXi=
2
n
i=1
1
nDX1=
2
n
λ
.
n
(12.15)
Аналогично пункту à), вычисляем правую часть неравенства Ðао-Крамера:
X
i
λ
f(Xi, λ) = e
−λ
i(λ) = E
; ln f(Xi, λ) = −λ+Xiln λ−ln(Xi!);
Xi!
∂ ln f(Xi, λ)
∂λ
=
2
= E
1
E(Xi− λ)2=
2
λ
ni(λ)
X
i
− 1
λ
1
DXi=
2
λ
1
λ
=
.
n
Сравнивая (12.15) è (12.16), видим, ÷òî äëÿ оценки
2
= E
1
λ
∂ ln f(Xi, λ)
∂λ
Xi− λ
λ
;
λ∗= X
= −1+
2
=
(12.16)
â неравенстве
Ðао-Крамера достигàåòñÿ равенство, следовательно, îíà эффективна.
X
i
;
λ
12.4. Çàäà÷è äëÿ самостоятельного решения
12.1
Ïî выборкå
неизвестным параметром
äîì ìàêсимального правдоподобия. (Óêазание: ïîêазать, ÷òî âåðîятность
попадания â точкуtäëÿ элементов выборки равна
ãäåtìîæåò принимать толькî äâà çíàчения: 0 è 1). Исследовать состоÿ-
тельность è несмещенность полученной оценки.
12.2
Ïî выборкå
строить оценку ìàêсимального правдоподобия параметраpïðè известном
m > 0
. Исследовать состоятельность è несмещенность оценки.
12.3
Ïî выборкå èç ïîêазательного распределения
(X1, . . . , Xn)
p ∈ (0; 1)
(X1, . . . , Xn)
èç бернуллиевскîãî распределения
построить оценку параметраpìåòî-
f(t, p) = pt(1 − p)
èç биномиального распределения
Eαпостроить оценку
119
Bpñ
1−t
B
ïî-
m,p
,
ìàêсимального правдоподобия параметра
α > 0
. Исследовать состоятель-
ность оценки.
12.4
Построить оценку ìàêсимального правдоподобия ïî выборкå èç ðàñ-
пределения Парето ñ плотностью
θ
, t ≥ 1,
θ+1
fθ(t) =
t
0, t < 1
.
Äîêазать состоятельность полученной оценки.
12.5
fλ(t) =
Ïî выборкå
λ
−λ|t|
e
2
(X1, . . . , Xn)
,
t ∈ R
èç распределения Лапласа ñ плотностью
, построить оценку параметра
λ > 0
ìåòîäîì ìàêñè-
мального правдоподобия.
12.6
Ïóñòü äàíà выборкà èç нормального распределения ñ параметрами
è
σ2. Используÿ ìåòîä ìàêсимального правдоподобия, построить оценки
à) неизвестного математическîãî îжиданияα;
á) неизвестной дисперсии
â) неизвестной дисперсии
σ2, åñëèαизвестно;
σ2, åñëèαнеизвестно.
Исследовать полученные оценки íà несмещенность è состоятельность.
12.7
Используÿ ìåòîä ìàêсимального правдоподобия, оценить параметр
равномерного распределения íà отрезкå
à)
[−θ; θ],θ > 0
; á)
[θ; θ + 1]
.
Исследовать полученные оценки íà несмещенность è состоятельность.
12.8
Ñ помощью ìåòîäà ìàêсимального правдоподобия построить оценку
параметра
à)
θt
θ−1
θ > 0
, åñëè распределение выборки имеет плотность
ïðè
t ∈ [0; 1]
; á)
2t/θ2ïðè
t ∈ [0; θ]
.
Исследовать полученные оценки íà состоятельность.
12.9
Äàíà выборкà èç распределения ñ плотностью
fθ(t) =
3t2θ−3, t ∈ [0; 1],
0, t ∈ [0; 1].
α
θ
Найти оценку параметра
θ > 0
ìåòîäîì ìàêсимального првдоподобия,
исследовать åå íà несмещенность è состоятельность.
12.10
найти оценку параметра
Ïî выборкå
(X1, . .. , Xn)
p ∈ (0, 1)
ìåòîäîì ìàêсимального правдоподобия
, åñëè известно, ÷òî
P {X1= 1} = p/2, P {X1= 2} = p/2, P {X1= 3} = 1 −p
Áóäåò ëè полученная оценкà несмещенной è состоятельной?
12.11
Ïî реализации
íèÿ íà отрезкå
[0; θ]
x = (4; 5; 2)
выборки èç равномерного распределе-
найти реализации оценок параметраθ, предлоæенных
â примере 11.2.
12.12
Ïî реализации
x = (0; 2; 0; 3)
выборки èç распределения Ïóассона
120
.
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]