Binder1

Добавил:

Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Пермский государственный национальный исследовательский университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

FYn ( y) P n( X (1)

.pdf

Скачиваний:

Добавлен:

30.03.2015

Размер:

2.59 Mб

Скачать

☆

<<< < Предыдущая 1 2 3 4 5 6 7 8 9 1011 / 1711 12 13 14 15 16 17 > Следующая >>>

Пример 2.

Пусть X

– НПВ

из ГС

X R 2 , 3 1 , 0 . Найти оценку максимального

правдоподобия для .

Решение. В данном случае

f (x)

I (2 x 3 1),

b a

L( , x)

I (2 xi

3 1)

I (2 x(1) x(n ) 3 1).

( 1)

i 1

Таким образом

X (n) 1

причем 2 X (1) X

3 1

(1)

L( , X )

(n)

( 1)n

Функция правдоподобия является монотонно убывающая относительно . Поэтому свое максимальное значение она достигает при минимально возможном значении .

Вывод: ОМП равна

(n)

Свойства оценки максимального правдоподобия.

1) ОМП обладает свойством инвариантности относительно гладкого преобразования.

Теорема Зехна (принцип инвариантности для ОМП). Пусть – ОМП параметра R r , g

– k –мерная функция,

причем

G –

множество ее значений

– содержит некоторый k –мерный

параллелепипед. Тогда

оценка

по методу подстановки

является оценкой

максимального

правдоподобия для функции g .

Пример. Найти ОМП для функции распределения X – НПВ из ГС X E .

– ОМП для .

Решение. Ранее установлено, что

В случае показательного

распределения

F x; 1 exp x , x 0. Множество значений этой функции при любом значении параметра содержит некоторый интервал, например (0,1;0,3). По теореме Зехна находим оценку максимального правдоподобия для функции g F x; методом подстановки:



		FX (x) g		1 e x 1 e x / X .
	– эффективная оценка скалярного параметра в условиях регулярности Рао–Крамера,
2) Пусть T X

ее ОМП является внутренней точкой . Тогда T ( X ) .

Обоснование:	T ( X ) A( )		ln L( , X ) 0 T ( X ) .
Обоснование:	T ( X ) A( )		ln L( , X ) 0 T ( X ) .

	– достаточная статистика для , то ОМП является функцией достаточной статистики,
3) Если T X

т.е. h(T ( X )) .


Обоснование: g ,T ( X ) h X			L( , X ) 0 g ,T ( X ) 0 .

4) Асимптотические свойства.

Они зависят от того, выполнены ли условия регулярности Рао–Крамера (в них оценка асимптотически нормальна и состоятельна).

Теорема об асимптотической нормальности ОМП. Пусть выполнены условия регулярности Рао–

Крамера, – ОМП скалярного параметра , причем она единственна и является внутренней точкой параметрического множества .

Тогда

(*) – состоятельная оценка для ;

(**)

если дополнительно известно,

что

L( , x) ,

и N x , для которой

выполняются

M N ( X1) , то

неравенства:

ln L( , x)

N (x),

n i( ) ( ) а.н. (0, 1);

(***)

если дополнительно известно, что g –

дифференцируемая функция, причем

g ( ) 0 , то

)

g( ) – ОМП для g , причем

n i( ) (g ( ) g ( )) а.н. (0,[g ( )]

Примечание. Асимптотическая дисперсия ОМП g( ) равна

[g ( )]

Доказательство (**). Рассмотрим функцию вклада

n i( )

U( , X )

ln L( , X )

ln L( , Xi ) .

i 1

Т.к. – внутренняя точка , то функция правдоподобия достигает максимума в этой точке, причем

выполняется необходимое условие экстремума:

U ( * , X )

, X )( )

( )

0 U ( , X ) U ( , X ) U (

где *

между

лежит

и .

Осуществим

последовательно

преобразования

и наметим план

заключительных рассуждений:

U ( * , X )

( ) ,

( ) U ( , X ) : U ( , X )

U ( , X )

U ( * , X )

ni( ) ( )

( )

ni( )

2n i( )

ni( )

N (0,1)

Числовые характеристики функции вклада U( , X ) хорошо известны:

0 (см. (3) доказательства теоремы Рао–Крамера);

M U(

, X )

ni .

D U( , X )

Поэтому

U( , X ) M

U( , X )

Y N 0;1

(по ЦПТ),

ni( )

поскольку

, X )

i( )

U (

ln L(

, X i

ln L( , X1)

)

ni( )

i( )

i 1

- M

- M -

2 ln L( , X ) n i( ),

U ( , X )

N ( X i )

( * )

( )

| |

i 1

2ni( )

2 i( )

	2
- M			ln L , X1	i( ),
- M		2	ln L , X1	i( ),

p 0 M[N ( X1)] ■

M [ N ( X1 )]

Пример нахождения предельного распределения ОМП при нарушении условия регулярности

						Найти предельное
Пусть X – НПВ из ГС X R a, b , b известно. В этом случае ОМП для a X(1)						Найти предельное

распределения для a .

	n	2	n в качестве		нормирующего множителя
Решение. Рассмотрим Yn n(a a) . Выбор	n		n в качестве		нормирующего множителя
			1
объясняется тем, что квадратичный риск имеет величину порядка O					:
				2	:
			n

F ( x) 1 1 F ( x) n

x a

X (1)

n(b x)n 1

I (a X b),

X(1)

(b a)

b a

M [ X (1)

a]2 ( x a)

	a
n	b a	(b

(b a)n
(b a)n	0

n 1	y b x		0
n(b x)		n		(b a y)2 yn 1 ( dy)
	dx
n		(b a)	n
(b a)	dy dx			b a

a) y

n 1

(b a)

2(b a)

y n 1

y n 2

b a

(b a)

n 1

n 2

2 n2

3n 2 2n2 4n n2

2(b a)2

n(b a)

n(n 1)(n 2)

1)(n

Установим предельное поведение нормированной случайной величины Yn n(a a) :

		a y / n a n			y
1	1		1	1
		b a			n(b a)

F		a	y

X
	(1)		n

	d		1
Выводы: n(a	a) Y ~ E			; скорость сходимость ОМП

		b a

сверхэффективной.

	1
O			, т.е. оценка является
		2
n

Несмещенность статистической оценки

Статистика Tn T X является несмещенной оценкой для параметрической функции g , если

MTn g .

Использование несмещенных оценок обеспечивает получение «в среднем» правильного результата при их многократном использовании. При малых объемах выборки применение несмещенных оценок желательно, если она не является недопустимой.

Соотношение вида MTn g называют уравнением несмещенности, которое можно использовать либо для нахождения несмещенной оценки, либо для проверки несмещенности оценки.

Разность bn MTn g называют смещением статистической оценки Tn . Если bn 0

при n , то оценкуназывают асимптотически несмещенной.

Примеры несмещенных оценок.

m* – несмещенная оценка для m .

Проверяем: M[mk

] M

M[X1 ] mk .

m A

n i 1

частость

– несмещенная оценка P A .

m A

Проверяем. Известно, что m A

B n;P A . Поэтому

3)Fn* x – несмещенная оценка для F x .

4)SX2 – смещенная оценка, а sX2 – несмещенная оценка D . Проверим:

M[SX ] M

(Xi X)

M[(X1

] {M(X1 X) M X M X 0}

n i 1

1 n

n 1 2

n(n 1)

D[X1 X

] D X1

DX1

(n 1)DX1

DX1

n i 2

n 1

D X1 D .

n 1

Таким образом:

D .

Устраним смещение, умножая обе части этого соотношения:

n 1

– несмещенная оценка D .

n 1 X

Теорема (о несмещенной оценке дисперсии несмещенной оценки.) Пусть Tn – несмещенная оценка g M Tn , а Zn - несмещенная оценка для M2 Tn . Тогда Tn2 Zn – несмещенная оценка D Tn .

Доказательство.

M Tn2 Zn M Tn2 M Zn M Tn2 M2 Tn D Tn .

Построение несмещенных оценок усреднением по достаточной статистике.

Теорема Рао-Блэквелла-Колмогорова.		Если		T1 X			– несмещенная статистика для	g ; S –
достаточная статистика для , то T2 S M					\| S		– несмещенная статистика для g	, причем
			T1	X
D T	S	D T				для всех .
					X
2				1

Пример. Пусть I1, ,In – последовательность независимых индикаторов,

Ij Ij A ; P Ij 1 p 1 P Ij 0 .

Построить несмещенную оценку для pk , являющуюся функцией от достаточной статистики и ее дисперсии.

Решение. Достаточная статистика для p:

Ik 1 pk

B n,

p ,

Т.к. M Ij

P I1

, X Ii

то Ij – несмещенная оценка pk .

j 1

i 1

j 1

Ее усреднение: T X M Ij

| X .

j 1

T m

1| X m

M Ij | X m P I1 Ik

j 1

P I1 Ik 1,X m

P I1 Ik 1, Ij

j 1

P X m

P I1 Ik

1,X m

P I1 Ik 1, Ij m

T m

j 1

P X m

P I1 Ik

1 P Ij m k

j k 1

P X m

pk Cnm kk pm kq n k m k

m k

Cnm pmqn m

n k

Вывод 1:

T X

– несмещенная оценка для

pk ,

Z X

– несмещенная оценка для

p2k.

X k 2

X 2k

Вывод 2:

X Z X

– несмещенная оценка для

дисперсии несмещенной

D T X .

оценки

Использование «байесовского метода».

Теорема.

Пусть X X1, ,Xn

–

НПВ из ГС f x, ,

; S

– минимальная достаточная

статистика для . Тогда несмещенная оценка

f x,

имеет вид:

fˆ x,

fX1,S x,S; 0

fX1 x| S ,

fX1,S x,y; 0 , fS y; 0

fS S; 0

– плотности распределения.

Примечание 1 (связь с теоремой РБК).

fˆ

| S .

Примечание 2 (несмещенная оценка интегрального функционала):

h x fˆ

dx – несмещенная оценка для M h

Примечание 3. Теорема справедлива и для дискретных распределений. В этом случае в качестве

f x, используется	P x; , а в качестве	fX1,S x,y; 0 ,	fS y; 0 – соответственно
P X1 x,S y; 0 и P S y; 0 .

Пример. Пусть X X1, ,Xn	– НПВ из ГС N ,1 . Найти несмещенную оценкудля плотности
	1			x	2
	1			x
	f x,		exp	2		.

		2
		2

Решение. Достаточная статистика для :

S X1

Xn. Вычисления проведем при 0

fS y

fX1,S x,y f n

x,y x

exp

2 n

X1, Xi

i 2

y x

exp

2 n 1

Тогда

fˆ x,

S x

exp

2 n 1

exp

2 n

exp

n 1 2

n 1

Несмещенные оценки с равномерно минимальной дисперсией.

Проблема. Если есть 2 несмещенные оценки g , то их существует бесконечно много. Как найти

наилучшую н.о.?

1.Проблему частично решает теорема РБК. Несмещенная оценка должна быть функцией от минимальной достаточной статистики.

2.Исчерпывающее решение проблемы, если такая оценка единственна. Для этого достаточная статистика должна быть полной.

Опр. Пусть FT t, – функция распределения статистики T T X . Статистика T называется полной,

а семейство распределений FT t, , – полным, если для нуля существует только тривиальная несмещенная оценка h T 0 (п.н.)

Пример. Установить полнотусемейства биномиальных распределений B n, p , p 0,1 .

Решение. Если X B n, p , то

	n		n			p
M h X		h k Ck pkqn k qn		h k Ck xk ,	x	p	;
M h X		h k Ck pkqn k qn		h k Ck xk ,	x		;
		n		n		q
	k 0		k 0			q

h k Cnk xk 0 x 0, h k 0.

k 0

Полнота экспоненциальной модели.

Экспоненциальная (экспонентная) модель задается плотностью (вероятностью)

					k					T	.
		L ,x h x exp jTj x v						,	1, , k		.
				j 1
Она является полной, если , а содержит некоторый k –мерный параллелепипед.
			Состоятельность статистической оценки
Статистика Tn	T X является состоятельной оценкой для параметрической функции g , если
				T P g( ), .
				n	n
Основные способы установления состоятельности оценки.
1) Использование достаточных условий.					– состоятельная оценка для g .
Теорема 1. Если M[T g( )]2 0, то T					– состоятельная оценка для g .
		n	n	n
			n			T – состоятельная оценка для g .
Теорема 2. Если M[T ] g( ), D[T ] 0, то						T – состоятельная оценка для g .
		n	n	n n			n
Доказательство теоремы 1. Для 0
P(\|T g( )\| )		M \|Tn g( )\|2					P
				0, т.е. T			g( ). ■
			2	0, т.е. T			g( ). ■
n			2	n	n

Доказательство теоремы 2. Покажем, что в условиях данного утверждения выполнено условие теоремы 1:

M[Tn - g( )]2 M Tn M Tn 2 0 M M Tn g 2D Tn M Tn g 2 .

Последние слагаемые сходятся к 0 при n по условию теоремы 2.
Отсюда M[T - g( )]2		также сходится к 0. По теореме 1			T – состоятельная оценка для g .■
	n				n
Пример.	Пусть X	– НПВ из	генеральной		совокупности X, имеющей плотность
f x exp x , x . Показать, что			X 1	– состоятельная оценка для .
Решение.	Найдем закон распределения X 1 ,			используя
		fX(1)	(x) n[1 F(x)]n 1 f (x).
Предварительно вычислим					(x )
		x			(x )	,x ,
		F(x) f (x)dx 1 e (x );			e	,x ,
		F(x) f (x)dx 1 e (x );			f (x)	x .
		0			0,	x .

Тогда

	(x )	n 1	(x )	,x
n e		e		,x
fX(1) (x)				x
0,				x

, ne n(x ),x ,

0, x .

Проверим условие теоремы 1:

n(x ) t

n(x )

(x )

dx x t/n

X(1)

dx dt/n

при n .

Вывод: X 1 – состоятельная оценка для .

2) Использование факта асимптотической нормальности и теорем непрерывности.

Пример. Показать, что при определенных условиях x*p является состоятельной оценкой для xp .

Решение. По теореме об а.н. выборочной квантили:

p(1 p)

n(x

) ~ N 0;

(xp )

n		d	*	d
По теореме непрерывности:		0 0,	xp	xp	. Из сходимости по распределению к
	n

константе следует сходимость по вероятности. Факт о состоятельности выборочной квантили установлен.

3) Использование законов больших чисел.

Примеры.

1)	*		P		*	– состоятельная оценка для mk .
	mk		mk		mk
2)	*		P		*
	k		k		k – состоятельная оценка для k .
3)	*	x		P		*	F(x).
	Fn			F x		Fn x – состоятельная оценка для

Эффективность статистической оценки

Пусть g – оцениваемая параметрическая функция, Tn – ее статистическая оценка. Важно, чтобы

Tn была близка к значению g . В общем случае оценка близости точечной оценки и оцениваемой величины (точности оценки) осуществляется с помощью функции потерь.

Функцией потерь называют				неотрицательную функцию W g ,T . Чем				меньше значение
							n
функции	потерь, тем		лучше	оценка. Чаще		всего используется	квадратичная	функция потерь
W g ,T T g			2 .
	n	n				n
Функция риска статистической оценки M						n
Функция риска статистической оценки M					W g ,T R .

Чаще всего статистические оценки сравниваются по значению квадратичного риска M T	g	2 .
n

Если Tn – несмещенная оценка для g , квадратичный риск равен D Tn .

Tn – эффективная оценка в заданном классе оценок , если ей соответствует минимально возможное значение квадратичного риска одновременно для всех возможных значений параметра. Это означает,

что для любой другой оценки n	одновременно для всех значений выполняется
неравенство
M T g 2		M	g 2 .
n		n

Эффективная оценка в классе несмещенных оценок называется эффективной оценкой (несмещенной оценкой с равномерно минимальной дисперсией, оптимальной).

Нижняя граница для дисперсии несмещенной оценки при условиях, называемых условиями регулярности, определяется неравенствами Рао–Крамера и Бхаттачария.

Условия регулярности Р–К.

1) производная L( ; x) .

2) носитель распределения генеральной совокупности		x : L		; x			не зависит от .
						0

Теорема (неравенство Рао–Крамера). Пусть выполнены условия регулярности, – скалярный

функции g

параметр. Для

любой

несмещенной оценки

T X

дифференцируемой

справедливо неравенство

D Tn

[g ( )]

(*)

In ( )

где In ( ) D

ln L( ; X )

– информация

Фишера,

содержащаяся в НПВ

X . Неравенство

обращается в равенство лишь в том случае, когда T X

ln L( ; X ) U ( ; X ) , т.е.


T X	g B U ( ; X ).

линейная функция вклада выборки

(**)


Если верно (**) несмещенная оценка Tn T X		является эффективной.
	– НПВ из генеральной совокупности , которая обладает плотностью
Доказательство. Пусть X
		n

распределения f x; . В таком случае L( , x) f xi ; .

i 1 n

(1)1 L( , x)dx , dx dxi – условие нормировки.

i 1

(2)g( ) Tn (x) L( , x)dx – уравнение несмещенности.

Дифференцируем (1) – (2)


	L
ln L( , x)		,
	L

U ( x, )

по :

L U ( ; x) L ;

(3)0 U ( ; x) L ; x dx M[U ( ; X )];

(4)g ( ) Tn (x) U ( ; x) L( ; x) dx M[Tn ( X ) U ( ; X )] K[Tn ( X );U ( ; X )]

Tn ( X ),U ( ; X )

DTn D

DTn

;

[g ( )]

U ( ; X )

DTn

[g ( )]

( )

U (

; X )

Равенство

r Tn ( X ),U ( ; X ) 1

возможно, если

только

случайные

величины Tn ( X ), U ( ; X )

связаны линейной зависимостью, то неравенство Рао–Крамера обращается в равенство лишь в том

случае, когда верно соотношение

X A B U ( ; X ).

При этом A g в силу соотношений (2) – (3). ■

Пример (САМ).

m A

– эффективная оценка для P A .

Следствие 1. In n i ,

где i – информация Фишера, содержащаяся в одном наблюдении

i D U ; X

Доказательство.

In ( ) D

ln L( , X )

ln L( , X i )

i 1

■

ln L( , X i ) n D[U ( , X1 )]

i 1

)

U ( , X

	2 L( ; x)		2
Следствие 2. Если			, то i( ) M
		2		2

Доказательство. Воспользуемся соотношением (3):

ln L( ; X1 ) .

0
0	U ( ; x) L ; x		dx	M[U ( ; X )];

Еще раз продифференцировав его, получим

<<< < Предыдущая 1 2 3 4 5 6 7 8 9 1011 / 1711 12 13 14 15 16 17 > Следующая >>>

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

#
30.03.201527.26 Кб24bilety_borovykh.docx
#
10.09.2019671.23 Кб8bilety_gram-814.doc
#
29.03.2015144.9 Кб47Bilety_po_grazhdanskomu_pravu_1_chast.doc
#
27.04.2019168.43 Кб10Bilety_po_teorii_politiki_1.docx
#
10.08.201928.03 Кб4Bilet_4.docx
#
30.03.20152.59 Mб30Binder1.pdf
#
30.03.20152.73 Mб72biohimiyaverstka.pdf
#
29.03.2015629.76 Кб7BIZNES_Posobie_dlya_Geniev.doc
#
21.11.201984.48 Кб1BLACK HOLE COMPUTERS.doc
#
18.11.201942.5 Кб1Breaking logjams.doc
#
30.03.20152.76 Mб7BuridanovOsel.pdf