Добавил:

korayakov Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Национальный исследовательский университет «МИЭТ»

Предмет:

Теория вероятностей и математическая статистика

Файл:

Литература / книга.pdf

Скачиваний:

150

Добавлен:

17.04.2013

Размер:

1.36 Mб

Скачать

☆

<<< < Предыдущая 1 2 3 4 5 6 7 8 9 10 11 12 13 1415 / 2215 16 17 18 19 20 21 22 > Следующая >>>

Глава 6. Статистическое оценивание

6.1. Первичная обработка выборки

Характер выборки зависит от следующих факторов:

1)от типа генеральной случайной величины (дискретная или непрерывная);

2)от точности измерений.

Пусть, например, Х ~ B(n,p), p - неизвестный параметр распределения. Так как EX {0,1,2,…,n}, то в выборке должны появиться такие и только такие значения (если, конечно, измерения точны). Если же X ~ N(0,1), то EX = R и в выборке могут появиться любые действительные числа. Однако если измерения грубые, то выборка может содержать повторы, что приведеткложномувыводуодискретностираспределения Х.

Следует помнить, что в измерениях всегда присутствует ошибка. Математическая статистика разрабатывает методы, сводящие к минимуму влияние этой ошибки на основные выводы.

Типы выборок

1) Простая выборка - числа записаны в порядке поступления

(x1, x2, x3,…, xn).

2) Частотная выборка представляется в виде табл.6.1.

Таблица 6.1

x	x1	x2	…	xl
p*	n1	n2	…	nl
				n
	n	n
	n	n

Здесь ni - число измерений, равных xi.

Частотная выборка используется, как правило, для случая дискретного распределения генерального. Простая выборка может использоваться для любого типа генерального.

3) Интервальная выборка (Х - СВНТ). При большом объеме выборки использовать ее в простом виде нерационально. Задается число

интервалов l; выборка x1, x2, x3,…, xn преобразуется в вариационный ряд: x(1) ≤ x(2) ≤ … ≤ x(n). При этом x(n) - x(1) называется размахом,

	x(n) − x(1)	= h - шагом (или шириной интервала). Определяются границы
	l	= h - шагом (или шириной интервала). Определяются границы
	l

интервала. Далее все выборочные значения распределяются по интервалам и подчитывается число ni выборочных значений, попавших в i-й

интервал (i = 1,2,…,l).

Результаты оформляются в виде табл.6.2.

						Таблица 6.2

Номер интервала	1		2		…		l
Интервал	(a0,a1]		(a1,a2]		…	(al–1,al]
Число выборок,		n1		n2	…		nl
попавших		n1		n2	…		nl
в интервал
Относительная		n1		n2	…		nl
частота							n
		n		n
		n		n

Для визуализации результата часто рисуют так называемую гисто-

грамму (рис.6.1).

1 hi

a0	a1	a2	a3	…….	ae	Интервалы
			Рис.6.1.
На каждом интервале (ai–1, ai)				строится прямоугольник,				площадь
которого равна частоте P* высота прямоугольника							P*
						h =	i		.
						h =			.
		i				i	ai −ai−1
							ai −ai−1

Определение. Выборочное (эмпирическое) распределение - это распределение, определяемое табл.6.1. для группированной выборки.

Для простой выборки полагаем ni = 1, i = 1,2…l и получаем так на-

зываемое равномерное эмпирическое распределение. Эмпирическое распределение обладает всеми свойствами обычного дискретного распределения. Поэтому к нему применимы правила теории вероятностей.

Можно вычислить эмпирическую функцию распределения:

	*	*	∑		*		∑ n
F	X	(x) = P {X < x} =		p		=		.
	X		(xi i<x)		i		(xii<x)
			(xi i<x)				(xii<x)

В эмпирическом распределении роль вероятностей выполняют частоты, поэтому эмпирическая функция распределения - это функция накопленных частот.

Выборочные характеристики (моменты)

1. Начальные выборочные моменты s-го порядка:

			n
	n		∑	xks - для простой выборки;
		1	k =l 1	xks - для простой выборки;
*			k =l 1	s
*	1		∑	s
αs	=	n	∑	nk xk	- для частотной выборки;
			k =1
	1		l	nk x)ks	- для интервальной выборки,			x)k =	ak −1 + ak	.
	1		∑	nk x)ks	- для интервальной выборки,			x)k =		.
	n		∑					2
			k =1
Частные случаи:
					1	n
					1	∑
				n		∑
							xk - дляпростойвыборки;
			α1* =			k =1
				1		l
						∑	nk xk - для частотнойвыборки.
					n	∑
						k =1
						k =1
Вводится специальное обозначение: x = α1* -								среднеарифметиче-

ское выборочное (аналог математического ожидания).

2. Центральные выборочные моменты s-го порядка:

			n
	n		∑	(xk			− x )s -
		1	k l=1	(xk			− x )s -		дляпростойвыборки;
		1	k l=1					s
*		1	∑nk (xk					s	- для частотнойвыборки;
*			∑nk (xk					− x )	- для частотнойвыборки;
µs	= n		k l=1
			k l=1
	n		∑	n		(x)		− x )s	- дляинтервальнойвыборки
		1		n	k	(x)		− x )s	- дляинтервальнойвыборки
			k =1		k		k
			k =1					(x)k =		ak −1 + ak	- представитель интервала) .
										ak −1 + ak

									2

В частности, µ*2 - выборочная дисперсия. Вводится специальное обозначение:

	2	*	например, для		1	n	2
S		= µ2	= простойвыборки	=	n	∑(xk − x ) .
					n	k =1
						k =1
3. Мода выборочного распределения d*					= arg max p .
				X			i
							xi

4. Медиана (только для непрерывного распределения): h*x корень уравнения FX* (x) = 12 .

Слева и справа от h*X должно быть одинаковое количество выборочных значений.

6.2. Точечное оценивание неизвестных характеристик генерального

Требования, предъявляемые к оценке. Пусть θ -	неизвестная харак-
~	~
теристика генерального, θ - ее оценка по выборке. Очевидно, что θ -
~	обладала следую-
случайная величина, поэтому желательно, чтобы θ	обладала следую-

щими свойствами.

1. Несмещенность: M[θ] = θ.

	Пояснение: θ –	~	~
	Пояснение: θ –	θ	- ошибка оценивания. Преобразуем: θ – θ =
=	~	+	~ ~
=	(θ − M[θ])	+	(M[θ] − θ)
	14243		14243 .
	систематическаяошибка	случайнаяошибка

M[случайной ошибки] = 0, поэтому случайная ошибка не опасна для измерений. Требование несмещенности преследует цель ликвидировать систематическую ошибку.

2.Состоятельность: θ →θ.

n→∞

Теорема 6.1. (О достаточных условиях состоятельности). Пусть оцен-

ка θ удовлетворяет двум условиям: 1) несмещенная;

2) D[θ] →0.

n→∞

	~
	Тогда θ - состоятельна.					~	~
	~		≥			~	~	\|	≥ ε } ≤
	P{\| θ – θ\|		≥	ε} = {в силу условия 1} = P{\| θ			– M[θ]	\|	≥ ε } ≤
					~
≤ {согласно неравенству Чебышева} ≤					D[θ]	→0 . В силу условия 2
≤ {согласно неравенству Чебышева} ≤					ε2	→0 . В силу условия 2
	~			~	ε2	n→∞
	~	p		~
получаем θ →θ, т.е. θ состоятельна, что и требовалось доказать.
	n→∞
	3. Относительная эффективность.						~
	~	и	~				~		оценка
~	Пусть θ1	и	θ2 -	две несмещенные оценки параметра θ					оценка
~				~	~
θ2	более эффективная, если D[θ2 ] < D[θ1].

Методы получения точечных оценок. Проверка свойств

1. Метод подстановки.

Пусть θ - неизвестная моментная характеристика генерального

метод подстановки предписывает положить				~	*	, где θ		*	- соответст-
метод подстановки предписывает положить				θ	= θ	, где θ			- соответст-
вующая		характеристика эмпирического		распределения					(например,
~	*	~	*
α1	= α ,µ2		= µ2 и т.д.).
	Пример 1. Пусть Х имеет конечный M[X2]. Оценить mX и прове-
рить свойства.						~	*
		По методу подстановки имеем: mX = α1
									= x . Прове-
						α1	= α1		= x . Прове-

рим свойства:

а) несмещенность.

∑

] = M[

x ] =

M[x ] =

n mx

= m

несмещенностьдоказана;

k =1

б) состоятельность.

Достаточно проверить условие 2 теоремы 6.1.

1 n

всилунезависимости

D[x] = D[

∑xk ] = выборочных значений

∑D[xk ] =

n k =1

k =1

=n σ2x = σ2x →0 состоятельность доказана. n2 n n→∞

Пример 2. Пусть Х имеет конечный M[X 4]. Оценить неизвестные α2 и µ2 и проверить их свойства.

Заметим, что поскольку M[X 4], то существуют и все начальные (а следовательно, и центральные) моменты до 4-го порядка включительно.

Полагаем α2 = α2 =

n ∑

xk .

k =1

Проверим свойства полученной оценки:

n α2

а) M [α2

]= M

∑xk =

∑M [xk

= α2 оценка несме-

k =1

щенная;

б) D[α2 ]= D

∑xk

D ∑xk

= {всилунезависимости}=

k =1 n

k =1

∑D[X k2 ] {D[X k2 ] = M[(xk2 − M[xk2 ])2 ]}=

k =1

возводявквадратииспользуя

= линейностьматематическогоожидания

D[α*2 ]= α4 −α22 →0 оценка α*2

состоятельная;

n→∞

~	1 n
в) оценим дисперсию: DX = µ*2 = S 2 =	n ∑		(xk − x)2.
		k =1

Проверим несмещенность. Для этого вначале преобразуем S 2:

	1	n		1
S 2 =	1	∑	(xk − x)2 =	1	∑	(xk − mX + mX − x)2	=
S 2 =	n	∑	(xk − x)2 =	n	∑	(xk − mX + mX − x)2	=
		k =1

=1 ∑n [(xk − mX )2 − 2 (xk − mX )(x − mX ) + (x − mX )2 ]= n k =1

=1 ∑n (xk −mX )2 + 1 n(x −mX )2 − 2(x −mX ) ∑n (xk −mX ) = n k =1 n n k =1

	1	n	1	n	n m
=	1	∑(xk −mX ) =	1	∑xk −	n m	X	= x −mX =
=	n	∑(xk −mX ) =	n	∑xk −	n		= x −mX =
		k =1		k =1

=1 ∑n (xk − mX )2 − (x − mX )2; n k =1

						n	n
						n	∑
					S 2	= 1	k =1	(xk − mX )2 − (x − mX )2.
	Далее имеем:						k =1
	Далее имеем:
M [S 2 ]=			1	∑n	M [(xk	− mX )2 ]− M [(x − mX )2 ]= σx2 − D[x]= σ2X −			σ2x	=
			n	k =1					n
				k =1
2		(n −1)			2				2
= σX				≠ σX оценка смещенная, но при n → ∞ стремится к σX
= σX		n		≠ σX оценка смещенная, но при n → ∞ стремится к σX
		n

в этом случае говорят, что оценка асимптотически несмещенная.

Чтобы устранить смещение, положим

		1	n			n
S 2	=	1	∑	(x − x)2	=	n	S 2 .
2		n −1	∑	k		n −1
			k =1

Получена так называемая исправленная (несмещенная) выборочная дисперсия. Говорят, что замена n на n – 1 привела к потере одной степени свободы. Это объясняется тем, что нам не известно математическое

ожидание, и мы оцениваем его по выборке. Если бы оно было известно, то несмещенной оценкой дисперсии была бы следующая величина:

S 2 =

(x − m )2.

∑

k =1

Проверим состоятельность оценки дисперсии. Для этого про-

верим второе достаточное условие:

−1

n −1

D[S22 ]= D

∑

(xk − x)2

S22

S 2

D[S 2

n −1

k =1

Используя другое представление для S2 {см. пример 3} и свойства

D[S 2 ]=

−µ2

оператора дисперсии, можно показать,

что

+ о

→ 0

при n → ∞ , откуда и следует состоятельность оценки S22.

Пример 3. Показать, что S2 можно преобразовать к виду:

n −1

S 2 =

∑X k 2 −

∑ ∑X i X j ,

k =1

i=1

j=1

(i< j)

где X k = X k − mX .

2. Метод моментов.

Метод подстановки применяется обычно для оценки тех или иных моментов, медианы и других характеристик генерального. Метод моментов применяется для оценки параметров распределения. Пусть X ~ FX (x / Θ) , Θ - вектор параметров, неизвестная величина. Необхо-

димо оценить Θ по выборке.					Θ 2) составим систему уравнений
Пусть для простоты Θ = ( Θ 1,
по методу подстановки для первых двух моментов распределения:
		*		;				*		;
α = α					α = α
1	1			*		1	1			*	(6.1)
α	= α	2	;		µ	2	= µ	2	.
2

Смысл: все неизвестные параметры содержатся в левойчасти системы (6.1), а все известные величины, связанные с выборкой, - в правой. Решая систему (6.1), получаем оценки по методу моментов.

Пример 4. Пусть Х ~ R(a,b). Оценить a и b по методу моментов. Сформируем вторую систему (6.1):

α1

µ2

= a + b = x = α *;
	2			1				a + b = 2x;
	(b − a)2
=	(b − a)2		= S 2 = µ2*;					b − a = 2 3S;
	12
~		= x	+ 3S;			~		~	~
	b	= x	+ 3S;			~	=	a	+ b	= x.
	~	= x	−	3S;	mX		=		2	= x.
	a	= x	−	3S;					2

Пример 5 (дискретный случай). Пусть Х ~B(m,p), причем m - известный параметр, р - неизвестный. Оценить р по методу моментов, проверить свойства.

Требуется одно уравнение: α1 = α1

mp = x p

x .

Проверим свойства:

учитывая

M [p]= M

M [x]=

m p

= p

несмещенностьоценки x

несмещенность доказана.

D[X ]

mpq

D[p]= D

D[x]= D[x]

→ 0

при n → ∞

- несмещенная состоя-

состоятельность доказана p

тельная оценка.

6.3. Метод максимального правдоподобия (ММП)

Пусть снова Х ~ FX(x Θ ). Требуется оценить векторный параметр Θ .

Напомним: выборочный вектор - это вектор (X1, X 2,..., X n ), где Xi

одинаково распределены и независимы. (x1,x2,…,xn) - реализация выборочного вектора.

Определение 1. Функция правдоподобия выборки:

- для непрерывного генерального - плотность распределения выборочного вектора, взятая в точке его реализации;

- для дискретного генерального - вероятность реализации данного выборочного вектора.

Обозначение:

	n	X - СВНТ (X - генеральная);
∏ f X (xk / Θ);
LX( Θ ) = k =1		(6.2)
	n	X - СВДТ (X - генеральная).
∏p{X = xk / Θ};
k =1

Главный принцип ММП

Определение 2. Оценками максимального правдоподобия (ММП-

оценками) называются такие значения параметров (Θ1,Θ2,...,Θl ), которые доставляют максимум функции правдоподобия выборки.

~ ~

Обозначим ММП-оценку вектора Θ через Θ . Пусть Θ - внутренняя точка некоторого компакта S, функция Lx( Θ ) дифференци-

руема в S. Тогда необходимым условием экстремума является равенство нулю всех производных первого порядка. Удобнее рассматривать экстремум не самой функции, а ее логарифма.

Пример 6. Пусть Х ~ N(m,σ2). Оценить mX и σ2 по ММП.

Пусть получена выборка х1, х2,…, хn. Составим функцию правдоподобия:

−(xk −m )

−

∑(xk −m)2

2σ2

2σ

LX (m, σ

) =

∏e

2 k =1

2 π σ

k =1

Далее имеем:

	n		n			1		n
ln LX (m, σ2 ) = −		ln 2π −		ln σ2	−			∑(xk − m)2.
						2σ	2
2		2						k =1

Необходимое условие экстремума:

∂ln LX (m, σ2 )

∑

= 0

(xk − m);

∂m

σ2

∂ln LX (m, σ2 )

= 0

= −

∑(xk − m)

;

∂σ

2σ

k =1

	1	n
	1	∑
	2	∑
	σ	k =1
		k =1
−		n
−
	2σ2

− m) = 0

m = x

−

∑(xk − x)2 = 0

∑

(xk − m)

= 0

2σ k =1

2σ4

k =1

m = x

∑(xk − x) = S .

σ = n

k =1

Заметим, что полученная оценка дисперсии - смещенная, но асимптотически несмещенная.

Пример 7. Пусть Х ~ B(1,p). Оценить р по методу правдоподобия. Пусть получена выборка х1, х2,.., хn. Все значения реализуются независимо. Пусть получено m единиц и (n – m) нулей. По определению

функции правдоподобия (6.2) имеем:

( p) = pmqn−m;

ln LX ( p) = m ln p + (n − m) ln(1 − p);

d ln Lx ( p)

(n −m)

m(1− p) −(n −m) p

= 0 m

−

= 0

= p

1− p

p(1− p)

относительная частота испытаний.

Пример 8. Проверить несмещенность и состоятельность оценки p из примера 7.

Заметим, что так как m - число успехов в n независимых опытах, то m ~ B(n,p). Поэтому M [m]= np, D[m]= npq. Далее имеем:

~	m	=	1	M [m]=	np	= p, оценка несмещенная;
M [p]= M			n		p
	n

~	m		1		npq		pq
D[p]= D		=		D[m]=		=		→ 0,
D[p]= D		=	n2	D[m]=	n2	=	n	→ 0,
	n		n2		n2		n	n→∞

100

		~	состоятельна.
и согласно теореме 6.1 оценка p			состоятельна.
Вернемся	к	вопросу	эффективности	оценок.	Пусть
~ ~
Θ = Θ(x1, x2,..., xn ) - некоторая точечная (скалярная) оценка неизвестно-
го параметра Θ.	В этой записи подчеркивается, что она является функ-

цией от выборки. Согласно основной теореме 4.3 о математическом ожидании функции

~	+∞	~	,..., xn ) f X (x1, x2	,..., xn / Θ)dx1, dx2	,..., dxn =
M [Θ]=	∫...∫Θ(x1, x2

−∞

используякраткуюзапись
для n - мерногоинтеграла
= x = (x , x		2	,..., x			n	),			=
	1	2				n			)
dx = (dx , dx				2	,..., dx			n	)
	1			2				n

Обозначим

[~ ] +∞∫~

g(Θ) = M Θ = Θ(x)

−∞

∫+∞~

−∞ Θ(x) f X (x / θ)dx .

f X (xΘ)dx.

Здесь не обязательно	~
	g(Θ)= Θ.
Запишем также условие нормировки:
+∞	+∞
∫ ...∫ f X (x1, x2 ,..., xn / Θ)dx1...dxn = ∫ f X (x Θ)dx =1.
− ∞	−∞

(6.3)

(6.4)

Определение 3. Информацией по Фишеру, содержащейся в выборке относительно неизвестного параметра Θ, называется функция In (Θ),

определяемая равенством:

∂

ln f X (x Θ)

In (Θ)= M

∂Θ

+∞

∂

(x , x

Θ)dx dx

∫

∫ ∂Θ

ln f

,..., x

,..., dx

...

Θ)

1 2

−∞

вкраткой

+∞ ∂

f X (x Θ)dx.

∫

∂Θ

ln f X (x Θ)

записи

−∞

101

Теорема 6.2. (Крамера - Рао). Пусть оценка Θ и класс распределения генерального (непрерывного типа) таковы, что выполнены условия регулярности, состоящие в том, что n-мерные интегралы в (6.3) и (6.4) можно дифференцировать по Θ под знаком интеграла как по параметру. Тогда справедливо так называемое неравенство Крамера - Рао:

[g′(Θ)]2

D[Θ]≥

In (Θ) .

(6.5)

Продифференцируем (6.3) и (6.4) по Θ (снимем на время индекс

X у плотности):

+∞~

∂f

+∞

∂ln f

f (x Θ)dx;

g′(Θ) = ∫Θ(x)

∂Θ dx ≡

∫

Θ(x)

∂Θ

(6.6)

−∞

+∞

∂∂lnΘf

f (x Θ)dx.

0 = ∫

(6.7)

−∞

(Θ) и вычтем из (6.6):

Умножим обе части (6.7) на g

′

+∞ ~

∂ln f

f (x

∂ln

(6.8)

g (Θ) =

∫

(Θ(x) − g(Θ))

∂Θ

Θ)dx = M (Θ(x) − g(Θ))

∂Θ

−∞

Возведем (6.8) в квадрат и используем неравенство Коши - Буня-

ковского (M 2[X Y ] ≤ M[X 2 ] M[Y 2 ]):

d ln f

[g'(Θ)]

≤ M

[(Θ(x) −q(Θ))

= D[Θ] In (Θ) результат.

dΘ

Замечание 1. В частном случае, когда оценка Θ - несмещенная, получаем простой вариант неравенства Крамера - Рао:

~	1
D[Θ]≥		.
D[Θ]≥	In (Θ)	.

Замечание 2. Так как выборочный вектор состоит из независимых компонент, то

In (Θ) = n I1(Θ),

102

∞ d ln f (x

)

d ln f (x

где

(Θ) = ∫

dΘ

f (x

Θ)dx = M

dΘ

. Здесь в

−∞

правой части фигурирует уже обычный одномерный интеграл, а I1(Θ)

трактуется как количество информации по Фишеру, содержащейся в одном (любом) выборочном значении относительно неизвестного параметра Θ.

Замечание 3. Неравенство Крамера - Рао сохраняет силу и в случае регулярных дискретных распределений. Меняются только формулы для вычисления необходимых математических ожиданий (интегралы заменяются на суммы и т.д.).

Определение 4. Оценка Θ называется абсолютно эффективной оценкой параметра Θ , если она удовлетворяет условию регулярности и дисперсия этой оценки достигает нижней границы неравенства Крамера -

Рао (6.5).

				~
В частности, например, если Θ - несмещенная и выполняется
	~	1		~
условие	D[Θ] =		, то	Θ абсолютно эффективна.
условие	D[Θ] =	In (Θ)	, то	Θ абсолютно эффективна.

Определение 5. Несмещенная оценка Θ называется асимптоти-

чески эффективной, если lim D[Θ] In (Θ) =1.

n→∞

Пример 9. Проверить абсолютную эффективность оценок параметров m и σ2 из примера 6.

ММП-оценки, согласно примеру 6, имеют вид:

					1	n
~	~2		2		n	∑	2
m = x = σ		= S		=			(xK − x) .
m = x = σ		= S		=			(xK − x) .

k =1

Проверим эффективность среднего арифметического. Известно,

что D[x] = σ2 . n

Найдем информацию по Фишеру:

In (m) = nI1(m);

103

<<< < Предыдущая 1 2 3 4 5 6 7 8 9 10 11 12 13 1415 / 2215 16 17 18 19 20 21 22 > Следующая >>>

Соседние файлы в папке Литература

#
17.04.20131.36 Mб150книга.pdf
#
17.04.201321.9 Mб415Феллер_теория вероятностей_I.pdf
#
17.04.201333.75 Mб372Феллер_теория вероятностей_II.pdf