ТВиМС 2022

Добавил:

Julsft Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Московский технический университет связи и информатики

Предмет:

Теория вероятностей и математическая статистика

Файл:

максимум функции

lnL x1,...,xn,

k ln n k ln 1 .

Используя методы математического анализа, имеем

.pdf

Скачиваний:

Добавлен:

01.03.2025

Размер:

1.16 Mб

Скачать

☆

<<< < Предыдущая 1 2 3 4 5 6 78 / 148 9 10 11 12 13 14 > Следующая >>>

k k n k 0,

n - единственное решение данного уравнения.

Так как 0 k n ,

то

д2 ln

n k

0 для всех 0,1 .

Отсюда следует, что функция lnL в интервале

0,1 имеет единственный

максимум при n .

Поэтому оценка

является

оценкой,

полученной методом

максимального правдоподобия.

При этом k xi , т. е.

i 1

xi x .

i 1

Мы видим, что в этом случае оценка, полученная методом максимального правдоподобия, будет несмещенной и состоятельной.

2. Пусть выборка производится из нормально распределенной случайной

величины	с		двумя			неизвестными							параметрами,								т.	е.	1, 2 ,	где
0 2 ,			1	.										n					xi 1 2
0 2 ,			1	.

																1
							L x1,...,xn,									1			e	2 2 .

																2 2
													i 1			2 2
													i 1
Здесь у нас два параметра:										1, 2 .
Здесь у нас два параметра:										1, 2 .
					lnL n													1	n
									ln2 ln 2									1	xi		1	2 .
									ln2 ln 2								2 2		xi		1	2 .
								2									2 2		i 1
Найдем	частные				произведения								первого					порядка				для	функции	lnL и
приравняем их к нулю.
		lnL			1	n
		lnL			1		xi 1 0


			1		2
			1		2	i 1												.
		lnL				n		1		n				2				.
		lnL				n		1						2

											x				0
											x	i			0
			2			2 2		2				i	1
			2			2 2		2 2		i 1

Получаем

n
			1
i			1	0
	x	n		0


i 1
		n		2
				2
			xi	1

n 2
		i 1

	1
	1
		x
			i
1	n
	n
	1 n
	1 n


				i
2		x
	n i 1
	n i 1

x 2 S2 .

Решение данной системы единственное, и функция L принимает в точке

, максимальное значение (проверьте это самостоятельно).

1 2

Следовательно,

является

оценкой

максимального

1, 2

x,S

правдоподобия для

1, 2 .

силу свойств

самих

оценок –

это

состоятельная оценка.

Введем еще одну величину, характеризующую оценку.

Определение. Среднеквадратичной ошибкой

оценки

параметра

называется величина .

Если оценка несмещенная, то

2 2 D .

Это мера отклонения оценки от оцениваемого параметра.

Иногда среднеквадратичная ошибка может быть больше у несмещенной оценки, чем у смещенной.

Пример. Самостоятельно сравните среднеквадратичные ошибки оценок

	1	n		1	n
S2*		xi x 2	и S2		xi x 2 .
				n
	n 1 i 1				i 1

Хорошо было бы, если бы эта ошибка была как можно меньше. Но очень часто нельзя ее уменьшить ниже определенного порога.

	Сформулируем теорему об этой границе. Но сначала введем понятие
регулярной статистической модели.
	Пусть имеет функцию распределения F x, с плотностью p x, .
	Условия регулярности для семейства F x, и p x, :
1)	множество x : p x, 0 не зависит от .

2) Равенство p x, dx 1 можно дифференцировать по параметру под

знаком интеграла.

3)Смещение в равенстве b дифференцируемо по параметру .

4)Интеграл

...

,...,x

x ,...,x

p x

, dx

i 1

b ,

где dx dx1 ... dxn ,

можно дифференцировать по параметру

под знаком

интеграла.

5) Интеграл Inf ln p x, p x, dx не равен нулю и сходится, т.е.

0 Inf .

Интеграл Inf называется информацией по Фишеру о неизвестном параметре , содержащейся в одном наблюдении xi .

Теорема (неравенство Рао-Крамера). Если семейство плотностей p x,

x1,...,xn

удовлетворяют условиям регулярности 1)-

, где , и оценка

5), то имеет место неравенство

n Inf

несмещенная оценка,

то

в условиях регулярной

Следствие. Если

модели

n Inf

Вслучае если мы оцениваем не параметр , а параметрическую функцию

, то с некоторыми изменениями на условия регулярности неравенство

Рао-Крамера примет вид

2 ' b 2 .

n Inf

Определение. Эффективностью регулярной оценки параметрической функции называется величина

		' b 2			.
eff
eff				2
	n Inf

Очевидно, что у любой оценки		эффективность ограничена: 0 eff 1.

Определение. Регулярная оценка			параметрической функции

называется эффективной, если eff 1, т.е. неравенство Рао-Крамера для нее обращается в равенство.

Определение. Регулярная оценка параметрической функции

называется асимптотически эффективной, если eff 1

Примером эффективной оценки в модели N , 2 является x .

В модели N a, статистика S2 - асимптотически эффективная оценка.

10 ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЯ

В предыдущей теме мы рассматривали точечные оценки для параметров статистической модели. Любая точечная оценка представляет собой функцию выборки, т. е. является случайной величиной, и при каждой реализации выборки эта функция определяет единственное число, которое мы принимаем за приближенное значение оцениваемой характеристики. При этом нужно принимать во внимание, что в каждом конкретном случае значение оценки может отличаться от значения параметра. Следовательно, полезно знать и возможную погрешность, возникающую при использовании предлагаемой оценки. К примеру, можно указать такой интервал, или область, внутри которого с высокой вероятностью находится точное значение оцениваемого параметра. В этом случае говорят об интервальном,

или доверительном, оценивании.
	Теперь сформулируем основное определение.
	Определение.			Рассмотрим	выборку	x1,...,xn и	две статистики

1	1 x1,...,xn и		2	2 x1,...,xn . Если для некоторого 0;1 выполняется
	P 1 x1,...,xn 2 x1,...,xn ,

то говорят, что случайный интервал ( 1, 2) накрывает неизвестный
параметр		с вероятностью не меньшей, чем .
	Если				величину	называют	доверительной
	Если	P 1 2 , то			величину	называют	доверительной

вероятностью или коэффициентом надежности.

Случайный интервал 1, 2 называют доверительным интервалом для

неизвестного параметра с коэффициентом надежности .

Опишем способ, с помощью которого в ряде случаев можно построить доверительный интервал.

Определение. Пусть статистическая модель F абсолютно непрерывна, и существует случайная величина G x1,...,xn, , зависящая от , такая, что:

1) распределение G x1,...,xn, не зависит от ;

2) для любой фиксированной реализации выборки x1,...,xn функция G x1,...,xn, непрерывна и строго монотонна по .

Тогда такую случайную величину G называют центральной статистикой параметра .

Обратим внимание, что в силу определения центральная статистика не является статистикой в точном определении этого понятия.

Итак, пусть для модели F построена центральная статистика G x1,...,xn, ,

и fG t – плотность распределения этой центральной статистики.

	По первому условию из определения, fG t не зависит от , поэтому для
любого значения 0;1 можно			выбрать величины t1 t2 (какими угодно
способами) так, чтобы:
	P t1		t2
	P t1	G x1,...,xn, t2 fG t dt .
			t1
	Далее для определенности будем считать, что G - строго возрастающая по
	функция. Определим теперь для любой реализации выборки x1,...,xn числа
		где
1	x1,...,xn и 2 x1,...,xn ,	где

		1 x1,...,xn 2 x1,...,xn ,

как решение относительно совокупности уравнений

G x1,...,xn, t1 .G x1,...,xn, t2

Однозначность определения обоих этих чисел обеспечивается вторым условием, наложенным по определению на функцию G x1,...,xn, . Тогда

неравенство

t1 G x1,...,xn, t2

эквивалентно неравенству

1 x1,...,xn 2 x1,...,xn

и выполняется равенство

P t1 G x1,...,xn, t2


P 1	x1,...,xn 2 x1,...,xn .
Таким образом, построенный интервал			x		x1,...,xn	является
Таким образом, построенный интервал		1	x	1,...,xn , 2	x1,...,xn	является

-доверительным интервалом для неизвестного параметра .

В каждой конкретной задаче при построении центральной статистики для оцениваемого параметра обычно приходится учитывать специфику рассматриваемой модели.

Это мы разберем на примере оценки параметров нормального распределения. Но сначала сформулируем полезную теорему.

Теорема (Фишера). Если x1,...,xn - выборка из N a, 2 (случайной

величины, имеющей нормальное распределение с двумя параметрами a и 2 ), то

1. случайные величины

i 1

и S2

i 1

xi x независимы,

2.имеют место следующие распределения:

xN a, n2 ,

		nS2		2	,
			2	n 1
где 2	– случайная величина,	имеющая хи-квадрат распределение с n 1
n 1
степенью свободы.
Определение. Пусть случайная				величина		обладает функцией
распределения F x , и дано вещественное число:						0 p 1. Тогда решения xp
уравнения
F x p

называются квантилями распределения F x уровня p.

Примеры.

1). Рассмотрим случай выборки из нормального распределения с неизвестным математическим ожиданием и известной дисперсией:

N 2 .

По теореме Фишера

	2
		,

x N ,
x N ,	n
	n

следовательно, функция

G x1,...,xn,		n
	x

x t

является центральной статистикой, имеющей стандартное нормальное распределение N 0;1 .

P t1 G x1,...,xn, t2

1	e	t2
1		2dt .

2
2

Рассмотрим график плотности нормального распределения:

Пусть площадь закрашенной области на графике равна , тогда сумма площадей S1 S2 равна 1 . Удобно считать, что S1 S2 1 2 .

Получаем, что t1 - квантиль стандартного нормального распределения

уровня	1 , что обозначается как		t t	1	, а	t	- уровня	1 1 , т. е.
	2		1	1		2		2
	2			2				2
				2
уровня	1 : t2	t1 .
	2	2
		2
Эти	квантили для конкретных		значений				находятся	по таблицам

математической статистики, обычно находящимся в конце пособий по математической статистике или в отдельных сборниках.

Обозначим 1 , тогда

t1 t /2

t /2

и в силу

симметричности

плотности стандартного нормального распределения t2 t /2

t /2

x t /2

P t /2




			t
			t
				/2
P	x



			n
			n



		1

n/2 1 .

Тогда 1; 2 - искомый доверительный интервал.

Заметим,	что на практике	представляет				интерес поиск доверительных
интервалов,	наименьших по	длине			.	В данном случае мы нашли

			2	1

именно наименьший.

2) Рассмотрим случай выборки из нормального распределения с известным математическим ожиданием и неизвестной дисперсией: N a,

Рассмотрим статистику

S02

xi a

i 1

nS0

Функция

равна сумме квадратов независимых случайных

i 1

величин, имеющих стандартное нормальное распределение.

Следовательно,

функция

nS02

имеет

хи-квадрат распределение с n

степенями свободы:

nS2

n2 .

Очевидно, что

nS02

является центральной статистикой.

2 1

nS0

P t1

n dt

Рассмотрим график плотности хи-квадрат распределения:

Пусть площадь закрашенной области на графике равна , тогда сумма площадей S1 S2 равна 1 . Удобно выбрать, как и в предыдущем примере, что

									S1	S2 /2.
Получаем, что t1 - квантиль хи-квадрат распределения с																				n	степенями
свободы уровня / 2,						что обозначается как t 2								; /2	, а t	2	-	уровня 1 / 2 ,
										1			n	; /2		2
т. е. t2 n2;1 /2 .
			2
	2		nS0		2
P	n; /2				n;1 /2
P



				1					1
				1					1

		P		2				nS2	2
				2				nS2	2
				n;1 /2			0
				n;1 /2			0		n; /2



														2					2
														2					2
												nS0						nS0
												nS0						nS0			1 .


											P		2						2
													2						2
													n;1 /2
													n;1 /2					n; /2



													1						2

Тогда 1		; 2 - искомый доверительный интервал.

Но в данном случае он не является наименьшим по длине.

3) Теперь рассмотрим случай выборки из общей нормальной модели, т.е. из нормального распределения с неизвестным математическим ожиданием и неизвестной дисперсией: N 1, 2 .

Чтобы построить доверительный интервал для дисперсии 2 , будем

действовать аналогично примеру 2, но используя другую центральную статистику.

Согласно теореме Фишера,

nS2 2 .

2 n 1

Проводя аналогичные предыдущему примеру рассуждения, получаем:

t	2		,
1	n 1, /2
t2	2	,
	n 1,1	2
		2




					2			2
				nS	2	nS		2
				nS		nS
									1
			P	2			2		1
				2			2
				n 1;1 /2			n 1; /2
				n 1;1 /2			n 1; /2



				1,2			2,2
				1,2			2,2

Тогда 1,2; 2,2 - -доверительный интервал для параметра 2 .

Для того чтобы построить доверительный интервал для математического ожидания 1 , сформулируем сперва утверждение.

Утверждение (соотношение Стьюдента). Пусть случайные величины

инезависимы и имеют следующие распределения:

N 0,1 , k2 .

Тогда случайная величина		имеет распределение Стьюдента с k

	/ k
	/ k

степенями свободы, что обозначается как

stk .

/ k

nS2

Из теоремы Фишера

следует,

что

N 0,1 ,

1 и эти

/ n

величины независимы. Следовательно,

x 1

/ 2

x 1

n 1

stn 1 .

n 1

Очевидно, что функция

n 1 x 1

является центральной статистикой. Проводя рассуждения, аналогичные проделанным ранее, получаем, что верно равенство

x 1

P t

n 1

t2
	n / 2						1/2
							n 1
		n 1 / 2					n 1
t1
				2	n/2
		t		2
		t
1						dt 1

		n
		n	1

Рассмотрим график распределения Стьюдента:

<<< < Предыдущая 1 2 3 4 5 6 78 / 148 9 10 11 12 13 14 > Следующая >>>