Добавил:

ivanov666 Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Башкирский Государственный Аграрный Университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

Математическая статистика. Учебное пособие

.pdf

Скачиваний:

Добавлен:

12.08.2026

Размер:

1 Мб

Скачать

☆

<<< < Предыдущая 1 2 3 45 / 275 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 > Следующая >>>

Глава 2. Метод моментов

Тогда для любого > 0

αβ

+∞

E 1 =

· β−1 −α =

Γ(β)

αβ

+∞

(α ) +β−1 −α (α ) =

Γ(β)

α +β

Γ( + β)

Γ(β)

и, следовательно, E 1 = β/α и E 2 = β(β + 1)/α2.

а) Если значение β известно, то α = β/E 1

и α*

= β/

б) Если значение α известно, то β = αE 1 и β* = α .

в) Для нахождения оценки векторного параметра решаем систему уравнений

{

E 1 = β/α,

E 12 = β(β + 1)/α2,

откуда α = E 1/D 1 и β = (E 1)2/D 1. Следовательно, α* = = / 2, β* = ( )2/ 2.

Задача 2.13. Пусть имеется выборка из распределения Парето с параметрами β и θ. Построить оценки метода моментов:

а) параметра β > 1, если значение θ > 0 известно; б) параметра θ > 0, если значение β > 1 известно; в) векторного параметра (β, θ), где β > 2 и θ > 0.

Решение

Плотность распределения Парето с параметрами β и θ равна

β,θ( ) = βθβ −β−1,	θ.
Тогда для всех α < β

∞	β
E 1α = Z βθβ α−β−1 =
		θα.
	β − α

Глава 2. Метод моментов

а) Если значение θ > 0 известно и β > 1, то E 1 = βθ/(β − 1).

Значит, β = E 1/(E 1

−

θ) и β* =

−

θ).

б) Если значение β > 1 известно, то θ = (β − 1)E 1/β и, значит,

θ*

= (1

−

1/β)

в) Для нахождения оценки векторного параметра решаем систе-

му уравнений

E 12

= βθ2/(β − 2),

{

E 1

= βθ/(β − 1),

откуда

β = 1 + √

θ = (1 − 1/β)E 1.

1 + (E 1)2/D 1

Теперь находим оценки метода моментов:

β* = 1 + √

θ* = (1 − 1/β* )

1 + (

)2/ 2

Задача 2.14. Пусть дана выборка из распределения Вейбулла с параметрами α > 1 и θ > 0, причём значение α известно. С помощью функции ( ) = α построить оценку параметра θ.

Решение

Плотность распределения Вейбулла с параметрами α и θ равна

α,θ( ) = αθ α−1 −θ α ,

Заметим, что α,θ( ) есть производная функции 1 − −θ α , которая, в свою очередь, является функцией распределения случайной величины ξ1/α, где ξ имеет показательное распределение с параметром θ. Действительно, при > 0 имеем

ξ1/α ( ) = P(ξ1/α < ) = P(ξ < α) = ξ( α) = 1 − −θ α .

Таким образом, элементы выборки имеют такое же распределение, что и ξ1/α. Следовательно, (θ) = E 1α = Eξ = 1/θ и, значит, θ* =

= 1/ α.

Глава 2. Метод моментов

Задача 2.15. Пусть дана выборка из распределения Пуассона с параметром λ. С помощью функции ( ) = I( = 1) построить оценку метода моментов параметра θ = θ(λ) = λ −λ.

Решение

Так как математическое ожидание индикатора события равно вероятности этого события, то из определения распределения Пуассона получаем

(λ) = E ( 1) = EI( 1 = 1) = P( 1 = 1) = λ −λ = θ.

Отсюда следует, что θ* = I( = 1) = 1 ∑ I( = 1).

ЗАДАЧИ ДЛЯ САМОСТОЯТЕЛЬНОГО РЕШЕНИЯ

Задача 2.16. Используя метод моментов с функцией: а) ( ) = | − |; б) ( ) = ( − )2,

построить оценку неизвестной дисперсии σ2 > 0 нормального распределения с известным значением .

Задача 2.17. Используя функции 1( ) = и 2( ) = 2, построить оценку параметра θ > 0 нормального распределения с математическим ожиданием θ и дисперсией:

а) 2θ; б) θ2.

Задача 2.18. Используя функции 2 , = 1, 2, . . . , построить оценку неизвестной дисперсии σ2 нормального распределения с нулевым математическим ожиданием.

Задача 2.19. Используя метод моментов с подходящей функцией ( ), построить оценку параметра α > 0 распределения Лапласа.

Задача 2.20. Пусть дана выборка из показательного распределения с параметром α. С помощью функции ( ) = построить оценку метода моментов параметра θ(α) = P( 1 1).

44	Глава 2. Метод моментов

Задача 2.21. Можно ли построить оценку метода моментов параметра сдвига распределения Коши с помощью одной из функций

, 2, 3, . . .?

Задача 2.22. Пусть дана выборка из биномиального распределения с параметрами и . Используя метод моментов, построить оценку:

а) параметра , если значение известно; б) параметра , если значение известно; в) векторного параметра ( , ).

Задача 2.23. Используя метод моментов, построить оценку параметра (0, 1) геометрического распределения.

Задача 2.24. При нейтронной бомбардировке ядер урана начинается расщепление ядра, при котором ядро урана распадается на две части различного типа; в камере Вильсона это явление обнаруживается в виде двух траекторий, исходящих из одной точки. Эти траектории вскоре разделяются на несколько ветвей, получающихся от столкновения частиц с молекулами газа в камере. Можно показать, что число ветвей в одной траектории имеет так называемое двойное распределение Пуассона, т. е.

	1		λ		λ
P( 1 = ) =		(	1	−λ1 +	2	−λ2 ),	= 0, 1, 2, . . . ,
	2		!		!

где λ1 < λ2 — некоторые положительные постоянные. Используя метод моментов, построить оценку векторного параметра (λ1, λ2).

Г Л А В А 3

Метод максимального правдоподобия

Рассмотрим ещё один способ построения оценок — метод максимального правдоподобия.

Пусть {θ, θ Θ} — некоторое параметрическое семейство распределений. Пусть выполнено условие доминирования относительно некоторой меры µ на R, т. е. это параметрическое семейство состоит из распределений, абсолютно непрерывных относительно µ (мера λ является абсолютно непрерывной относительно меры µ, если для любого множества такого, что µ( ) = 0, выполняется и λ( ) = 0).

Обозначим через θ плотность распределения θ относительно меры µ:

θ( ) = θ ( ).µ

Если распределение θ абсолютно непрерывно, то для него выполнено условие доминирования относительно меры Лебега на прямой, и θ — это обычная плотность распределения. Если распределение θ дискретно, то для него выполнено условие доминирования относительно считающей меры и θ( ) = P( 1 = ).

Пусть = ( 1, . . . , ) — выборка объёма из распределенияθ с функцией распределения θ, θ Θ. Функцией правдоподобия

46	Глава 3. Метод максимального правдоподобия

называется функция

∏

Ψ (θ) = θ( ).

Оценкой максимального правдоподобия ^ неизвестного парамет-

ра θ называется такое значение параметра θ, при котором достигается максимум функция правдоподобия:

^
Ψ (θ ) = max Ψ (θ).
θ Θ
Отметим, что если экстремальных точек θ	= arg max Ψ (θ)
^

θ Θ

несколько, то все они являются оценками максимального правдоподобия.

В дискретном случае при фиксированных 1, . . . , значение функции правдоподобия Ψ (θ) равно вероятности, с которой выборка 1, . . . , в данной серии экспериментов принимает значения1, . . . , . Эта вероятность зависит от θ:


Ψ (θ) =	∏	= 1) · . . . · P( = ) =
Ψ (θ) =	θ( ) = P( 1	= 1) · . . . · P( = ) =
	=1

=P( 1 = 1, . . . , = ).

Вабсолютно непрерывном случае эта функция пропорциональна

вероятности попасть «почти» в точку 1, . . . , , а именно в «кубик» со сторонами 1, . . . , вокруг точки 1, . . . , .

При нахождении оценок максимального правдоподобия часто удобно использовать логарифмическую функцию правдоподобия


(θ) = ln Ψ (θ) =	∑
(θ) = ln Ψ (θ) =	ln θ( ).
	=1

Ясно, что максимум функции также достигается в точке ^ .

Глава 3. Метод максимального правдоподобия

ПРИМЕРЫ РЕШЕНИЯ ЗАДАЧ

Задача 3.1. Найти оценку максимального правдоподобия параметра α показательного распределения.

Решение

Плотность показательного распределения равна

α( ) = α −α ,

Тогда функция правдоподобия для выборки объёма из этого распределения имеет вид


Ψ (α) =				= α		∑ .
Ψ (α) =	α( ) =	α −	α	= α		∑ .
	∏	∏	α		−α
	∏	∏				=1
						=1
	=1	=1

Поскольку эта функция при всех α > 0 непрерывно дифференцируема по α, можно искать точки экстремума, приравняв к нулю частную производную по α. Но удобнее это делать для логарифмической функции правдоподобия:


	(α) = ln α − α			∑
	(α) = ln α − α				.
				=1
Тогда

	∂ (α)		∑
	∂ (α)

	∂α			= α − .
	∂α	= α −		= α − .
			=1

Точку экстремума α^ = 1/ находим как решение уравнения

− = 0.

Так как

∂2 (α)

α=α^

−

( )2 < 0,

∂α

α^

48 Глава 3. Метод максимального правдоподобия

то α^ = 1/ — точка максимума, а не минимума. Отметим также,

что α = 1/ совпадает с оценкой метода моментов, полученной
^
по первому моменту (см. решение п. а задачи	при = 1), т. е. в
данном случае новой оценки мы не получили.

Задача 3.2. Найти оценку максимального правдоподобия параметра α гамма-распределения с параметрами α > 0 и λ > 0 при известном λ.

Решение

Плотность гамма-распределения равна

α,λ( ) =

αλ

λ−1 −α ,

Γ(λ)

Перемножив плотности в точках 1, . . . , , получим функцию

правдоподобия

αλ

−α

αλ

Ψ (α, λ) =

−

( 1 ·. . .· )

−

∑

Γ(λ)

(Γ(λ))

∏

а затем логарифмическую функцию правдоподобия

∑

(α, λ) = − ln Γ(λ) + λ ln α + (λ − 1)

ln − α .

Если λ известно, то α = λ/

есть решение уравнения

∂ (α, λ)

= 0.

∂α

Так как

∂2 (α, λ)

= −λ /α2 < 0,

∂α2

то α^ = λ/ — оценка максимального правдоподобия параметра α.

Глава 3. Метод максимального правдоподобия

Задача 3.3. Найти оценку максимального правдоподобия векторного параметра ( , σ2) нормального распределения.

Решение

Это распределение имеет плотность

		2 ( ) =	1	−( − )2/2σ2 .
	,σ		√2πσ2

Тогда функция правдоподобия для выборки объёма из этого распределения равна

) =

−

(

−

/2σ2

− ( − )2

/2σ2

Ψ ( , σ

√2πσ2

(2πσ2) /2

∑

∏

Теперь находим логарифмическую функцию правдоподобия:

	1
		∑
( , σ2) = − 2 ln 2π − 2 ln σ2 − 2σ2
		( − )2.
		=1

Точку, в которой достигается максимум (проверьте!) функции , находим из следующей системы уравнений:

	∂ ( , σ2)	= 0,		∂ ( , σ2)		= 0,
	∂	= 0,		∂σ2		= 0,
	∂			∂σ2
т. е.
1				1
	∑				∑
σ2	( − ) = 0,	−2σ2 + 2σ4			( − )2 = 0.
	=1				=1
Решение этой системы есть ^			= и σ		=		− ( )	. Наши ре-
				^2		2	2

зультаты совпадают с оценками метода моментов (см. задачу	),
однако процесс вычислений оказался более трудоёмким.

50	Глава 3. Метод максимального правдоподобия

Задача 3.4. Построить оценку максимального правдоподобия параметра распределения Бернулли.

Решение

Плотность ( ) распределения Бернулли относительно считающей (на множестве {0, 1}) меры равна

{ , если = 1

( ) = P( 1 = ) = = (1− )1− , = 0, 1.

1 − , если = 0

Тогда функция правдоподобия равна

Ψ ( ) = 1 (1 − )1− 1 · . . . · (1 − )1− = (1 − ) − .

Далее находим логарифмическую функцию правдоподобия:

( ) = ln + ( − ) ln(1 − ).

Точку экстремума функции ( ) по переменной находим из уравнения


∂ ( )	=	−	−		= 0.

∂			1	−

Отсюда получаем ^ = . Несложно убедиться, что

∂2 ( )

< 0.

∂2 =^

Задача 3.5. Построить оценку максимального правдоподобия параметра λ распределения Пуассона.

Решение

Плотность распределения Пуассона относительно считающей меры на множестве целых неотрицательных чисел равна

( ) = P(	1	= ) =	λ −λ	.

λ			!

<<< < Предыдущая 1 2 3 45 / 275 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 > Следующая >>>

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]