Добавил:

ivanov666 Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Башкирский Государственный Аграрный Университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

Математическая статистика. Учебное пособие

.pdf

Скачиваний:

Добавлен:

12.08.2026

Размер:

1 Мб

Скачать

☆

<<< < Предыдущая 1 2 3 4 56 / 276 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 > Следующая >>>

Глава 3. Метод максимального правдоподобия

Отсюда находим функцию правдоподобия

	λ −λ		λ − λ
∏				·		·
Ψ (λ) =	!	=	1!		. . .		!
=1

и логарифмическую функцию правдоподобия


(λ) = ln λ − λ −	∑
(λ) = ln λ − λ −	ln( !).
	=1

Находим точку максимума этой функции из уравнения:

			∂ (λ)
			∂λ	=	λ − = 0.
Так как	∂2	(λ)	λ= < 0, то		^
Так как		∂λ2	λ= < 0, то		^
					окончательный ответ совпадает с
оценкой метода моментов				(проверьте!): λ = .

Задача 3.6. Пусть дана выборка из нормального распределения с математическим ожиданием и единичной дисперсией, где может принимать лишь два значения: 1 и 2. Найти оценку максимального правдоподобия параметра .

Решение

Функцию правдоподобия для выборки объёма из нормального распределения мы нашли в задаче . Поскольку множество Θ = = {1, 2} двухточечное, то оценка максимального правдоподобия^ принимает значение 1, если Ψ (1) > Ψ (2), что эквивалентно неравенству


1		− ( −1)2	/2	1		− ( −2)2	/2
	(√2π)	∑		> (√2π)		∑	.
		=1				=1
Решив это неравенство, получим
				если	< 3/2,
		1,		если	< 3/2,
		^ = {2,		если	3/2.
		^ = {2,		если	3/2.

52	Глава 3. Метод максимального правдоподобия

Задача 3.7. Пусть 1, . . . , — выборка из следующего трёхточечного распределения, зависящего от параметра θ (0, 1/3):

P( 1 = 1) = θ,

P( 1 = 2) = 2θ,

P( 1 = 3) = 1 − 3θ.

Найти оценку максимального правдоподобия параметра θ.

Решение

Плотность распределения выборки относительно считающей меры на множестве {1, 2, 3} равна

θ( ) = P( 1 = ) = θI( = 1) + 2θI( = 2) + (1 − 3θ)I( = 3).

Тогда

Ψ (θ)	=
Ψ (θ)	=	=1 (θI( = 1) + 2θI( = 2) + (1 − 3θ)I( = 3)) =
		∏
			· (2θ)			.
	= θ ∑		· (2θ)	∑	· (1 − 3θ) ∑	.
		I( =1)		I( =2)		I( =3)
		=1		=1	=1

Отсюда находим логарифмическую функцию правдоподобия и её производную:

(θ) = ln θ

∑

= 1) + ln(2θ)

I( = 2)+

∑

+ ln(1 − 3θ)

I( = 3),

∂ (θ)

∑

I( = 2)−

−

∑

∂θ

= 1)+

3θ

I( = 3).

Уравнение

∂ (θ)

= 0 принимает вид

∂θ

∑

−

I( = 3)

1 − 3θ

Глава 3. Метод максимального правдоподобия

откуда находим оценку максимального правдоподобия:

^θ =		=	−	3	.
	∑3
−	I( = 3)	1		I( = 3)
	=1

Легко проверить, что это действительно точка максимума функции (θ).

Задача 3.8. Найти оценку максимального правдоподобия параметра α > 0 распределения с плотностью

3 2 α−3 −( /α)3 ,	если 0,
α( ) = {0,	если < 0.

Решение

Так как α( ) = 0 при < 0, то P( < 0) = 0 и

α( ) = 3 2 α−3 −( /α)3 .

Тогда функция правдоподобия равна

Ψ (α) = 3 α−3 (∏ )2 − 3/α3 .

Отсюда находим логарифмическую функцию правдоподобия:


	3
	3	∑

(α) = ln 3 − 3 ln α − α3
(α) = ln 3 − 3 ln α − α3		+ 2 ln .
		=1

Точку максимума функции (α) находим из уравнения

∂ (α) = −3 + 3 3 = 0. ∂α α α4

54	Глава 3. Метод максимального правдоподобия
	3	. Несложно проверить, что	∂2	(α)	α=α^	< 0.
	Отсюда α^ = √ 3	. Несложно проверить, что		∂α2	α=α^	< 0.

	Задача 3.9. Пусть дана выборка из распределения Вейбулла					с па-

раметрами α и θ. Построить оценку максимального правдоподобия параметра θ > 0, если значение α > 1 известно.

Решение
Так как θ( ) = αθ α−1		−θ α	(плотность распределения Вей-
булла см. в задаче
булла см. в задаче	), то функция правдоподобия равна

Ψ (θ) = α θ ( =1			)α−1 − θ		.
Ψ (θ) = α θ ( =1			)α−1 − θ	α	.
		∏

Теперь найдём логарифмическую функцию правдоподобия

(θ) = ln α + ln θ − θ α + (α − 1) ln

и её производные
∂ (θ)					∂2 (θ)
∂ (θ)				− α,	∂2 (θ)	= −
		=						.
	∂θ	=	θ		∂θ2		θ	.

Так как ∂2 (θ) < 0 для всех θ > 0, то решение уравнения

∂θ2

− α = 0

даёт нам оценку максимального правдоподобия ^ = 1/ α.

Теперь рассмотрим несколько примеров, связанных с ситуациями, когда носители распределений из параметрического семейства зависят от параметра. В этих ситуациях функция правдоподобия, как правило, оказывается недифференцируемой, поэтому поиск точки её максимума зачастую выполняется графически.

Задача 3.10. Найти оценку максимального правдоподобия параметра θ > 0 равномерного распределения на отрезке [0, θ].

Глава 3. Метод максимального правдоподобия

Решение

Плотность этого распределения равна


θ( ) =	θ ,		если [0, θ],
	1
		0,	если / [0, θ].

Тогда функция правдоподобия выборки равна

{

θ− ,

Ψ (θ) =

{

θ− ,

если все элементы выборки [0, θ],

если хотя бы один элемент выборки ̸[0, θ],

если ( ) θ, если ( ) > θ.

Представим функцию Ψ (θ) как функцию переменной θ:

Ψ (θ) =

{θ− , если θ ( ), 0, если θ < ( ).

При фиксированных значениях выборки (и, следовательно, при фиксированном значении ( )) график функции Ψ (θ) имеет следующий вид:

Ψ (θ) 6

1/ ( )

( )

Рис. 4. Функция правдоподобия

Максимум функции правдоподобия достигается в точке θ = ( ).

Поэтому оценка максимального правдоподобия есть ^ = ( ).

56	Глава 3. Метод максимального правдоподобия

Задача 3.11. Найти оценку максимального правдоподобия параметра θ > 0 равномерного распределения на отрезке [θ, 2θ].

Решение

Так как плотность этого распределения равна


θ( ) =	θ ,		если [θ, 2θ],
	1
		0,	если / [θ, 2θ],

то функция правдоподобия имеет вид:

Ψ (θ) =

если все

[θ, 2θ],

{0−,

если хотя бы один

если

{0−

иначе,

(1)

( )

если

{0−

иначе.

( )

(1)

Нетрудно видеть, что функция правдоподобия убывает в области

( )/2 и её максимум достигается в точке ^ = ( )/2.

θ θ

Читателю предлагается убедиться, что отрезок [ ( )/2, (1)] не пуст.

В следующем примере мы увидим, что оценка максимального правдоподобия может быть не единственной.

Задача 3.12. Найти оценку максимального правдоподобия параметра θ > 0 равномерного распределения на отрезке [θ, 2 + θ].

Глава 3. Метод максимального правдоподобия

Решение

Запишем плотность распределения выборки

1/2,	если [θ, 2 + θ],
θ( ) = {0,	если / [θ, 2 + θ].

Тогда функция правдоподобия равна

Ψ (θ) =	2	,	если все			[θ, 2 + θ],
Ψ (θ) =	{0,−		если хотя бы один					[θ, 2 + θ],		=
								̸
	2	,	если			,
=	{0−		иначе,	(1) θ			( )	2 + θ,	=
	2	,	если		2		,
=	{0−		иначе.	( ) −			θ	(1)

Функция правдоподобия постоянна на целом отрезке. Поэтому она достигает своего максимального значения 1/2 во всех точках θ, принадлежащих отрезку [ ( ) − 2, (1)], так что любая точка этого отрезка будет являться оценкой максимального правдоподобия:

^α = (1 − α)( ( ) − 2) + α (1), где α [0, 1],

В частности, оценками максимального правдоподобия являются

концы отрезка θ0	= ( ) − 2 и θ1 = (1).
^	^

Задача 3.13. Пусть элементы выборки 1, . . . , имеют распределение с плотностью

2 /θ2,	если [0, θ],
θ( ) = {0	если / [0, θ].

Найти оценку максимального правдоподобия ^ параметра > 0.

θ θ

58	Глава 3. Метод максимального правдоподобия

Решение

Функция правдоподобия имеет вид:

Ψ (θ) =		2 1 · . . . ·	,
		θ2
	0

		2 1 · . . . ·	,
=		θ2
	0

если 0 (1) . . . ( ) θ, =

иначе,

если θ ( ) и (1) 0, иначе.

Функция правдоподобия Ψ (θ) монотонно убывает в области θ ( ) и достигает своего наибольшего значения при θ = ( ).

Итак, ^ = ( ).

Задача 3.14. Найти оценку максимального правдоподобия параметра сдвига β R смещённого показательного распределения с плотностью

			β− ,	если β,
	β( ) = {0,			если < β.
Решение
Запишем функцию правдоподобия
Ψ (β) =			если все θ,				=
	=1 β− ,
	∏
	0,		если хотя бы один < θ,
	β−	,	если (1)	β,
					β−	,	если β (1),
=	{0,		если (1)	< β,	= {0,		если β > (1).

Глава 3. Метод максимального правдоподобия

Функция правдоподобия Ψ (β) монотонно возрастает в области β (1) и достигает своего наибольшего значения при β = (1), т. е.

^ = (1).

Задача 3.15. Пусть 1, . . . , — выборка из двухпараметрического показательного распределения с плотностью

α−1 −( −β)/α,	если β,
α,β( ) = {0,	если < β,

где α > 0, β R. Найти оценку максимального правдоподобия двумерного параметра (α, β).

Решение

Носитель распределения зависит от параметра β, поэтому функция правдоподобия имеет вид:

Ψ (α, β) =				−( −β)/α,				если все β,	=
Ψ (α, β) =	=1 α−1			−( −β)/α,				если все β,	=
		∏
	0,							если хотя бы один < β,
		1	( β		)/α
		1	( β		)/α
=				−		,	если β (1),
=		α		−		,	если β (1),
	0,						если β > (1).

При фиксированном α функция правдоподобия монотонно возрастает в области β (1). При всех β функция Ψ (α, β) непрерывно дифференцируема по α. Приравняем к нулю частную производную по α:

∂Ψ (α, β)

−

β−

( β

−

)/α

· α

− α

−

( β

−

)/α

α2

= 0,

α2

∂α

откуда находим оценки максимального правдоподобия:

^	и	^
β = (1)
		α = − (1).

60	Глава 3. Метод максимального правдоподобия

Задача 3.16. Пусть дана выборка из распределения Парето с параметрами β > 0 и θ > 0. Найти оценку максимального правдоподобия:

а) параметра β, если значение θ известно; б) параметра θ, если значение β известно; в) векторного параметра (β, θ).

Решение
Плотность распределения Парето выписана в задаче				. Най-
дём функцию правдоподобия:
Ψ (β, θ) = β θ β ·		)−β−1	· I( (1) θ).
Ψ (β, θ) = β θ β ·	( =1	)−β−1	· I( (1) θ).
	∏

а) Если значение параметра θ известно, то функция Ψ (β, θ), как

и (β, θ), непрерывно дифференцируема по β. Оценку β находим

из уравнения

∂ (β, θ)

∑

ln = 0.

∂β

= β + ln θ −

Отсюда β =

ln − ln θ

и, как нетрудно видеть, β — точка макси-

мума функции (β, θ).

б) Если значение параметра β известно, то функцию правдопо-

добия можно представить в следующем виде:

Ψ (β, θ) = β θ β ·

(

)

−β−1

, если θ (1),

∏

если θ > (1).

Видим, что функция Ψ

(

) переменной

монотонно возрастает в

области (1). Значит, ^ = (1).

θ θ

в) Из пп. а и б следует, что оценкой максимального правдоподобия векторного параметра (β, θ) является двумерная статистика

(1/(ln − ln θ), (1)).

<<< < Предыдущая 1 2 3 4 56 / 276 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 > Следующая >>>

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]