Ответы к ГОСу / 12

12. Метод max-ного правдоподобия. Точечное и доверительное оценивание параметров гауссовского распределения.

Одна из основных з-ч мат. статистики – оценка неизвестных параметров распределения. З-ча возникает в тех случаях, когда ф-ция распределения генеральной совокупности X с точностью до параметра Ө (тетта) F_x (x,Ө).

опр.: точечной оценкой пар-тра Ө статистику Ө (x₁, x₂,…, x_n) (здесь Ө с крышкой) выборочного значения Ө (с крышкой) , которое для любой реализации (x₁, x₂,…, x_n) = x_n(с чертой сверху) – случайной выборки принимают за приближенное значение неизвестного параметра Ө.

Точечная оценка, значение которой Ө (с крышкой) задается одним числом.

Доверительным интервалом (интервальной оценкой) для Ө называют интервал ( Ө, Ө(с чертой сверху)), который покрывает истинное значение параметра Ө с доверительной вероятностью γ (гамма), где в статистике Ө(x_n) , Ө(с чертой сверху)(x_n) называют нижней и верхней границами интервальной оценки, определяют из условия P( Ө ≤ Ө ≤ Ө(с чертой сверху)) = γ.

Случайной выборкой V_n из генер. совокупности X называют совокупность независимых СВ X₁,..., X_n каждый из которых имеет тот же закон распределения, что и СВ X и записывается (X₁, X₂,..., X_n) = X_n(с чертой сверху).

Генер. совокупностью в мат. стат-ке наз-ют мн-во всех возможных СВ X.

Любое возможное значение случ. выборки наз-ют реализацией случ. выборки или выборкой V_n из генер. сов-сти X.

Мн-во возможных значений случ. выборки называют выборочным прост-вом X_n ≤ Rⁿ.

Статистикой в мат. статистике наз-ют любую ф-цию случ. выборки y(x₁, x₂,…, x_n), ее распределение как СВ наз-ют выборочным распределением, а значение на конкретной выборке y(x₁, x₂,…, x_n) называют выборочным значением.

Одним из наиболее универсальных методов оценивания параметров явл. метод max правдоподобия. Суть метода: Пусть распределение ген. сов-сти известно с точностью до параметра Ө и задается :

f (x, Ө) – ф-ция распределения плотности,

если X – непрер. СВ

p (x, Ө) =

P(X=x) – если X – ДСВ

Вводят в рассмотрение ф-ю правдоподобия случ. выборки: L (x₁, x₂,…, x_n, Ө) = П p(x_i , Ө ) (здесь П – знак произведения по i=1 до n)

По определению оценкой max правдоподобия параметра Ө наз-ют статистику Ө (x₁, x₂,…, x_n) значения Ө, которое для любой выборки (x₁, x₂,…, x_n) удовлетворяет условию:

L (x₁, x₂,…, x_n, Ө(с крышкой)) = max L (x₁, x₂,…, x_n, Ө)

Ө Є H

где H – мн-во всех возможных значений параметра Ө.

опр.: если ф-ция L (x₁, x₂,…, x_n, Ө) дифференцируема по Ө и max достигается во внутренней точке Ө Є H (Ө с крышкой) , то в этой точке д/ выполняться необходимое условие ext.

д L (x₁, x₂,…, x_n, Ө) = 0 – необходимое усл-е ext.

д Ө

Это усл-е записывается в виде:

д ln L (x₁, x₂,…, x_n, Ө) = 0

д Ө

Для логарифмической ф-ции правдоподобия учитывается, что при логарифмировании точка ext сохраняется, а ур-е как правило упрощается.

Если распределение СВ X зависит от нескольких параметров (Ө₁, Ө₂,...., Ө_k), то необходимые усл-я ext задаются системой ур-й :

д ln L = 0 эти ур-я называют ур-ями

д Ө₁ правдоподобия.

.

.

д ln L = 0

д Ө_k

Найдем этим методом оценки неизвестных параметров a,б > 0 нормально распределенной генер. сов-сти X~N(a,б), распределение которой задается ф-цией плотности:

f (x,a,б) = e (e в степени –(x-a)² / 2б²)

б √2П

Пусть x_n (c чертой сверху) (x₁, x₂,…, x_n) любая реализация случ. выборки ген. сов-сти X. Тогда учитывая вид ф-ции плотности норм-ного распределения f (x,a,б) ф-ция правдоподобия зап-ся:

L (x_n (с чертой сверху), Ө) = П f (x_i,a,б)

(П- произведение по i=1 до n)

ln L= ln П f (x_i,a,б) , преобразуем:

∑ ln [e/ б√2П] = ∑( -ln б – ln √2П – (x_i - a)² / 2б² ) – ф-я

правдоподобия

(сумма по i=1 до n, e в степени – (x_i - a)² / 2б²)

Система ур-й правдоподобия имеет вид:

д ln L = ∑ (x_i - a) = 1/ б² (∑x_i - ∑a) = 1/ б² (∑x_i - na)

д a б²

(везде ∑ по i=1 до n)

д ln L = ∑ (-1/б + (x_i - a)²/б³) = - n/ б +∑(x_i - a)²/б³

д б

(два последних ур-я в фигурной скобке)

д ln L = 1/ б² (∑x_i - na) (1)

д a

(везде ∑ по i=1 до n)

д ln L = - n/ б +∑(x_i - a)²/б³ = 0 (2)

д б

Решая систему ур-й правдоподобия, находим:

из (1) => a (с крышкой)=∑x_i / n = x (с чертой сверху)

из (2) => б²(с крышкой)= ∑(x_i – a(с крышкой))²/n = ∑ (x_i – x(с чертой сверху))²/ n => б(с крышкой)= √б²(с крышкой)

Т.обр. оценками правдоподобия a=Mx и б²=Dx СВ X распределенной по норм. з-ну являются:

a (с крышкой)( x₁, x₂,…, x_n)= x (с чертой сверху)= ∑ x_i / n

б²(с крышкой)( x₁, x₂,…, x_n)= ∑(x_i – x(с чертой сверху))²/n

Рассмотрим построение интервалов оценки для параметра a при известном б по случ . выборке x_n (с чертой сверху) из генерал. сов-сти X~ N(a,б). В этом случае СВ X(с чертой сверху)=∑ x_i / n имеет норм. з-н распределения N(a, б/√n). А СВ U= (x(с чертой сверху)-a) / б /√n имеет стандарт. норм. з-н распределения.

Интервальную оценку (Ө , Ө(с чертой сверху)), учитывая симметричность распределения СВ U, найдем в виде симметр. относительно точечной оценки a (с крышкой)( x₁, x₂,…, x_n)= x неизвестного параметра a.

Интервал (x(с чертой сверху)- ∆ ,x(с чертой сверху)+ ∆) , где ∆-точность опр-ся из усл-я:

P(│x(с чертой сверху)- a│< ∆) = γ (3) , где γ – доверительная вероятность.

Учитывая, что СВ U= (x(с чертой сверху)-a) / б /√n ~ N(0,1)

P(│x(с чертой сверху)- a│< ∆) = P(│U│<∆/ б /√n) = (*)

Заметка:

P(α<x<β)=F(β)-F(α)=Ф((β-a)/б) – Ф((α-a)/б) Если X~ N(a,б) , то:

Ф(x) = (интеграл от -∞ до x) e dt /√2П (e в степени –t²/2)

Ф(-x) = 1- Ф(x)

(*продолжаем) = Ф(∆/ б /√n) - Ф(-∆/ б /√n)= =2Ф(∆/ б /√n ) -1

2Ф(∆/ б /√n ) -1 = γ (4)

Ф(∆/ б /√n ) = (1+γ) / 2

∆ - ?

Из (4) => пусть U_γ = ∆/ б /√n, где Ф (U_γ ) = (1+ γ)/2 , тогда

∆ = U_γ * б /√n

Интервальной оценкой неизвестного параметра будет интервал:

(x(с чертой сверху) -U_γ* б/√n, x(с чертой сверху)+ U_γ*б /√n), где U_γ : Ф(U_γ) = (1+ γ)/2.