7.Методы построения статистических оценок. Метод максимального правдоподобия и метод моментов. Примеры.

Метод моментов построения статистических оценок. Примеры:

Пусть Х₁,…,Х_n –выборка из распеределения с начальными r моментами i порядка:

Они являются функциями от неизвестных параметров .

Начальные выборочные моменты i порядка .

Тогда метод моменов состоит в приравнивании выборочных и теоретических моментов одного порядка:

, где r – выбирается сообразно тому, сколько нбх уравнений для существования и единственности решения, обычно

Примеры.

1) распределение Бернулли

- теоретич. момент

- выборочный момент

Уравнение методом моментов:

- оценка методом моментов (ММ)

2) распределение Лапласа DE(a,b)

теор. момент 1 порядка

теор момент 2 порядка

выбор. моменты 1 и 2 порядка

Уравнение ММ:

Оценки ММ:

Метод максимального правдоподобия. Примеры:

Понятие правдоподобия позволяет сравнивать вероятносные шансы тех или иных исходов эксперимента при различных значениях параметра .

В рез-те эксперимента поступает более точная информация, тогда прикаждом фикс. Значении естественно сравнивать достоверности исходов через значение плотности ( или производной Радона-Никодима) относительно некоторой домин. меры.

Пусть - семейство вероятностных мер, доминирующих некоторой мерой .

(если величины имеют абс. непрер. распределение, то мера Лебега,

если дискретное – можно выбрать считающую меру на мн-ве возможных значений результата эксперимента)

- плотность распределения.

Функция правдоподобия является плотностью распределения случайного вектора :

Опр-е

Оценка - называется оценкой правдоподобия, если для каждого из выборочного пространства

Пусть Х₁,…,Х_n - выборка из одномерного семейства <<

- плотность

Выбираем , т.е.

и

функция правдоподобия

Идея метода макс. правдоподобия состоит в отыскании значения , максимизирующее правдоподобие, т.е.

В силу монотонности логарифма задача сводиться к максимизации логарифма правдоподобия.

И далее нахождения max:

Примеры.

1) распределение Бернулли

Х₁,…,Х_n ~ Bi(1,p)

- считающая мера на Z

Функция правд-я

- оценка макс. правдоподобия

2)нормальное распределение Х₁,…,Х_n ~ N(a,b),

решаем уравнение

8. Регулярный эксперимент. Информация Фишера. Неравенство Рао-Крамера. Эффективные по Фишеру оценки.

Регулярный эксперимент:

Пусть x1..xn выборкаиз P(ро)={Pθ :θ€ΘcR}-сем-во однопарам, существ мера μ доминирующая сем-во P(ро) μ>>P(ро) с плотностями Pθ условие регулярности :

Эксперимент (сем-во) наз-ся реулярным если1) Pθ непрерывно дифф-мо по θ 2) В условиях сем-ва допускаются диффер-ное под знаком ∫ :

∂\∂θ∫Pθ(x~)μ(dx)=∫∂Pθ(x~)/∂θ*μ(dx)=0 3) Существ I(θ): I(θ)€(0..∞) ; I(θ)=∫[(Pθ’(x~))²/Pθ(x)]*μ(dx)=∫(Pθ’(x)/Pθ(x))²*Pθ(x)

[pθ’(x)=pθ(x)/∂θ] ; μ(dx)=Eθ[(lnpθ(x~))’]² ;pθ(x~)=L(x¬,θ)-ф-ция правдоп. I(θ)-информ Фишера[характеризует наск-ко сильно различаются плотности возле (.)-ки пар-ра θ] С ростом кол-ва наблюдений инфор-ция накапливается

Неравенство Рао-Крамера. Эффективные по Фишеру оценки.

Пусть X_1…X_n – выборка из P ={P_θ: θ є Ĥ R} – семейство однопараметрическое, мера доминирующая семейство P: >> P с плотностями P_θ. Условие регулярности:

эксперимент (семейство) называется регулярным если:

P_θ непрерывно дифференцируема по

В условиях семейства допускается дифференцирование под знаком интеграла.

3. I( ) : I( ) (0, )

- функция правдоподобия

- информация Фишера (характеризует, насколько сильно различаются плотности возле точки параметра ).

С ростом количества наблюдений информация накапливается.

Свойства информации.

Теорема: Пусть имеются 2 независимых экспиремента:

P₁ ={P_1θ, θ є Ĥ} P₂ ={P_2θ, θ є Ĥ}

Рассмотрим экспиремент:

- т.е. 2 независимых эксперимента

Пусть оба они регулярны : и

Тогда эксперимент общий тоже регулярный, а

Док-во: Пусть исходные семейства были регулярны, тогда по св1 регулярности ρ₁ и ρ₂ , следовательно

Следовательно свойство 1 выполнено для ρ.

Свойство 2: Рассмотрим

Свойство 3: {сложение информации} Замечание: В условиях регулярного эксперимента ( log L =0

Неравенство Рао-Крамера (теорема).

Оценка δ – разрешенная, если .

{диф-ние под знаком интеграла}

Пусть - регулярный эксперимент, причем - информация Фишера и

- разрешенная оценка, b( ) = - -смещение оценки . Тогда и +

-дает нижнюю границу для оценки (нер-во Крамера)

Следствие: Если - несмещенная, то

Док-во: Отметим . Поскольку - разрешенная

1-е нер-во.

Т.к.

Значение информации в знаменателе характеризует информацию в исх. данных для того, чтобы оценить параметр

Когда бывает равенство в нер-ве Рао-Крамера?

Рав-во достигается в том и только в том случае

(*)

1. Рав-во Коши-Бун-ко, когда (*) пропорц-но x - const но зависит от парам-ра, принимает разные значения

(**) - однопараметрич. экспотенциальное семейство

Т.е. рав-во возможно в случае экспотенц. сем-ва

2. Из (**) берем

Пусть эксперимент регулярен и ; если это условие выполнено, тогда . Покажем

Оценка называется эффективной по Фишеру, если

a) - несмещенная {только в эксп.семействах}

b) -только для правельных пар-ров