Билеты по математической статистике с ответами / Вопросы по ТВиМС [26-31]
.docНеравенство Рао-Крамера. Эффективные по Фишеру оценки.
Пусть X1…Xn – выборка из P ={Pθ: θ є ĤR} – семейство однопараметрическое, мера доминирующая семейство P: >> P с плотностями Pθ. Условие регулярности:
эксперимент (семейство) называется регулярным если:
-
Pθ непрерывно дифференцируема по
-
В условиях семейства допускается дифференцирование под знаком интеграла.
3. I() : I() (0,)
- функция правдоподобия
- информация Фишера (характеризует, насколько сильно различаются плотности возле точки параметра ).
С ростом количества наблюдений информация накапливается.
Свойства информации.
Теорема: Пусть имеются 2 независимых экспиремента:
P1 ={P1θ, θ є Ĥ} P2 ={P2θ, θ є Ĥ}
Рассмотрим экспиремент:
- т.е. 2 независимых эксперимента
Пусть оба они регулярны : и
Тогда эксперимент общий тоже регулярный, а
Док-во: Пусть исходные семейства были регулярны, тогда по св1 регулярности ρ1 и ρ2 , следовательно
Следовательно свойство 1 выполнено для ρ.
Свойство 2: Рассмотрим
Свойство 3: {сложение информации}Замечание: В условиях регулярного эксперимента ( log L =0
Неравенство Рао-Крамера (теорема).
Оценка δ – разрешенная, если .
{диф-ние под знаком интеграла}
Пусть - регулярный эксперимент, причем - информация Фишера и
- разрешенная оценка, b() = - -смещение оценки . Тогда и +
-дает нижнюю границу для оценки (нер-во Крамера)
Следствие: Если - несмещенная, то
Док-во: Отметим . Поскольку - разрешенная
1-е нер-во.
Т.к.
Значение информации в знаменателе характеризует информацию в исх. данных для того, чтобы оценить параметр
Когда бывает равенство в нер-ве Рао-Крамера?
Рав-во достигается в том и только в том случае
(*)
1. Рав-во Коши-Бун-ко, когда (*) пропорц-но x - const но зависит от парам-ра, принимает разные значения
(**) - однопараметрич. экспотенциальное семейство
Т.е. рав-во возможно в случае экспотенц. сем-ва
2. Из (**) берем
-
Пусть эксперимент регулярен и ; если это условие выполнено, тогда. Покажем
Оценка называется эффективной по Фишеру, если
a) - несмещенная {только в эксп.семействах}
b) -только для правельных пар-ров
Примеры вычисления информации и примеры эффективных оценок. Эффективность и метод максимального правдоподобия.
1. Пусть Х1…Хn ~ N(a,)
a) - известно. Вычислим информацию об а.
Информацию по всему эксперименту: I(a) = инфо. складывается (n незав.экспериментов) =
б) а – известно; ;
Пуассона:
Гамма:
Об эффективности: Х1…Хn ~ N(a,), - извест., ; - R-эффективна
б) а – известна;
{инфо о регулярных экспериментах}
Теорема: Пусть - R-эф.оценка для. Тогда - ОМП.
Док-во: Оценка R-эффективна - нек.функция. Если оценка R- эф., то при возведении в квадрат получим:
Асимптотически нормальные оценки. Асимптотическая эффективность по Фишеру. Пример (сравнение асимптотической эффективности двух оценок среднего по выборке из нормального распределения).
Эксперимент регулярный. (X, F, P) Рассмотрим асимп.нормальную оценку , т.е.
, где - последовательность оценок =
Будем говорить, что оценка асимптотически эффективна по Фишеру, если
{предельная дисперсия}. для несм.
- наилучшая оценка в асимпт.смысле – дисперсия.
Замечание об ОМП: Пусть эксперимент регулярен, дважды дифференцируем:
- ограничена ф-цией H(x)
. Тогда ОМП существует и 1) она состоятельна: ; 2) {сх-ть по распределению}
т.е асимптотически эффективна
Пример: Пусть х1…хn~N(a,), - известна;
ЗБЧ: - независимо от а
Сверхэффективность. Пример Ходжеса. Робастные оценки.
Теорема об асимптотич. поведения выборки:
Квантили ; ;
- относительная эф-ть; по отн. к
Пример: Пусть
- фиксир. число
(*) (**)
- фиксированное число, - ас. норм. оценка
При , при достаточно больших n * ** (при достаточно больших n)
При * (= с какого-то момента). При достаточно больших n ** =
= при =0
при достаточно больших n =
= при достаточно
маленьком ; Дисперсия может быть сколь угодно мала.
=Явление называется сверхэффективность
Вывод: Можно построить оценку в отдельной точке параметрического множества, которая имеет сколь угодно высокую асимптотическую эффективность только в одной единственной точке.
Робастые оценки.
Чистая модель: (сем-во ; Загрязнения ;
Считается, что теоретическое распределение имеет вид
=; т.е. смесь распределений или выпуклая комбинация
- близко к 1; (1-) – спетень загрязнения
Робастая оценка – оценка, имеющая достаточную эффективность в чистой модели и эффективность которой мало зависит от загрязнения
Пример: для нормального распредения N(a, ) при загрязнении распределением Коши : C(a,b); для нормального N(a, ) – оптимальна, в смеш. модели – не состоятельна. Более робастой оценки: (выборочной медианы ) или
{суммируется только средняя часть}
Постановка задачи доверительного оценивания. Простейший метод построения доверительных интервалов (без примеров).
До сих пор мы говорили о точечном оценивании параметров. Будем строить множество: пусть - статистический эксперимент. Доверительной оценкой параметра уровня значимости (или 1ровня доверия ) называется статистика Ĥ: , где С –некоторая совокупность подмножества Ĥ,
; мн-во, построенное по результатам наблюдений, кот. с вероятностью накрывает истинное значение параметра
Замечание: необходимо накладывать какое-либо ограничение на множество С. Пусть (одномерный параметр), С – совокупность интервалов
. В этом случае доверительная оценка - доверительный интервал.
Альтернативное определение: Доверительный интервал уровня значимости наз-ся пара статистик T1, T2 : ; .
Основные методы построения ДИ. Пусть удается найти функцию
а) Распределение не зависит от параметра
б) ,тогда - интервал
в) Распределение - известно, т.е. можно найти
Примеры построения доверительных интервалов для параметров нормального закона (случай одной и двух выборок).
Пример: Нормальное распределение. Пусть х1…хn – выборка из N(a,) распределения. Построить ДИ для а, если - неизв. Выберем , не зависящую от второго параметра.
Решение: . По лемме Фишера имеет распределение Стьюдента: . Выберем : (используя таблицу,
Находим . Т.о.
S-выб.дисперсия. ДИ
2. Строим ДИ для (а – неизв); по п.3 лемме Фишера:
. Очевидно, что , может быть выбраны неоднозначно. Решение Х2 {рисунок}
Длина ДИ характеризует точность оценки. В случае Стьюдента построенный доверительный интервал кратчайший. Для - более сложная задача, поэтому находят ДИ из условий ; . Решение задачи . {Если нет априорной информации, нужно брать 2-сторонний интервал, если есть – односторонний}
-
Пусть - независимые. - неизвестна (мешающий параметр). Построим ДИ для a-b. Согласно лемме Фишера:
Т.о.
По лемме Фишера п.3
ДИ: для параметра (a-b) {считается что задано}
Построим ДИ.
4. ДИ для
П.3 леммы Фишера : ; По замечанию к лемме Фишера получим - распределение Снедекора
- ДИ для
Примечание к примеру 3: мешающий параметр - одномерный, если , т.е. могут быть разные, т.е. мешающий – двумерный, то задача не решена, проблема Беренса-Фишера
{рисунок}
Доверительная оценка Ĥ называется состоятельной, если она стягивается в точку.
Если Ĥ- ДИ, то состоятельность равносильна тому, что .
В примерах 1-4 ДИ – состоятельные (т.к. в нормальных законах)
Пример5: Пусть x1…xn – выборка из ; - функция распределения х1. Пусть при фиксиров. х – монотонная функция от . Тогда в качестве . Отметим ; , где - функция распределения