7)Регулярный эксперимент. Информация Фишера.Св-ва. Теорема о рег-ти прямого произв.Регулярн. Экспериментов

Пусть x1..xn выборкаиз P(ро)={Pθ :θ€ΘcR}-сем-во однопарам, существ мера μ доминирующая сем-во P(ро) μ>>P(ро) с плотностями Pθ условие регулярности :

Эксперимент (сем-во) наз-ся реулярным если1) Pθ непрерывно дифф-мо по θ 2) В условиях сем-ва допускаются диффер-ное под знаком ∫ :

∂\∂θ∫Pθ(x~)μ(dx)=∫∂Pθ(x~)/∂θ*μ(dx)=0 3) Существ I(θ): I(θ)€(0..∞) ; I(θ)=∫[(Pθ’(x~))²/Pθ(x) ]*μ(dx)=∫(Pθ’(x)/Pθ(x))²*Pθ(x)

[pθ’(x)=pθ(x)/∂θ] ; μ(dx)=Eθ[(lnpθ(x~))’]² ;pθ(x~)=L(x¬,θ)-ф-ция правдоп.

8) Выборка из нормального распределения. Представление Хи-квадрат распределения с помощью нормальных. Распределение Стьюдента. Распределение Фишера-Снедекора.

Пусть выборка из N(0, 1).

Введем некоторые распределения , используемые в матстатистике.

Рассмотрим случайную величину . Говорят что имеет -распределение(или распределение Пирсона ) с n степенями свободы. Плотность распределения величины имеет вид

где - гамма – функция Эйлера, определяемая равенством

Семейство -распределение является подмножеством двухпараметрического семейства гамма-распределений Г(b,p), p,b 0, с плотностями

При b=1/2, p=n/2, n N. Известное свойство , что сумма двух независимых гамма-распределений Г(b,p) и Г(b,q) снова имеет гамма-распределение Г(b,p+q) , здесь следует непосредственно из представления в виде суммы квадратов незвис нормальных величин.

Пусть сл. в. Y независима от . Рассмотрим случайную вел-ну Распределение величины T_n называется распределением Стьюдента с n степенями свободы. Соответствующая плотность распределения имеет вид

Отметим , что плотность распределения Стьюдента симметрична относительно нуля.

Распределения Фишера-Снедекора F(n₁,n₂) определяется как распределение сл. в. независимы и распределены как и . Плотность распределения Фишера- Снедекора представляется в виде

9)Постановка задачи доверительного оценивания. Простейший метод построения доверительных интервалов (без примеров).

До сих пор мы говорили о точечном оценивании параметров. Будем строить множество: пусть - статистический эксперимент. Доверительной оценкой параметра уровня значимости (или 1ровня доверия ) называется статистика Ĥ: , где С –некоторая совокупность подмножества Ĥ,

; мн-во, построенное по результатам наблюдений, кот. с вероятностью накрывает истинное значение параметра

Замечание: необходимо накладывать какое-либо ограничение на множество С. Пусть (одномерный параметр), С – совокупность интервалов

. В этом случае доверительная оценка - доверительный интервал.

Альтернативное определение: Доверительный интервал уровня значимости наз-ся пара статистик T₁, T₂ : ; .

Основные методы построения ДИ. Пусть удается найти функцию

а) Распределение не зависит от параметра

б) ,тогда - интервал

в) Распределение - известно, т.е. можно найти

10)Асимптотические доверительные интервалы. Построение асимптотических доверительных итервалов на базе асимптотически нормальной оценки параметра. Пример (распределение Бернулли, три подхода и связь между ними).

Определение: Послед-ть областей

- ас.д.область уровня α для θ,

если

Если - ас.д.и.

Замечание:

если - ас.д.и.ур.α

Способ построения:

Найти , т.ч.

а)

б)

Построение ас.д.и. на базе ас.норм.оценки

Пусть δ – ас.норм.оценки, т.е.

т.е.

Пусть

Если удастся выразить θ из

то находим д.и. в противном случае

Пусть δк(θ) – состоят. оценка для δ(θ)

(δ(θ)0) тогда

11)Постановка задачи проверки статистических гипотез. Понятие статистической гипотезы, вероятностей ошибок 1-го и 2-го рода, критерия, доверительной, критической области и области сомнений, мощности критерия. Выражение вероятностей ошибок в терминах критерия.

Статистическая гипотеза

Гипотеза – утверждение

Опред: Стат. гипотеза – утверждение о значении пар-ра θ.

Стат. гипотеза м.б. записана в виде

Опред: стат. гипотеза простая, если - одноточечное.

В прот. случае стат. гип. – сложная

Задача: Выдвигается основная гип. и альтернативная (несколько)

По результатам наблюдений надо выбрать Н₀ или Н₁

Правило выбора – критерий.

Опред: Критерий

Значение вероятность отвергнуть осн. гипотезу по результатам наблюдений

Согласно критерию область разбивается на 3 части:

Доверит.

Обл. сомнений

Критическая область

Опред: Критерий  - нерандомизированный, если (Х)={0,1}(или Р_θ((Х) (0,1))=0 θ)

В противном случае  - рандомизированный.

Классический подход Пирсона

В результате решения задачи ПСГ могут возникнуть следующие ситуации

	Принять Н0	Принять Н1
Верна Н0	+ (верное реш.)	ошибка 1 рода
Верна Н1	ошибка 2 рода	+

Ошибка 1 рода наиболее нежелательна. Вероятность ошибки 1 рода д.б. ограниченна некоторым числом α. α – уровень значимости критерия.

Р_θ(ош. 1 рода) α, θΘ₀ , Р_θ(ош. 1 рода)=

Ошибка 2 рода:

Р(ош. 2 рода)=

- мощность критерия

Задача: Найти критерий , такой что

если эта задача имеет решение *, то *-равномерно наиболее мощный (РНМ) критерий

РНМ критерий не всегда существует.

12)Различные постановки задач проверки статистических гипотез. Задачи проверки согласия, однородности, независимости, случайности. Основной метод построения критериев значимости. Альтернативы и различимость.

При анализе различных типов данных возможны различные постановки задач.

Проверка согласия.

Тип данных:

а) однородные – выборка

б) неоднородные – со связями (регрессионная модель)

Гипотеза согласия:

Задача проверки гипотезы согласия в указанной модели – задача проверки согласия (обычно используется ранговый критерий)

Проверка однородности:

Тип данных :

Две (несколько) выборок ~F, ~G

( ) – независимы

Гипотеза однородности:

(т.е. X₁ и Y₁ имеют одинаковое распределение)

Проверка независимости:

Тип данных:

Выборка из k-мерного распределения с функцией распределения F=F(x₁…x_n), F_i – распределение компонент.

Гипотеза независимости:

- это задача проверки независимости.

Проверка случайности:

х₁,…,х_n – какие-то наблюдения (не обязательно независимые, но обязательно одинаово распределенные)

Гипотеза случайности:

Θ – множество всех распределений

Θ₀ – множество распределений с независимыми и одинаово распределенными компонентами.

Альтернативы и различимость:

Например:

- при альтернативе

Как можно их точно различить?

При фиксированном количестве данных нельзя (!) сказать, что H₀ верна с какой-либо вероятностью (т.к. близкие параметры не различимы). При определенных условиях регулярности граница различимости О(1/ )

, n- число данных

Если не рассматривать альтернативу, то критерии, решающие задачи без альтернативы, наз-ся критерий значимости.

Проверка значимости

Ответ: Н₀ отвергается на уровне α либо Данные не противоречат Н₀.

Методы построения критерия значимости

Пусть

- основная гипотеза.

Задача- построить критерий значимости уровня α.

Статистика критерия .

а) - не зависит от параметра при .

б) распределение не зависит от параметра при (если (б) сохраняется и при , то такой критерий бессмысленен).

Распределение известно (напр. ф.р. - G(x)).

Тогда нерандомизованный критерий строиться:

Возможен асимптотический подход.

40. Проверка гипотез о параметрах нормального распределения.

На примере критерия Стьюдента.

1)Данные - выборка из . - неизв.

Задача параметрическая.

Гипотеза: а=а₀ (сложная гипотеза, т.к. σ неизвестно).

Критерий Стьюдента:

Статистика критерия .

- не зависит от мешающего параметра.

При θ= (Н₀)

- не зависит от θ.

Распределение ~S_n-1

Распределение Стьюдента симметрично

Принимаем гипотезу, если она попала в интервал (<t_α), иначе отвергаем.

2) 2 выборки. По двум выборкам обычно выбирается с одинаковыми дисперсиями. Надо построить статистику для проверки гипотезы однородности.

13)Задача проверки простой гипотезы при простой альтернативе. Лемма Неймана-Пирсона. Примеры наиболее мощных критериев.

Пусть Н₀: θ=θ₀ – простая гипотеза. Рассмотрим задачу проверки Н₀ при альтернативе:

Н₁: θ=θ₁ - простая (т.е. Θ={θ₀,θ₁}). Замечание: Поскольку альт. – простая, то РАМ критерий, если называть Н.М. Пусть

μ – мера доминирующая сем.

Например: ; (μ – мера Лебега или считающая мера, если возможно) Функция правдоподобия:

Введем статистику отношения правдоподобия:

Замечание: 1) Не зависит от выбора доминирующей меры

2) Если =0 или =, то выбор очевиден.

Лемма Неймана-Пирсона

В задаче проверки Н₀: θ=θ₀ при альтернативе Н₁: θ=θ₁, существует наиболее мощный критерий уровня значимости α, он строится следующим образом:

р[0,1)

Причем С выбирается следующим образом:

Замечание: 1) Если >0, то р выбирается однозначно и

2) Если =0  не важно значение р – критерий не рандомизированный.

Дополнение: Критерий  определяется однозначно на множестве

Если критерий есть функция от МДС, то он есть и единственный.

Доказательство: Перепишем критерий в виде:

Пусть имеется другой критерий, у которого тот же уровень значимости,

т.е.

=

= |*С и вычтем из

В свою очередь мощность критерия:

Дополнение: Можно показать, что на S+ и S- Н. М. критерий определяется однозначно с







15)Критерий хи-квадрат для проверки простой гипотезы согласия.

Разбивается вся вещественная прямая на зоны.

Ø, I_i - интервал

Данные группируются (гистограмма)

n_i – число наблюдений в i-й зоне

I_i – зона

Проверка:

H₀ : F=F₀ (простая гипотеза)

n_i можно назвать частотами, n_i – выборочные вероятности .

При справедливости H₀ рассмотрим теоретические вероятности

- теоретические вероятности попадания в зону.

Статистика критерия

Предельное распределение

X

Рассмотрим случайный вектор (n₁…n_r) имеет мультиномиальное распределение

Матрица ковариации

Известно, что, если X~N_k(0,D)

X^TD^-1X~

Критерий (ас.)

43. Критерий хи-квадрат для проверки сложной параметрической гипотезы согласия.

, ,

Например: x₁…x_n~N(a,σ²)

H₀ : a=a₀

dimΘ₀=1

Возможны

H₀ :x₁~N(a,σ²), a,σ² – неизв.

dimΘ₀=2

Поставим задачу проверки значимости

n_i – частоты

p_i(θ) – зависит от θ

-не является статистикой даже при Н₀

I. Мультиномиальное ОМП

n_i~мульт.распр-е (p₁(θ),…, p_n(θ))

Мульт. функция правдоподобия

Если p_i – дифф-мы

Решая это уравнение, получиться оценка (мультиномиальная) ОМП

! Нельзя использовать ОМП по не группированным данным.

Пусть - мультиномиальное ОМП

Выберем статистику

критерия для сложной гипотезы

II.

Утверждение: пусть p(θ) – дважды дифф. по θ.

Матрица имеет ранг m –полный ранг, тогда ~ и

16)Критерий согласия Колмагорова.

Пусть х₁…х_n – выборка из непрерывного распределения в ф.р. F – полностью неизв. F₀ – фиксированная ф.р.

(простая гипотеза согласия, но не параметрическая, т.к. ф-я многомерная).

Критерий Колмогорова:

Статистика критерия: , F_n(x) – выборочная (эмпирическая) ф.р.

Асимптотический критерий , , К – ф.р. Колмогорова.

Для вычисления D_n достаточно вычислить , , , .

Вар.ряд X(1) X(2)

F0(Xi)

|| A

|| B

max(A,B) || C

17)Постановка задач линейной регрессии. Метод наименьших квадратов. Геометрическая интерпретация. Оценка по методу наименьших квадратов. Примеры.

Линейная регрессия.

Модель:

Y₁,…,Y_n – независимые (некоррелированные) наблюдения

Пусть предполагается, что справедлива следующая модель .

- наблюдения (отклики), X’ – n*m –матрица (известны, характеризуют условия проверки эксперимента). Отклики линейно зависят от условий через параметр β. β – неизвестный параметр = . -ошибка (шумы).

Основные предположения:

а)

б)

- мешающий параметр – неизвестен.

В условиях (а), (б) EY=X’β.

Задача точечного оценивания – построить оценки параметра β при мешающем параметре .

Оценка по методу наименьших квадратов (МНК)

, где норма

Примеры:

1) Измерительный прибор

/некор. О.Р.С.В./

Прямая на плоскости . - хар-ка процесса.

В матричной форме - нормальные уравнения. Если rk(XX^T)=m (т.е. rkX=m), то матрица будет обратимой , получаем -оценка по МНК.

Геометрическая интерпретация:

– i-я строка матрицы X’, то .

_.

_- столбец. -расстояние между элементами Y и X’b.

Вывод: решение существует.

18)Функции параметра, допускающие несмещенную оценку (ДНО). Теорема Гаусса-Маркова.

Определение: линейная функция параметра называется ДНО - функцией, если существует такая матрица А – матрица оценки, т.ч. .

Лемма: Сβ – ДНО матрица S: С=SX’

Док-во: Сβ – ДНО , . Ч.т.д.

Теорема (Гаусса-Маркова): Пусть - ДНО – функция. Тогда несмещенная оценка . , т.ч. С=AX’ (т.е. столбцы С – элементы V_m). Данная оценка – оценка по МНК. Пусть - другая лин. несм.оценка, тогда (т.е. - НРМД оценка в классе линейных оценок).