Билеты по математической статистике с ответами / Вопросы по ТВиМС (22-25)

№22.1минимальные дост.стат.Теорема о конечных сем. Теорема о вложенных сем.

Опред:Дост .стат.U(x¬) наз-ся миним.если для любой другой ДС существует ф-я f: т ч U(x¬)=f(T(x¬)) или дс лучше дает редукцию данных (\\примеч Σ _i(1..n)xi лучше чем Σ _i(1..n/2)xi+Σ _i(n/2+1...n)xi \\x¬,Σ xi-мин дс)

Опред:Сем-во распределений пл-ть кот-го (относ-но доминир.меры μ) выр-ся в виде:

P_θ(x¬) =h(x¬)*exp(-Σi(1.k) ηi(Ti(x¬),θi + a(θ)),

где Ti:X→R-функции(статистики);η-изв.ф-и; a:Θ→IR-извест.;η:X*Θ→R при ΘcR^a

-наз-ся экспоненц. сем-вом

Теорема:(о конечномер. сем-вах)Пусть

Р(буква ро) = {Pθi,i=0,1,2..k} Пусть μ такая ,что μ>>Pθi,для всех i (пример μ=Σ1..kP_θi).Пусть P_θ1(x)=dP_θi /dμ,P_θi имеет общий носитель. Тогда мин. ДС для этого сем-ва будет

(T1,..,Tk) =(Pθ1 /Pθ0,..,Pθk / Pθ0)-мин. Дс для P

Док-во: Pθ(x)=gθ(T(x))h(x) ;θ₀,θi-фикс. Pθi(x)= Ti(x)* Pθ0(x) ( где θ₀- фикс и h(x) от θ не зависит ;Ti(x) это gθi(T(x)); Pθ0(x)=h(x)). T1(x)-Дс надо показать что она мин-на. Пусть U-дс.Тогда Pθ(x) выражается в виде: pθ(x)=gθ*(U(x))h*(x),для всех θ.В частности

Ti(x¬)=Pθ1(x)/Pθ0(x)=(gθi*(U(x))/gθ0*(U(x))* (h*(x)/h*(x)) = f_θi(U(x)) (Tвыражается ч-з U →T-мини-на) fθi(U(x)) = (g_θi*(U(x))/ g_θ0*(U(x))→T миним (и т д)

Лемма(о влож. сем-вах): P₀(буква ро)сP(буква ро),T-мин Дс для P0(ро) ,T- дс для P(ро) =>T мин дс для P

Док-во:Пусть U- дс для P(ро) =>U-дс для P0(ро), но T- мин дс для P0(ро) => существ.f: T=f(u). Поскольку T дс для P(ро),то T-мин дс для P.

№23.1Теорема о мин. дост. стат-ке однопарам экспон сем-ва

ПустьP-экс сем-во ,т е P(ро)={Pθi,θ €Θ},P(ро)<<μ и плотности

(*) P_θ(x¬)=h(x¬)*exp(-Σi(1.k) ηi(Ti(x¬),θi + a(θ)), Пусть P(ро)-имеет полный ранг, т е {(η1(θ),..,ηk(θ)),θ € Θ}содержится в I и {объем параллелипипеда V(I) не равен 0 }(нужно k лин нез векторов) Тогда статистика (T1,..Tk)- мин дс для P(ро)

Док-во: Из (*) => по теореме факториз-ии T- дс Покажем что она мин-на Выберем подсем-во P0(ро)={Pθi,i=0,1,k} (ηi(θ₁)*ηi(θ₀) ,.., ηi(θk)*ηi(θ₀)) i=1..k –лин нез вект;

(Pθ1(x) / Pθ0(x),...., Pθk(x) / Pθ0(x))-мин дс

Pθj(x) / Pθ0(x) = exp(Σ(ηi(θj)-ηi(θ0))Ti(X¬));

U=>(Σ(ηi(θ1)-ηi(θ0))Ti(X)… (Σ(ηi(θk)ηi(θ0))Ti(X)))- МДС

T= (T1..Tk) U=A(T)^T-МДС, где матрица A строится след образ:

(η1(θ1)-η1(θ0), η2(θ1)-η2(θ0)… ηk(θ1)-ηk(θ0) )

A=( ………………………………………………...)

(η1(θk)-η1(θ0), η2(θk)-η2(θ0)… ηk(θk)-ηk(θ0))

=>|A|не равна 0 =>(A^-1AT)= (T)-Мдс

№22.2 Полные Дс и подчиненные статистики.Теорема Басу Теор о полноте минимальной Дс.однопарам экспонен. сем-ва

Опред:Статис U – подчиненная для P(ро)={Pθi,θ € Θ},если Pθ(U€A) =P(U €A) не зависит от θ, A-любое борелев мн-во \\Это значит что распред U не зависит от θ

Замеч:Статис U не несет инфо о пар-ре θ, т к все одинаково для любых θ

Опред:Статист U-подчиненная 1-го порядка если Eθ(U)=E(U) не зависит от θ

Опред:Статист T –полная , если Eθg(T(x))=0, для всех θ € Θ =>g(T(x))=0 с вер 1 (никакая ф-я отДс не явл подчиненной 1-го порядка причем g-произв ф-я)

Теорема:(Басу)Пусть T-Пдс, U- подчиненная ст-ка Тогда:T и U- независимы.

Док-во: ηа(θ)= Pθ(U€A|T=s)=\\T-Дс\\p(u €A|T) (\U€A =E(индик { U€A }|T=s \)

(\g(T(x¬))=(EИндик.{U€A}|T-η*(A)=> g(T(x¬))=0 пн=> P(U€A|T) = P(U€A)\)

;Eθ(Eиндик{U€A}|T)=Eθиндик{U€A}=Pθ(U€A) = P(U€A)=η*(A)=const

=Eθ(Eиндик{U€A} |T-η*(A))=0 (т к (Eиндик{U€A}|T-η*(A))→g(T(x)))

Замеч:если T-ПДС, то T-мин

Теорема:(о полн мдс однопар эксп сем-ва) Пусть P(ро)- экспон сем-во полн. ранга (T1(X¬),..,Tn(X¬) –мин дс, тогда (T1(X¬),..,Tn(X¬)-Пдс

№23.2Оценивание с помощью Д с.Теорема Рао-Блэкуэлла-Колмогорова. Теорема Лемана-Шеффе.

Теорема:(Рао-Б-Колм) Существ δ(x¬)-оценка для θ,ф-ия потерь W(δ,θ) выпукла (вниз) по δ(симметрично) Rδ(x¬)-соотв-но риск и Пусть T(x¬)- достаточная статистика Выберем δ*(x)=Eθ(δ(x¬)|T) =E(δ(x¬)|T)(не зав отθ Тогда Rδ*(θ)<=Rδ(θ) Если W(δ,θ)-строго выпукла вниз, то Rδ*(θ)=Rδ(θ)=>δ*(x¬)=δ(x¬)

Док-во:Рассм ф-ю потерь W(δ,θ) \\нер-во Йенсена: если g–выпукла вниз ,то E(g(x)|a)=>g(E(x|a)) \\W(δ*,θ)=W(E(δ|T),θ) <= E(W(δ,θ|T) (E(матож) не завист от θ) Тогда Rδ*(θ)Eθ(W(δ*,θ))<=Eθ(eθ(W(δ,θ)|T)

[δ*-оценка T-Дс, W(δ*,θ)-выпукла δ(x¬)=Eθ(δ*|T)=E(δ*|T) Rδ(θ)<=Rδ*(θ) для всех x] Если W-строго выпукла (=>)

либо существ θ :Rδ(θ)<Rδ*(θ)

либо δ=δ* -с вер-тью Pθ равной 1.

Опред:Оценка δ € l недопустимая оценка если существ δ*€ l Rδ*(θ)<=Rδ(θ), для всех θ;сущест θ:Rδ*(θ)<Rδ(θ) Остальные оценки допустимы

Замеч:1)Допустимые оценки в достаточно широком классе l функции от Дс [Т о для нахождения оценок нужны Дс]

2)Пусть bδ(θ)-смещение оценки δ Оценка δ* и δ-обладают св-вом δ(θ)=bδ*(θ), δ*=Eθ(δ|T)

3)Наилучшее несмещенные оценки-это ф-ии от Дс

Теорема:(Лемана-Шеффе)Пусть T-полная Дс и δ-несмещенная оц, завис-я от пдс δ1(T(x¬)) и δ2(T(X¬)) –несмещ оц пар-ра p0θ (или g(θ))Тогда Pθ(δ1(T(x¬)))=δ2(T(x¬))=1 (т.е δ1 и δ2 совпадают)

Док-во Поскольку δ1 и δ2- несмещенные то Eθ(δ1(T(x¬))= Eθδ2(T(x¬)) для любых θ (=>) Eθ(δ1(T(x¬))-δ2(T(x¬)))=0 Т.к T-Пдс

δ1(T)-δ2(T)=0 с вер 1 Pθ(=>) они совпадают итд

№24Построение НРМД-оценок на базе полной ДС.Примеры.

1)Найти Дс 2)Проверить полноту(если получится)3)Построить δ-несмещ оц как ф-ю от Пдс (если получится) (=>)δ-нрмд-оценка[для предвар построения оц как ф-ии Мдс мы использ метод мах правдоп]

Примеры:1)Тк в силу теоремыфакториз-ии Омп –это ф-ция от Мдс x1,..xn~N(a,δ^2)Построить Нрмд-оценку для пар-ра a

а)для θ=a, δ^2-неизвестно.По теореме от Пдс для эксп cем-в (x¬,s^2)- пдс для N(a,δ^2) ; Ex¬=a (=>) (x¬=f(x¬,s^2) / x¬-несмещ) => x¬- нрмд-оценка

б)Для θ=δ², a-неизв (x¬,s²)-Пдс

[E(_a,δ^2)S²=n-1/n*δ²,E_θδ(x)=θ]

? δ^2=E_(a,δ^2)S’^2=E_(a,δ^2)((n/n-1)*S^2)→S’^2-Нрмд для δ^2

в)θ=δ^r,r любое число >0 ПДС= (x¬,s^2) Лемма Фишера nS^2/δ^2 ~ χ^2(n-1)=Γ(1/2,n-1/2) E_(a,δ^2)(nS^2/δ^2)^(r/2)=E(χ^{^2}_n-1)^r/2= 2^(r/2)*

*(Γ((r+n-1)/2)/Γ((n-1)/2)(=>) E(Γ[(n-1)/2]/

/(Γ[(r+n-1)/2]*2^(r/2))*S^r) =δ^r (=>)

[Γ((n-1/2) / Γ((r+n-1)/2)]* S^r-н о для δ^r (=> ) Нрмд

[ Пусть ξ имеет Γ(α,P)- распред

Eξ^β=∫{-∞;∞}[x^βα^px^p-1 e^-αx]/Γ(p)dx =

∫{0;∞}[x ^β+p-1*α ^β+p-1/α^βΓ(p)*e^-αx]dx= Γ(β+p)/Γ(p)*1/α^β ]

2)x1..xn- выборка из распред пуассона

a)θ=λ qλ(k)=(λk/k!)*e-λ Омп-δ(x¬)=x¬; (1/n)Σxi=Eλx1=λ , x¬-Нрмд оценка

б)θ=λ² ;Омп=(x¬)² ; Пдс=(x¬); Eλ(x¬)²=D(x¬)+(E(x¬))²=(λ/n)+λ²=λ((1/n)+λ) ; (λ~²)-несм оц для λ ; (λ~²)= (x¬)²-x¬/n ;

E((x¬)² -x¬/n) = E(x¬)²-Ex¬/n=λ² ;((x¬)²-x¬/n)-Нрмд оценка

3)x1..xn-выборка из U(a,b) ; Pa,b(x)={1/(b-a),

x€[a,b];0,x¢[a,b]}

a)a=0 θ=b Омп b~=max(x1..xn)=x_(n) ;Пдс x_(n) E_bX_(n)=∫{0..b}x*d(xⁿ)/bⁿ =∫{0..b}(n*xⁿ/bⁿ)dx =(n/n+1)*b (=>) (n+1/n)*x_(n) –Нрмд [тк F_x(n) (x) =(F_x1(x))ⁿ-ф-ия распред максимума]

б)двухпараметрическое1)θ=a b-неизв 2)θ=b a-неизв

4)Гамма распр Pα,p(x)=α^pX^p-1e^-αx/Γ(p),x>0

a)θ=p^α, p-известно Омп logL(x¬,

α)=-nplnα-nlnΓ(p)+(p-1)Σ{1.n}lnxi -αΣ{1..n}xi ; ∂lgL(x¬,α)/∂α =np/α -Σ{1..n}xi ; α~=np/Σ{1..n}xi=p/x¬Омп; E_αα~=E_αp/x=npE_α1/Σxi=(np/np1)*α ;

[xi~Γ(α,p);Σxi~Γ(α,np)]

E1/ξ причем ξ~Γ(α,np), q=np

E(1/ξ)=E_αξ^-1=∫{0..∞}1/x(α^qx^q-1e^-αx /Γ(q))dx =

α∫{0..∞}(α^q-1x^q-2e^-αx/Γ(q))dx=αΓ(q-1)/Γ(q)=

α/q-1 =α/np-1 [(q-1)Γ(q-1)=Γ(q)] Оценка: α~’(штрих)=(np-1)/np(x~)Нрмд

α~’=1/x-1/x~np при n→∞, добавка 1/x¬np→0

№25Регулярный эксперимент. Информация Фишера.Св-ва. Теорема о рег-ти прямого произв.регулярн. экспериментов

Пусть x1..xn выборкаиз P(ро)={Pθ :θ€ΘcR}-сем-во однопарам, существ мера μ доминирующая сем-во P(ро) μ>>P(ро) с плотностями Pθ условие регулярности :

Эксперимент (сем-во) наз-ся реулярным если1) Pθ непрерывно дифф-мо по θ 2) В условиях сем-ва допускаются диффер-ное под знаком ∫ :

∂\∂θ∫Pθ(x~)μ(dx)=∫∂Pθ(x~)/∂θ*μ(dx)=0 3) Существ I(θ): I(θ)€(0..∞) ; I(θ)=∫[(Pθ’(x~))²/Pθ(x) ]*μ(dx)=∫(Pθ’(x)/Pθ(x))²*Pθ(x)

[pθ’(x)=pθ(x)/∂θ] ; μ(dx)=Eθ[(lnpθ(x~))’]² ;pθ(x~)=L(x¬,θ)-ф-ция правдоп. I(θ)-информ Фишера[характеризует наск-ко сильно различаются плотности возле (.)-ки пар-ра θ] С ростом кол-ва наблюдений инфор-ция накапливается

Св-ва: 1)теорема: пусть имеются 2 независимых эксперимента(X1,F1,P1(ро)) и (X2,F2,P2(ро)) P1(ро)={P_1θ :θ€ΘcR} P2(ро)={P_2θ :θ€ΘcR} Рассм эксперим (X1*X2,σ(F1*F2),P(ро))

P(ро)={P_1θ* P2_θ }- те 2 независим экспон

Пусть оба они регулярны (X1,F1,P1(ро)) и (X2,F2,P2(ро)) Тогда общий ( X,F,P(ро ))тоже регулярный,а Ip(θ)=Ip1(θ)+Ip2(θ))

Док-во:Пусть исходн сем-ва были регулярны, тогда по св1 рег P₁ (ро) и P₂(ро) (=>)

∂P_θ(x₁¬,x₂¬) / ∂θ = ∂P_1θ(x¬₁)*P_2θ(x¬₂) / ∂θ =(P_1θ’(x₁¬)*P_2θ(x₂¬)+ P_1θ’(x₁¬)*P_2θ’(x₂¬))(=>) св-во 1 выполнено для p(ро)

Св-во2:Рассмотрим ∫∂/∂θ(P_θ(x₁¬,x₂¬)dμ(x₁¬,x₂¬) = ∫(P_1θ’(x₁¬)*P_2θ(x₂¬)+P_1θ’(x₁¬)*P_2θ’(x₂¬))dμ(x₁¬,x₂¬) = { dμ(x₁¬,x₂¬)= dμ(x₁¬)*dμ(x₂¬)}=

∫ P_1θ’(x₁¬)dμ(x₁¬)*∫P_2θ(x₂¬)dμ(x2¬) +

∫P_1θ’(x₁¬)dμ(x₁¬)* ∫P_2θ’(x₂¬)) dμ(x₂¬)=

∫ P_1θ’(x₁¬)dμ(x₁¬)+ ∫P_2θ’(x₂¬)) dμ(x₂¬)=0

[тк по св-ву 2 ∫

P_2θ’(x₂¬)) dμ(x₂¬)=0 ∫ P_1θ’(x₁¬)dμ(x₁¬)=0]

Св-во3:(сложение инф-ии)

E_θ([ln L(x₁¬,x₂¬,θ)] ‘)²= E_θ((ln L1(x₁¬,θ))’+

(ln L2(x₂¬,θ)) ‘)²= E_θ[(ln L1(x₁¬, θ)) ‘]²+

2*E_θ{ (ln L1(x₁ ¬,θ))^’* (ln L2(x₂¬,θ))’ }+

E_θ((ln L2(x₂¬,θ))’)² [E_θ[(ln L1(x₁¬, θ)) ‘]²=I1(θ) E_θ[(ln L2(x₁¬, θ)) ‘]²=I2(θ)]

E_θ{ (ln L1(x₁ ¬,θ))^’* (ln L2(x₂¬,θ))’ }=

E_θ (ln L1(x₁ ¬,θ))^’*E_θ (ln L2(x₂¬,θ))’

E_θ (ln L1(x₁ ¬,θ))’=∫(Pθ’(x1¬)*Pθ(x1) / Pθ(x¬)) dμ(x1¬)={по св-ву 2}=0 =I1(θ)+I(2)

Замечание: В условиях регулярного эксперимента Eθ(logL(X¬,θ))’=θ