30) Теорема о ковариации.

Пусть есть x,y

Cov(x,y)=E(cov(x,y/F)+ cov(E(x/F), E(y/F))

Доказательство:

Cov(x,y)=E(x-Ex)(y-Ey)=E((x-E(x/F))+(E(x/F)-Ex))(y-E(y/F))(E(y/F)-Ey)= E((x-E(x/F))(y-E(y/F))+E(E(x/F)-Ex)(E(y/F)-Ey)+E((x-E(x/F))(y-E(y/F))+E(E(x/F)-Ex)(E(y/F)-Ey)

Последние 2 слагаемых=0, т.к.

E(E((x-E(x/F))(E(y/F)-Ey)/F)=E((E/y)/F)-Ey)E((x-E(x/F)/F)=0

Если X и Y совпадают, то cov(x,y)=D(x)

Следствие:

DX=E(D(x/F))+D(E(x/F))

В частности: Dx>E(D(x/F)) и Dx>D(E(x/F))

31) Теорема Леммана Шафе. Алгоритм построения эффективных оценок.

Свойство полноты. Полные статистики.

X, p(x,) – плотность, T – статистика

если из E_f(T(x))=0  => f(x)=0

Будем рассматривать полные достаточные статистики (ПДС), получим ограничение сверху и снизу.

Пример вывода полноты.

Если существует экспоненциальное распределение, то при определенных условиях T=(T₁,…,T_n) является полной статистикой.

Надо, чтобы в T_i_i(), _i было k-мерным, (₁()),…,_k()) отображалось в R^k.

1) Схема Бернулли

Предположим, что m – число успехов, является достаточной статистикой.

возьмем _m=0ⁿf(m)C_n^mp^mq^n-m=0  q(0,1), нужно доказать, что f(m)=0

_m=0ⁿf(m)C_n^mZ^m=0, Z=^p/_q, Z(0,)

получается полином с коэффициентами = 0, т.к. C_n^m0, то f(m)=0

2) Распределение Пуассона

Существует объем выборки n=1, тогда

=0  уберем e получим =0, для>0 ¹/_k!0 => f(k)=0

1. Равномерное распределение R(0,)

объем выборки n=1

получается => f(x)=0с вероятностью 1

Теорема Лемана Шеффе

X, p(x,), S=S(x) – несмещенная дляg(),T – ПДС, тогдаS^*=E(S/T) – эффективная, несмещенная,c минимальной дисперсией, оценка.

Алгоритм нахождения эффективных оценок

1. Ищем T – ПДС

2. Ищем несмещенную оценку, являющуюся функцией от Т. Она и будет несмещенной оценкой.

Доказательство: Пусть существует несмещенная оценка S построим S^*=E(S/T), тогда S^* - оценка, т.к. T – достаточная, она несмещенная, т.к. E_S^*=E_S (по свойствам условного мат.ожидания)

минимальная дисперсия

Пусть существует еще одна несмещенная оценка S₁, построим S^*=E(S₁/T), но тогда по по теореме

Рао-Блекуэлла D_S₁>D_S₁^*= D_S^* => дисперсия любой другой оценки будет больше D_S^*

Осталось доказать DS₁^*=D_S^*

т.к. S^* и S₁^* совпадают с вероятностью 1, в силу полноты.

(S^* - S₁^*) они измеримы относительно T (т.к. мат.ожидание), т.е. являются функциями от Т. Они обе не смещены, поэтому E(S^*-S₁^*)=0, значит в силу полноты S^*-S₁^*=0 с вероятностью 1

Пример:

1. Экспоненциальное семейство:

(x, S²) – ПДС

=(m,²) – если хотим оценить

f(m,²) – достаточно построить несмещенную оценку T.

2. Пусть x – выборка из распределения Бернулли.

x_i={1, p; 0, q} i<n, =p

m – число успехов – ПДС

оценка для p – несмещенная

x=^m/_n – частота – функция от m и p. => x – это эффективная оценка.

Возьмем в качестве параметра функции g(p)=p²

S²=-несмещенная оценка ²

но в схеме Бернулли ^=pq=p(1-p)=p-p², т.е., чтобы оценить s² надо иметь несмещенную оценку p², p²=^m/_n.

E_(S²)=pp²

p-E(S²)=p² если взять T=^m/_n-S², то ET=p-p+p²=p², т.е. это не смещенная оценка.

S²====

T=^m/_n-===

получается несмещенная оценка, для p²

можно было не пользоваться S², а взять x², т.к. (p=x) оценивают, тогда p²=x²

Если мы оцениваем p^k, то несмещенной оценкой будет

Пример: Распределение Пуассона

Мы доказали, что x – ПДС

тогда если взять x, Ex=, то мы получим, x является эффективной оценкой, но для Распределения Пуассона ES²= будет ли S² эффективной статистикой, т.к. она не является функцией отx. По теореме Лемана-Шефе, надо было бы взять E(S²/x)

3. Распределение Пуассона

g()=² Найти эффективную оценку, если брать ²

x² – неявляется эффективной т.к. она смещенная

Возьмем (x)² посчитаем E(x)².

Ex=D(x)+(Ex)²=Dx₁/n+²=^/_n+² – асимптотически несмещенная

E(x²-^/_n)=^ - неявляется статистикой, т.к. зависит от параметра 

заменим: E(x²-^x/_n)=^ => T=x²-^x/_n

4. Пусть существует выборка из нормального закона

N(m,²), =(m,²) не известны m, ²

построим эффективную оценку для ²

S²==²

по теореме о совм. выборке x, x² для нормального распределения

имеет ²_n-1

Пусть M_n,_r=

M_n,r – матожидание.

Если бы M_n,r известно, то можно было бы т.е.

В качестве статистики T, которая является эффективной надо брать

Осталось найти M_n,r ?

G((n-1)/2 ; ½) – плотность распределения

; заменим,тогда Надо подставить в оценку