19. Теорема Рао-Блекуэлла-Колмогорова. Оптимальность оценок являющихся функцией полной достаточной статистики.

Пусть T(X) – достаточная статистика выборки X1,…,Xn. Тогда если существует оптимальная оценка T1(X), то T1(X) = h(T(X)). Док-во: Пусть T1(X) – некоторая несмещенная оценка функции t(O). Обозначим T2(X) = EO(T1(X)|T(X)). Так как T(X) – достаточная статистика, то T2(X) не зависит от O. EOT2(X) = EO(EO(T1(X)|T(X)) = EOT1(X). Те T2 – тоже несмещенная оценка. T2(X) - $<Ω>T1(X(w))P<T(X(w))>(dw). Из теоремы Радона-Никодима существует измеримая h: T2(X) = h(T(X)). Получаем DOT1(X) = EO(T1(X) – t(O)))^2 = EO(T1(X) – T2(X))^2 + 2EO((T1(X)-T2(X)))(T2(X) – t(O))) + DOT2(X). Второе слагаемое равно 0. Док-во: EO((T1(X)-T2(X))(T2(X)-t(O)) = EO(T1(X) – T2(X))T2(X) – t(O)EO(T1(X)-T2(X)) = EOT1(X)T2(X) – EOT2(X)^2, а поскольку EO(T1(X)|T(X)) измерима относительно σ(T(X)) – меры, порождаемой случайной величины T(X). EOT1(X)T2(X) = EO(T1(X)EO(T1(X)|T(X))) = EO(EO(T1(X)|T(X)))|T(X))) = EO(EO(T1(X)|T(X)))EO(EO(T1(X)|T(X))) = EOT2(X)^2. Те доказали. Вернемся к теореме. Мы получили, что EO(T1(X) – T2(X))^2 >= 0  DOT1(X) >= DOT2(X), причем равенство достигается только если T1(X) – T2(X) = 0 с вероятностью 1. ЧТД. Т Колмогорова. Пусть T(X) – полная достаточная статистика. Тогда h(T(X)) оптимально оценивает t(O) тогда и только тогда, когда EOh(T(X)) = t(O), те h(T(X)) – несмещенная. Док-во: Пусть T1(X) = h1(T(X)) – несмещенная оценка t(O) и T(X) – полная достаточная статистика. Предположим существование другой несмещенной статистики T2(X) = h2(T(X)). Тогда для любого O: EO(h1(T(X)) – h2(T(X))) = 0  h1(x) – h2(x) = 0 почти всюду по распределению. Откуда T(X) = h1(T(X)) = h2(T(X)). Равномерная минимальность дисперсии по аналогии с теоремой Рао-Блекуэлла-Колмогорова. ЧТД.

20. Метод моментов. Свойства оценок, полученных методом моментов.

Пусть X1,…,Xn – выборка с распределением F(x, O), где O Є Ξ Є R^m. Обозначим EOX1^k = ak(O). Предположим, что система {ai1(O) = Ai1, ai2(O) = Ai2,…, aim(O) = Aim, ij != il  j != l} – однозначно разрешима, причем её решение дается обратными функциями {O1 = b1(Ai1,…Aim),…,Om = bm(Ai1,…,Aim)}. Оценки, полученные таким образом, называются точечными оценками, полученными методом Моментов. Суть – выборочные моменты приравнять к теоретическим. Недостаток – при отсутствии момента какого-то порядка метод может оказаться неприменим. Пусть O1,…Om – непрерывные функции моментов. Тогда оценки, полученные методом моментов – состоятельные и асимптотически несмещенные. Док-во: согласно предположениям система имеет единственное решение, Oi = bi(Aj1,…,Ajm), причем bi – непрерывные функции. По усиленному закону больших чисел bi сходятся с вероятностью 1 к теоретическим моментам и из непрерывности bi получаем, что оценки из метода моментов при ninf сходятся с вероятностью 1 к Oi. ЧТД. Метод моментов дает не эффективные оценки.

21. Метод максимального правдоподобия. Свойства оценок максимального правдоподобия.

Пусть L(x, O) – функция правдоподобия выборки X. Оценкой максимального правдоподобия O^(X) параметра O называется такое значение параметра, что maxL(X, O) = L(X, O^(X)). Справедливо локальное утверждение – где плотность больше, там и вероятность больше. Оценка максимального правдоподобия не обязана быть единственной. Св-ва: если O(X) – оценка максимального правдоподобия O и t(O) – взаимно однозначная функция O, то оценкой максимального правдоподобия функции t(O) является функция t(O^(X)). 2) Если существует достаточная статистика T(X), то оценка максимального правдоподобия есть функция T(X): O^(X) = h(T(X)). 3) Критерий факторизации: L(X, O) = g(T(X), O) h(X) 4) Если существует эффективная оценка параметра O, то она совпадает с оценкой максимального правдоподобия (O~(X) – эффективная оценка): док-во: O~(X) – O = an(O)dln L(X, O)/ dO, подставим вместо O = O^(X). Получим O~(X) – O^(X) = an * 0, так как эта точка максимума правдоподобия.