17. Функция правдоподобия. Достаточные статистики, полные статистики. Критерий факторизации.

Пусть X – случайная величина с распределением вероятностей PX(B). Абсолютная непрерывность функции PX(B) означает её абсолютную непрерывность относительно меры лебега: FX(x) = $<-inf, x>pX(x)dx >= 0, где pX(x) – плотность. pX(x) называется обобщенной плотностью распределения случайной величины X относительно меры v, если PX(B) = $<B>pX(x)v(dx), v – не обязательно мера Лебега. Выборка X1,…,Xn с функцией распределения F(x, O) допускает функцию правдоподобия, если существует такая мера m, относительно которой существует обобщенная плотность распределения p(x, O) для любого O, то есть: FX(x, O) = $<-inf, x>p(u, O)m(du) >= 0. Функцией правдоподобия выборки X1,…,Xn называется функция L(X, O) = p(X1, O)…p(Xn, O). Функция правдоподобия является случайной величиной. Статистика называется достаточной, если PO(X Є A|T(X)) для любого борелевского A Є R^n не зависит от O. Для любой выборки существует достаточная статистика (T(X) = X). Достаточная статистика называется тривиальной, если k = k(n)  inf при ninf: T(X) = (T1(X),…,Tk(n)(X)) с неограниченной размерностью. Если k ≠ k(n), то статистика называется нетривиальной. Если существует мат ожидание EO(IA(X)|T(X)) = PO (X Є A|T(X)), для любого A Є R^n, A – борелевское и не зависит от O, то это тривиальная статистика. Если нетривиальная статистика существует, то она не единственна. (T(X) - нетривиальная статистика, h: R^k  R^k, то h(T(X)) – достаточная статистика). Статистика называется полной, если EOh(T(X)) = 0 для любого O следует равенство h(u) = 0 почти всюду по распределению T(X). Если T(X) – абсолютно непрерывная случайная величину с плотностью распределения q(x, O), то определение обращается в равенство EOh(T(X)) = $h(u)q(u, O)du = 0 для любого O. Критерий факторизации. Т Пусть L(X, O) – функция правдоподобия выборки X, T(X) = (T1(X),…,Tk(X)) – некоторая статистика. Тогда T(X) – достаточная статистика тогда и только тогда, когда функцию правдоподобия можно представить в виде произведения L(X, O) = g(T(X),O)h(X).

18. Неравенство Рао-Крамера. Эффективные оценки.

Пусть X1,…,Xn – некоторая выборка с функцией правдоподобия L(X,O) относительно некоторой меры m. Введем функцию h(O) = $<R^n>T(X)L(x, O)m(dx) < inf. Функция h в дальнейшем диф-ма сколько угодно раз. Говорят, что функция L(X,O) удовлетворяет условиям регулярности для m-ой производной, если сущ: d^mh(O)/dO^m = $<R^n>T(x)d^mL(x, O)m(dx)/dO^m, причем (x: L(x, O) > 0) не зависит от O. Т Пусть X1,…,Xn – выборка, причем L(X, O) удовлетворяет условиям регулярности для первой производной и t(O) – диф-мая функция. Тогда для любой несмещенной оценки T(X) функции t(O) справедливо неравенство Рао-Крамера: DOT(X) >= [t’(O)]^2/EOU(X, O)^2, где U(X, O) – функция вклада. U(X, O) = dln L(X, O)/dO. Равенство достигается только тогда, когда существует an(O): T(X) – t(O) = an(O)U(X,O). Оценка, для которой достигается это равенство, называется эффективной (если она существует, то она оптимальна). Если существует эффективная оценка T(X) для t(O), то ни для какой другой функции от O, кроме линейного преобразования t(O), эффективной оценки существовать не будет. Док-во: $L(x, O)m(dx) = 1  $dL(x, O)m(dx)/dO = 0, $T(X)L(x, O)m(dx) = EOT(X) = t(O)  $T(x)dL(x, O)m(dx)/dO = t’(O). Так же dL(x, O)/dO = L(x, O)[dlnL(x, O)/dO]  $U(x, O)L(x, O)m(dx) = 0  EOU(X, O) = 0, $T(x)U(x, O)L(x,O)m(dx) = t’(O)  EOT(X)U(X, O) = t’(O). Вычитая из первого, помноженного на t(O), второе получаем EO(T(X) – t(O))U(X, O) = t’(O)  covO(T(X), U(X, O)) = t’(O). По неравенству Конши-Буняковского получаем (t’(O))^2 = covO^2(T(X), U(X, O)) <= DOT(X)DOU(X, O) = DOT(X)EOU^2(X, O), что и утверждение теоремы, те DOT(X) >= [t’Ø]^2/EOU(X, O)^2. Равенство будет достигаться, если T(X), U(X, O) линейно связаны: T(X) = h(O)U(X, O) + j(O)  t(O) = j(O) an(O) = h(O). ЧТД.

Поведение правой части неравенства при росте n. Числитель не зависит от n, перепишем функцию вклада чере p(Xi, O) – обобщенная плотность. U(X, O) = dlnL(X, O)/dO = Σ<j=1, n>(d/dO)lnp(Xj, O). В правой части сумма независимых одинакого распределенных случайных величин. Поскольку EOU = 0, то EOU^2 = DOU. Поэтому EOU(X, O)^2 = nDO(d/dO)lnp(X1, O)  эквивалентно 1/n. Рассмотрим теперь равенство эффективных оценок, которое выполняется если T(X) – t(O) = an(O)U(X, O) при любом O. Возведем в квадрат и возьмем мат ожидание от обеих частей. DOT(X) = an(O)^2EOU(X, O)^2. Сопоставляя с равенством из определения эффективной оценки получаем DOT(X) = (t’(x)^2)an^2/DOT(X)  DOT(X) = t’(O)an(O).