4. Неравенство Крамера-Рао в частном случае

Пусть выборка из наблюдений такая, что

р(x₁, x₂,…,x_n|U)=f(x₁,U)f(x₂,U)….f(x_n,U)

т.е. случайные величины x₁, x₂,…,x_n независимы.

В этом случае

(3.19)

Если при этом

M{ }²= M{ }² , i,j=1,2,…,n

то

Предположим, что , где -независимые нормальные величины с нулевым средним и дисперсией , а m –неизвестная величина, т.е. m=U.

Плотность вероятности x_i имеет вид

,

а p(x/U)=p(x/m) будет

p(x/U)= .

Имеем ;

(3.20)

;

M[ ;

откуда следует, что

(3.21)

Если t(x₁, x₂,…,x_n)= то

т.е. эта оценка имеет максимально возможную точность.

Оценки t, для которых в выражении (3.21) достигается знак равенства, являются эффективными оценки, или оценками с минимальными дисперсиями.

4. Достаточные оценки параметров.

Теорема. Дисперсия оценки t(x₁, x₂,…,x_n)=U^* достигает минимального значения в том случае, если функция правдоподобия может быть представлена в виде

P(x/U)=L(t/U)h(x) (3.22)

где L(t|U)- функция, зависящая только от t=t(x), а h(x) зависит только от х, причем

L(t/U)=e^a(U)t+b(U).

Непосредственно из выражения (3.22) следует, что это может быть только в том случае, когда величины U^*- связаны линейной зависимостью, так как в этом случае при фиксированном U выражение (3.22) определяет коэффициент ковариации двух случайных величин.

И, следовательно,

(3.23)

Интегрируя (3.23) по U, получаем

ln p(x/U)=t(x) (3.24)

где с-производная константа, зависящая от х.

Обозначая

получим из (3.24)

p(x/U)=exp[a(U)t(x)+b(U)+c(U)]=[exp (a(U)t(x)+b(U))]exp(c(x))=R(t/U)*h(x) (3.25)

Таким образом, дисперсия оценки достигает минимального значения в том случае, если функция правдоподобия имеет вид (3.25).

Если функция правдоподобия имеет вид (3.22) и =0, оценка U^*=t(x₁, x₂,…,x_n) называется эффективной оценкой. Оценка, для которой выполняется только условие (3.22), называется достаточной.

Справедлива и обратная теорема.

Теорема. Если функция правдоподобия выборки может быть представлена в виде (3.25), то для дисперсии оценки t(χ) неравенство Крамера-Рао обращается в равенство.

Дифференцируя (3.25), получим

(3.26)

Усредняя и используя неравенство

Получаем

M{

То есть

b^/(U)=-a^/(U)m[t(x)] (3.27)

Подставляя (3.27) в (3.26), получим равенство

(3.28)

Из последнего равенства следует, что случайные величины и связаны линейной зависимостью и, как было показано выше, в этом случае неравенство Крамера-Рао обращается в равенство.

Таким образом, оценка t(χ) , для которой функция правдоподобия представлена в виде (3.22), имеет минимальную дисперсию среди всех оценок с тем же смещением.