Конспект лекций Глазова / 11.3. Нер Кр-Рао

11.3. Неравенство Крамера-Рао.

Условия регулярности. Рассматриваемое далее неравенство Крамера-Рао справедливо при некоторых условиях. Приведем эти условия отдельно для непрерывных и дискретных генеральных СВ.

А) Непрерывная генеральная СВ. В этом случае существует плотность вероятности f(x; a), где а - параметр распределения. Мы рассматриваем только случай одного оцениваемого параметра; это значит, что или этот параметр единственный в распределении, или остальные параметры известны. Существует неравенство Крамера-Рао и для случая нескольких оцениваемых параметров, но его рассмотрение более сложно и выходит за рамки данного пособия.

Условие 1. Класс f(x; a) задан с точностью до значения параметра а, т. е. f известна и как функция х, и как функция а, область определения параметра а задана, но значение а не известно.

Условие 2. Выборка x=(x₁, x₂, ..., x_n) объема n - случайная, независимая, однородная (т. е. простая).

Условие 3. Оценки находятся только через статистики, т. е. функции выборочных значений, поэтому дисперсии оценок строго больше нуля.

Плотность вероятности выборки f(x; a), равную

f(x; a)=f(x₁;a)...f(x_n; a),

рассмотрим как функцию L(a) параметра а; тогда она есть функция одного переменного и называется функцией правдоподобия; ее логарифм есть также функция одного переменного, обозначаемая lnL(a; x) или просто lnL(a), и называемая логарифмической функцией правдоподобия. Из предыдущего равенства следует, что

ln.

Условие 4. Частные производные

,

существуют при всех х и а, при которых f>0.

Условие 5. Область W значений Х, в которой f(х; а) строго больше нуля, не зависит от истинного значения параметра а. Поясним это условие примерами. Пусть Х - нормальная СВ, тогда область W - вся действительная ось, она не зависит от значений параметров m_x , ; условие 5 выполнено. Пусть теперь Х - равномерное распределение с плотностью вероятности

f(x; a)=1/2a , -a<x<a;

область W=(-a, a) зависит от а; условие 5 не выполнено.

Б) Дискретная генеральная СВ. В этом случае плотность вероятности генеральной СВ в обычном смысле не существует. Рассматриваем случай оценки одного параметра. Распределение генеральной СВ задано соответствием последовательностей значений {x_k} и вероятностей {p_k}, т. е. последовательностью функций {P(x_k; a)}, k=1, 2, ..., K, где К - конечное или бесконечное.

Условие 1. Последовательность функций {P(x_k; a)} известна с точностью до значения параметра а, т. е. P(x_k; a) известны и как функции х_k, и как функции а, и как функции k; область определения параметра а задана, но значение а не известно.

Условие 2. Выборка x=(x₁, x₂, ..., x_n) объема n - случайная, независимая, однородная (т. е. простая).

Условие 3. Оценки находятся только через статистики, т. е. функции выборочных значений, поэтому дисперсии оценок строго больше нуля.

n-мерное распределение выборки задается одномерной функцией n дискретных аргументов

;

рассмотрим ее как функцию L(a) параметра а; тогда она есть функция одного переменного и называется функцией правдоподобия; ее логарифм есть также функция одного переменного, обозначаемая lnL(a; x) или просто lnL(a), и называемая логарифмической функцией правдоподобия. Из предыдущего равенства следует, что

ln.

Условие 4. Частные производные

,

существуют при всех возможных х и а.

Условие 5. Набор W значений генеральной СВ Х не зависит от истинного значения параметра а.

Неравенство Крамера-Рао. При выполнении всех условий регулярности дисперсия оценки параметра а удовлетворяет неравенству

,

(11.3.1)

где штрихом обозначена производная по а.

Это очень важное для математической статистики неравенство, определившее пути развития теории оценивания, называется неравенством Крамера-Рао или неравенством информации. Как потом выяснилось, оно было независимо получено и опубликовано (на разном уровне строгости, при разных исходных условиях, в разной форме и разных обозначениях) Эйткином и Сильверстоуном (1942 г.), Фреше (1943 г.), Рао (1945 г.), Г. Крамером (1946 г.). Неравенство справедливо как для непрерывных, так и дискретных СВ.

Для несмещенных оценок смещение и неравенство принимает вид

.

(11.3.2)

Неравенство Крамера-Рао показывает, что при выполнении условий регулярности дисперсия оценки не может быть меньше некоторой величины, зависящей от вида распределения генеральной СВ и смысла параметра а в этом распределении. Замечательно, что правая часть неравенства, устанавливающая предел качества оценки, может быть рассчитана независимо от нахождения самой оценки.

Фишеровская информация. Рассмотрим знаменатель правой части неравенства Крамера-Рао, обозначив его I(a). Эту величину Р. Фишер в 1921 г., т. е. задолго до открытия неравенства Крамера-Рао, назвал информацией (точнее, информацией, содержащейся в выборке х, о параметре а заданного класса распределений). Сейчас эту величину называют фишеровской информацией, поскольку впоследствии были введены и другие меры информации (например, мера Шеннона, мера Кульбака, и т. д.). Для класса непрерывных распределений

.

(11.3.3)

Фишеровская информация обладает рядом примечательных свойств, в частности:

1) I(a) зависит от вида распределения генеральной СВ, смысла параметра а в этом распределении, объема выборки, истинного значения параметра (это подчеркнуто обозначением I(a).

2) Всегда (т. е. при любом виде распределения генеральной СВ, любом параметре и т. д.) I(a), причем равенство достигается тогда и только тогда, когда f(x; a) не зависит от а, т. е. когда а на самом деле не является параметром распределения генеральной СВ.

3) Фишеровская информация аддитивна: если имеются две выборки объемов n₁, n₂ из одного ансамбля с информациями I₁(a), I₂(a), то объединенная выборка объемом n=n₁+n₂ имеет информацию I(a)=I₁(a)+I₂(a). Отсюда автоматически следует, что в простой выборке объема n информация равна n I₁(a), где I₁(a) - информация в одном выборочном значении.

Интерпретация неравенства Крамера-Рао.

А) Строгий математический анализ показывает, что правая часть неравенства Крамера-Рао это не обязательно минимальная дисперсия оценки, а нижняя грань дисперсий оценок данного параметра. Суть дела состоит в том, что в общем случае правая часть не обязательно достигается какой-то оценкой; это зависит от класса распределений и вида параметра. При данном классе распределений генеральной СВ и для данного параметра может быть два случая: или нижняя грань (правая часть неравенства) достигается, тогда она одновременно является минимальной дисперсией, а соответствующая оценка называется оценкой нижней грани дисперсии (НГД); или нижняя грань не достигается, тогда неравенство становится строгим и любая оценка имеет дисперсию строго большую, чем правая часть неравенства. При этом, в свою очередь, может быть два случая: или существует минимальная дисперсия оценки, разумеется, большая нижней грани; соответствующая оценка называется оценкой минимальной дисперсии (МД); или минимальной дисперсии не существует, т. е. не существует оценки, имеющей дисперсию, меньшую, чем любая другая оценка в данном классе распределений с данным параметром.

Б) Как видно из (11.3.1), для смещенной оценки нижняя грань дисперсии связана с функцией смещения , но не непосредственно, а через ее производную. При этом, если =const, то =0 и смещение не влияет на нижнюю грань дисперсии (она такая же, как у несмещенной оценки); если при для каких то а, то в этих точках нижняя грань меньше, чем у несмещенной оценки. На первый взгляд может показаться, что нижняя грань может равняться нулю и, следовательно, может существовать оценка с нулевой дисперсией. Однако, если 1+=0 при всех а, то = С-а, где С - константа, следовательно, в качестве оценки взято детерминированное число, не зависящее от выборки; у такой оценки, действительно, дисперсия равна нулю, но систематическая ошибка может быть как угодно большой; оценки, не связанные с выборкой, математическая статистика не рассматривает.

В) Условия регулярности суть достаточные, но не необходимые условия, поэтому если какие-то из этих условий нарушены, то неравенство Крамера-Рао может быть (но не обязательно) не справедливым. Следовательно, при нарушении каких-то условий регулярности могут быть следующие случаи: В1) знаменатель в правой части (11.3.1) расходится; В2) знаменатель сходится, неравенство справедливо; В3) знаменатель сходится, но неравенство не справедливо, в частности, дисперсии оценок могут быть как больше, так и меньше правой части.

Г) Можно показать, что при соблюдении условий регулярности фишеровскую информацию можно вычислять и по-другому:

.

(11.3.4)

Опыт показывает, что иногда эта формула более удобна, чем знаменатель в правой части (11.3.1).