6.2 Неравенство Рао-Крамера

Знание дисперсии оценки, полученной по некоторому правилу, позволяет судить о мере расхождения истинного значения параметраи его оценки. Однако равна ли дисперсияминимальной дисперсии – неизвестно. С.Р. Рао и Г. Крамером получена нижняя граница дисперсииоценки.

Положим, – выборка в моменты времени,, сигнал и шум аддитивны:,

–выборочные значения в моменты времени ,,

–функция правдоподобия.

Запишем условие нормировки и продифференцируем его по параметру. Переставляя операции дифференцирования и интегрирования,

получим:

(6.2)

Оценка является функцией выборочных значений, то естьи согласно свойствам математического ожидания преобразования случайной величины имеем

,

то есть математическое ожидание оценки является функцией параметра.

Её производная по имеет вид

. (6.3)

Помножим выражение (6.2) на функцию

(6.4)

Учитывая, что последнее выражение (6.4) равно нулю, вычтем (6.4) из (6.3):

.

Воспользуемся неравенством Коши-Буняковского

. (6.5)

Откуда непосредственно получаем

(6.6)

Получили неравенство Рао-Крамера. Правая часть неравенства позволяет оценить минимальную величину дисперсии, которую можно достичь при различных правилах оценки параметра.

Рассмотрим свойства неравенства Рао-Крамера.

1) Из неравенства Коши-Буняковского (6.5) знак равенства в выражении (6.6) получается, если

, (6.7)

где А - некоторая постоянная величина, не зависящая от наблюдений.

Если условие (6.7) выполняется, то оценка является эффективной оценкой параметраи её дисперсия равна

. (6.8)

2) В числителе неравенства Рао-Крамера (6.6) стоит квадрат производной от математического ожидания оценки . Если оценка– несмещённая, т.е., тои её дисперсия оценки равна

. (6.9)

Покажем, что в этом случае .

Возведем обе части равенства (6.7) в квадрат и приложим оператор математического ожидания к обеим частям полученного равенства

.

В общем случае коэффициент может зависеть от измеряемого параметра. Величинаопределяет меру информации, содержащейся в выборке, и называетсяколичеством информации, содержащейся в выборке (введена Р. Фишером).

3) Доказательство выражения (6.8).

Положим, выполняется условие (6.7). Возведем в квадрат обе части равенства (6.7) и вычислим математическое ожидание от обеих частей:

.

Учитывая условие (6.7) и предыдущее выражение, запишем неравенство Рао-Крамера в виде равенства

.

Из этого выражения получим

. (6.8)

4) Иногда трудно бывает вычислить знаменатель неравенства Рао-Крамера (6.6). Преобразуем его. Для этого продифференцируем выражение (6.2) по :

,

или (6.10)

Подставим (6.10) в (6.6) с учётом того, что ,

(6.11)

5) Неравенство (6.11) получено для дискретного представления реализациислучайного процесса. Переходя к функционалу правдоподобия, запишем

(6.12)

6) Как известно, в случае приема сигнала на фоне нормального белого шума функционал правдоподобия имеет вид

.

Положим постоянная С удовлетворяет условию . Тогда логарифм функционала правдоподобия равен

.

Если параметр не энергетический, тоне зависит оти получим, с учётом того, что,

(6.13)

Интегралы иназываютсяшумовой и сигнальной функциями в применении к оценке параметра сигнала, параметр можно менять в определенных пределах согласно оцениваемому параметру, поэтому сигналназываетсяопорным сигналом.

Дифференцируя повторно выражение (6.13) по параметру , получим

. (6.14)

Теперь нижнюю границу дисперсии оценки параметра можно представить как

(6.15)

Знаменатель выражения (6.15) отражает кривизну сигнальной функции

.

Чем больше абсолютное значение кривизны сигнальной функции в точке , тем меньше граница дисперсии, которую можно достичь, выбрав наилучшее правило оценки параметра.

7) Положим, оценка принадлежит множеству оценок, для которых математическое ожидание оценкиможно выразить как

, (6.16)

где – смещение – детерминированная величина, зависящая от истинного значения . Тогда неравенство Рао-Крамера примет вид

. (6.17)

Нижняя граница неравенства зависит от величины

==. (6.18)

Из последнего выражения видно, что величина нижней границы зависит от поведения производной . В литературе (А.А Боровков, М.Дж. Кендалл и А. Стьюарт) доказывается, что можно получить нижнюю границу дисперсии, меньшую, чем граница Рао-Крамера.

Рассмотрим примеры. Произведем оценку математического ожидания и дисперсии нормального распределения. Положим параметр (это может быть частота, задержка, и т.д.) сигналаимеет нормальное распределение с математическим ожиданиеми дисперсией

.

Пусть в результате проведения эксперимента получили последовательность независимых случайных величин . Необходимо оценить величину, если известно значение дисперсии. Другой случай – оценить параметр, если неизвестно значение дисперсии.

Пример 1. Произведем оценку при известной дисперсиипо критерию максимума функции правдоподобия, имеющей вид

.

Используем логарифм функции правдоподобия . Необходимое условие максимума – это.

Решая это уравнение относительно , получим

и примем её в качестве оценки параметра

Рассмотрим свойства этой оценки.

а) Состоятельность. Необходимо проверить

или .

Ввиду того, что выборка взята из нормальной совокупности, каждый член суммы распределён по нормальному закону с математическим ожиданиеми дисперсией. Тогда ираспределена по нормальному закону с математическим ожиданием

и дисперсией

.

Рассмотрим вероятность

.

С увеличением числа экспериментов границыувеличиваются по абсолютной величине. Таким образом, привероятность, т.е. оценка– состоятельная.

б) Смещение оценки. Из выражения видно, что оценкане смещена.

в) Эффективность. Вычислим границу Рао-Крамера. Для этого рассмотрим знаменатель неравенства Рао-Крамера

.

Ввиду того, что оценка несмещённая, а также в силу независимости результатов эксперимента имеем

.

Тогда неравенство Рао-Крамера примет вид , но мы уже знаем, что. Как видим, нижняя граница дисперсии оценкисовпадает с дисперсией оценки. Таким образом, оценкаявляется эффективной, но она ещё и достаточная по определению, так как плотность распределения вероятности

удовлетворяет условиям необходимости и достаточности

Пример 2. Произведём оценку математического ожидания и дисперсиипо критерию максимума функции правдоподобия:.

Логарифм функции правдоподобия имеет вид

Беря производную по ии приравнивая их нулю, получаем систему уравнений:

Откуда получаем оценки:

.

Рассмотрим оценку дисперсии параметра:

.

С учетом того, что значения выборок взаимно независимы, можно вычислить математическое ожидание

= .

Как видно, не является несмещённой оценкой дисперсии. Для получения несмещённой оценки помножимна:

.

Математическое ожидание равно

.

Откуда видно, что оценка является несмещённой оценкой. Разница в методах вычисления оценки скажется лишь при малом числе экспериментов. Когдадовольно велико отличие междуинесущественно, то есть привеличинаи оценкаявляется, таким образом, асимптотически несмещённой.

Пример 3. Случайная величина принимает значенияис вероятностямии, которые неизвестны:

, .

Проводится независимых экспериментов. Необходимо оценить величину.

Положим, в экспериментах появилосьединиц инулей. Вправе записать функцию правдоподобия в виде:

.

Воспользуемся критерием максимума правдоподобия для оценки . Приравнивая нулю производную по параметруот логарифма функции правдоподобия, получим оценку вероятности появления единицы в эксперименте поN измерениям

.

Вычислим математическое ожидание и дисперсию оценки :

,

что доказывает отсутствия смещения оценки .

Дисперсия оценки имеет вид

.

Докажем состоятельность оценки. Для этого вычислим абсолютное уклонение оценки от математического ожидания

.

Известно, что математическое ожидание и дисперсия величины равны, соответственно, нулю и единице. Подставим значение дисперсии в предыдущее выражение и получим

,

что доказывает состоятельность оценки .

Теперь вычислим нижнюю границу дисперсии оценки:

.

Подставив значение производной по параметру от логарифма функции правдоподобия в знаменатель, получим

.

Но эксперименты независимы. Тогда имеем

.

Подставив полученное выражение в неравенство Рао-Крамера, получим

.

Как видно, дисперсия оценки совпадает с нижней границей дисперсии. Таким образом, оценка– эффективная.

Дисперсия оценки зависит от произведения. Максимум этого произведения достигается при. Используя это, заключаем, что дисперсия оценкиубывает с увеличениемне медленнее, чем функция.

Статистика достаточна по определению, так как

.