книги из ГПНТБ / Сакрисон, Д. Лекции об аналоговой связи

случайным образом из некоторого множества, на кото­ ром можно разумным способом задать плотность априор­ ного распределения /(а). Этот случай, который мы ис­ следуем в настоящем разделе, логически не столь прост, как предыдущий. Трудность состоит в том, что нелегко непосредственно определить, что мы будем понимать под наилучшей оценкой. Чтобы обойти эту трудность, изберем следующий путь. Сначала, опираясь на интуи­ тивные соображения, определим некоторую оценку спе­ циального вида — так называемую оценку максималь­ ного правдоподобия. Затем получим границу качества оценивания для произвольной оценки а. Наконец, рас­

смотрим ряд «хороших» свойств, которыми могут обла­ дать те или иные оценки, и покажем, что если суще­ ствует оценка, обладающая этими свойствами, то она совпадает с оценкой максимального правдоподобия.

Оценка максимального правдоподобия

Чтобы объяснить, почему мы уделяем оценке макси­ мального правдоподобия особое внимание, заметим сле­ дующее.

i) Как мы видели, при некоторых слабых ограниче­ ниях на плотность /(ct|z) для широкого класса функ­ ций потерь оптимальной оценкой является оценка мак­ симума апостериорной вероятности (МАВ); другими словами, это оценка, принимающая то значение а, при котором величина

же предположить, что наблюдение Z заметно увеличи­ вает надежность оценивания а, то функция /(z|a)/(a)

должна иметь гораздо более выраженный пик вблизи своей моды, чем f[a). Следовательно, в этом случае

максимум (относительно а) функции f(z|a)f(cc) распо­ ложен вблизи максимума функции f(z|a ).

Таким образом, в качестве оценки разумно выбрать то значение а, которое максимизирует /(z|a); эту оценку

мы и будем называть оценкой максимального правдо­ подобия (МП). Желая подчеркнуть, что параметр а

здесь не предполагается случайным, мы будем для условной плотности /(z\a) использовать в дальнейшем обозначение fa (z). Это функция, которая при каждом фиксированном а является вероятностной плотностью по z. Рассматриваемая же как функция от а при фи­ ксированном z, она часто называется функцией правдо­ подобия.

В нашем рассуждении мы лишь для простоты счи­ тали, что а — скаляр; все замечания, относящиеся

к оценке максимального правдоподобия, в равной мере применимы и к векторному параметру а.

Свойства оценок

Определим свойства рассматриваемых статистиче­ ских оценок. Для ясности изложения будем различать следующие значения а:

а' — фактическое (истинное) значение параметра,

а— произвольное значение параметра,

а— значение оценки.

Параметр а является векторным, однако его размер­ ность не связана с размерностью вектора г. Мы будем обозначать через Еа { } математическое ожидание ве­

личины, стоящей в фигурных скобках, относительно рас­ пределения вероятностей dPa (z) = fa (z)dz.

Будем называть оценку â несмещенной, если

висимых одинаково распределенных случайных величин.

6t„(zi.......... z„) сходится по вероятности к а' при п-+оо.

для параметра а, то при любом выборе функции по­ терь байесовская оценка зависит лишь от a(z).

при каждом значении z. Но так как этот интеграл зави­ сит лишь от значения, принятого величиной а, а не от самих значений z, то любая оценка а, минимизирующая

(2.18), зависит лишь от а. Заметим, что в этом рас­ суждении существенную роль играет неотрицательность функции до.

Практическое значение достаточных статистик со­ стоит в том, что а может иметь меньшую размерность,

чем z, так что замена наблюдения z статистикой а зна­ чительно упрощает обработку наблюдений и вычисле­ ние оценок.

П р и м е р 2.4. Пусть Z u . . . , Zn — последователь­

ность независимых гауссовских случайных величин с из-

Отметим, что условие (2.20) необходимо для того, чтобы функция Аа {г) была определена при каждом а s s& для всех z-событий, имеющих положительную

вероятность. При этом в качестве а0 можно взять любое значение, удовлетворяющее условию (2.20); на практике выбор ао определяется лишь удобством вычислений.

Читатель заметит также, что в случае конечномер­ ных наблюдений проводимые ниже вычисления, основан­ ные на Аа, можно с таким оке успехом провести с ис­ пользованием лишь fa.

Укажем теперь некоторые свойства отношения прав­ доподобия. Прежде всего для любого наблюдения z оценку максимального правдоподобия параметра а мож­ но определить как значение а, максимизирующее Aa (z). Далее, для любой случайной величины G — g(Z), зави­

сящей от Z,

!) В том случае, когда распределение вероятностей Pa (z) нельзя описать функцией плотности, do выбирается таким образом, чтобы соотношение Р ао (В) Ф 0 выполнялось для всех событий В, для ко­

в этой главе наши рассуждения опираются на существование веро­ ятностной плотности, все окончательные и промежуточные .резуль­ таты справедливы и в общем случае. Если же нельзя указать такое значение «о, что выполнено сформулированное выше условие, то при осуществлении события В по наблюдению Z можно безошибочно определить, какое из двух значений параметра передавалось. Такой случай принято называть сингулярным. Как мы видим, сингулярная математическая модель не является адекватной для большинства ре­ альных физических задач.

1= J dz fa(Z) = J dzAa(Z) fa0(Z) = Ea, (Ла) ■ (2‘23)

Возьмем частные производные по а, от обеих частей

этого равенства и изменим порядок дифференцирова­ ния и взятия математического ожидания; получим

Если указанное изменение порядка допустимо *) и, сле­ довательно, выполняется равенство (2.24), то функцию Аа называют регулярной относительно ее частных про­

изводных по а первого порядка. Если же правую часть равенства (2.24) можно вторично продифференцировать по ah, изменив порядок дифференцирования и взятия математического ожидания, то функцию А а называют

регулярной относительно ее вторых частных производ­ ных по а.

Левая часть равенства (2.25) представляет собой ковариацию двух случайных величин, являющуюся функцией параметра а. Обозначим эту величину через

') По теореме о мажорируемой сходимости [3, стр. 135] это имеет место, если частные производные д А аІда,) ограничены абсо­ лютно интегрируемой (по мере Р „0(z)) функцией в некоторой после­

довательности точек (*, сходящейся к интересующему нас значению параметра.

полученные в этом пункте результаты и не имеют непо­ средственной статистической интерпретации, однако, как мы увидим, они окажутся полезными в дальнейшем.

Неравенство Крамера— Рао

Найдем абсолютную границу эффективности, кото­ рую можно будет использовать как эталон для сравне­ ния различных оценок. При этом мы ограничимся лишь квадратичными функциями потерь и, не предполагая наличия априорного распределения параметра а, рас­ смотрим условный байесовский риск при а = а .

Естественной функцией потерь для векторного пара­

метра а могла бы служить величина ||а — а'ІІ2Однако в ряде случаев такая мера близости не адекватна по­ ставленной задаче, поскольку нас может интересовать не только оценка самого параметра а, но и некоторых функций от а. Например, если а — радиолокационные координаты цели, то нас могут интересовать ее декар­ товы координаты. При этом, если ошибки малы (напри­ мер, ошибка в измерении дальности в процентном отно­ шении мала по сравнению с дальностью цели), для вы­ числения ошибки в преобразованных координатах можно воспользоваться разложением с точностью до пер­ вого порядка малости. Таким образом, в одной из пре­ образованных координат ошибка будет иметь вид

П

и, таким образом, наша задача состоит в исследовании условных рисков вида

Мы хотим найти минимальное значение, которое мо­ жет принимать этот условный риск для любого значе­ ния с, какова бы ни была несмещенная оценка а. Сна­

чала поясним, почему удобно потребовать выполнение условия несмещенности. Дело в том, что поскольку истинное значение а' параметра а нам неизвестно, мы должны были бы найти границу величины Еа»{е2} для некоторых значений а', которые кажутся нам наиболее характерными или вероятными. Заметим, однако, что для каждого отдельного значения а' можно получить

Е«' {е2} = 0, полагая попросту « (z) = а'. Естественно, нам хотелось бы избавиться от таких патологических оценок. Точнее, мы хотели бы, чтобы принимаемые

функцией a(z) значения отражали зависимость от а' при любых значениях а'. Одним из удобных и содержа­

тельных условий такой зависимости является требова­ ние несмещенности оценки a(z):

В этом случае граница качества оценок должна также учитывать возможную величину смещения; см. ниже за­ мечание 2.3.

Приступим теперь к выводу границы для величины условного риска в (2.27) при произвольной несмещен­ ной оценке. Для такой оценки при любых с и а имеем

П

Предположим, что функция Аа регулярна относи­

тельно частных производных первого порядка. Диффе­ ренцируя обе части последнего равенства по щ и меняя

30 Гл. 2. Оценка параметров

порядок дифференцирования и интегрирования, после перегруппировки членов получаем

(с, d) = Еа (с, а

Применим к правой части полученного равенства не­ равенство Шварца:

Рассмотрим неравенство (2.29) при а = а', В(а') = В. Предположим, что матрица В положительно определена, и положим d = Gc = В - 1с; тогда

(с, Gc)2< E a'(c, <х — а')2 (Gc, В В ~'с).

Заметим, что матрица G положительно определена (по­ скольку такова матрица В) и симметрична. Разделив

обе части последнего неравенства на (с, Gc), оконча­ тельно находим, что

Еа' {е2} = Еа' {(с, а' — а)2} = (с, Рйс) > (с, Gc). (2.30)

Мы получили хорошо известное неравенство Краме­ ра — Рао, описывающее абсолютную нижнюю границу редичины риски для любой несмещенной оценки при