
книги из ГПНТБ / Бендат Дж. Измерение и анализ случайных процессов
.pdf198 |
Глава 6 |
Заметим, что среднее слагаемое приведенного выражения содер^ жит множитель, равный нулю:
М[Ф—М [Ф]] = М[Ф] —М [Ф ]=0.
Следовательно,
С. з. к. о. =М [(Ф —М[Ф])2]+ М[(М[Ф]—Ф)>]. |
(6.2) |
Таким образом, среднее значение квадрата ошибки состоит из двух частей. Первая часть — это дисперсия оценки, характеризую щая долю «случайности» в величине ошибки
[D [Ф] = М [(Ф — М [Ф])2]= М [Ф2]—М2 [Ф]. |
(6.3)> |
Вторая часть есть квадрат смещения оценки, характеризующий систематическое ее отклонение
Ь2[Ф]=М.\Ь2 [Ф]]=М[(М[Ф]—Ф)2]. |
(6.4) |
Итак, среднее значение квадрата ошибки равно сумме дисперсии оценки и квадрата смещения оценки
М [(Ф—Ф)2] = D [Ф] + > '[Ф ]. |
(6.5) |
На практике удобнее представить ошибку оценки |
в тех же |
единицах измерения, что и оцениваемый параметр. Для этого можно вычислить положительное значение корня квадратного из величин ошибок, описываемых формулами (6.3)—(6.5). Ква^*, ратный корень из величины (6.3) определяет среднеквадратичной? отклонение оценки, называемое стандартной (или случайной) ошибкой:
Стандартная ош ибка=а[Ф ]=уЛ М[Ф2]—М2 [Ф]. |
(6 .6 ) |
Квадратный корень из величины (6.4) определяет ошибку сме щения:
Ошибка смещения= b [Ф] = М [Ф]— Ф. |
(6.7) |
Квадратный корень из суммы квадратов ошибок (6,5) определяет
среднеквадратичную ошибку.
Среднеквадратичная ошибка= У до [(ф_ф)2] —
= V о2 [Ф] + й2 ]Ф] . |
£(6 .8) |
Для удобства весьма желательно представить ошибку в долях от оцениваемого параметра. Для этого ошибку делят на величину оцениваемого параметра и получают нормированную ошибку. При Ф ф 0 нормированные стандартная ошибка, ошибка сме-
Ошибки при анализе случайных процессов |
199 |
'.X |
|
чщения и среднеквадратичная ошибка выражаются формулами
Нормированная стандартная ошибка = гг= |
= |
|
||||
Г |
= |
- / м [Ф2] — М2 [Ф] |
(6.9а) |
|||
|
ф |
|
||||
Нормированная ошибка смещения= |
еь = |
b^ |
---- |
(6.96) |
||
Нормированная среднеквадратичная ошибка—е = |
|
|
||||
^ |
V о2 [Ф] + Ь2 [Ф] |
У |
М [(Ф — Ф)2] |
(6.9в) |
||
= |
Ф |
= |
Ф |
• |
||
|
Заметим, что нормированную стандартную ошибку ег часто на зывают коэффициентом вариации.
В последующих разделах этой главы ошибки оценок пара метров выражают через величины, определяемые формулами (6.9). При известных выборочных распределениях оценок на основании этих величин можно найти, как показано в разд. 4.4, доверитель ные интервалы для исследуемых оценок. Если среднеквадратич ные ошибки малы, то при оценивании параметров, за исключе нием спектральной плотности и частотной характеристики, обыч но считается справедливым предположение о нормальности выбо рочных распределений оценок. Спектральная плотность и частот е н характеристика требуют специального рассмотрения, потому что %на практике нормированные среднеквадратичные ошибки оценок этих параметров часто бывают относительно велики. При получении оценок параметров ниже каждый раз будет исследо ваться состоятельность этих оценок в соответствии с уравне нием ^(4.7).
6.2. Оценки среднего значения и среднего значения квадрата
6.2.1. Среднее значение
Предположим, что отдельная реализация x(t), взятая из ста ционарного (эргодического) случайного процесса (х(/)}, опреде лена на конечном интервале времени длиной Т. Выборочное сред нее значение можно вычислить по формуле
г
рх= 4 - ^x{t)dt. |
(6 .10) |
о |
|
200 |
Глава 6 |
|
Истинное среднее |
значение |
* |
|
||
|
Ѵ-х^Щх (ОЙ |
(6. 11) |
не зависит от времени t, если процесс {x(t)\ |
стационарен. Мате- |
|
матическое ожидание оценки \х,х равно |
|
|
М[рх] = м |
|
т |
|
(6. 12) |
поскольку, как следует из соотношения (3.137), оператор мате^ матического ожидания коммутативен с линейными операторами.
Следовательно, независимо от длины реализации Т цх есть несме щенная оценка величины р*. Так как р_,. — несмещенная оценка,
то среднее значение квадрата ошибки оценки р* |
равно дис |
персии |
|
D [p,]= M 1(р*—p j 2] = М [р*]—р®, |
(6.13) |
где, согласно (6 .10), |
|
Т т |
|
M[p5j= -^ rJJ Щ х ® х |
(6.14) |
о о |
■< |
|
Автокорреляционная функция Rx(x) стационарного случай ного процесса jx(/)), определяемая формулой (3.44),
Rx (т)=М [х (t)x (t + т)]. |
(6.15) |
Согласно гипотезе о стационарности, Rx(x) не зависит от времени t и является четной функцией аргумента х с максимумом в точке т = 0. Будем считать, что функция Rx(x) непрерывна и ограниче на при всех значениях т и что все периодические составляющие функции Rx(x) заранее исключены. Автоковариационная функция Сх(т), определяемая формулой (3.47), имеет вид
Cx (x) = Rx ( x ) - ? l |
(6.16) |
Оказывается, что в случае, когда цх Ф 0 , удобнее пользоваться функцией Сх(х), а не Rx(x). Будем полагать, что функция СДт) интегрируема [см. формулу (3.118)], и, следовательно, процесс \x{t)) обладает свойством эргодичности.
Ошибки при анализе случайных процессов |
201 |
^ Дисперсию оценки (средний квадрат ошибки), определяемую Соотношениями (6.13) и (6.14), можно выразить через автоковариационную функцию Сх(т):
т т
j Сх (т)—s) d-4dl= |
|
о о |
|
тт- 1 |
|
1 Г !l - ± l L ) C x (x)dx. |
(6.17) |
0 - 6
N Последнее выражение получено изменением порядка интегри рования по переменным т и ^ и интегрированием по переменной По этой причине меняются пределы интегрирования по перемен ным т и £, как это показано на схеме,
« |
поэтому |
|
|
|
|
|
|
т |
т- 1 |
о |
т |
Г |
Т - х |
N |
j |
J Сх (т)d x d ü = j* j e * ( |
т ) j1 j Cx (т)d U x = |
|||
|
0 |
- 6 |
—г |
—X |
6 |
<r |
|
|
|
0 |
|
T |
|
|
|
= |
j (T + т)Сх (т)гіт + |
J (T— t) Cx (x)dx = |
T
=§ ( T - \ x \ ) C x (x)dx.
—T
Устремляя теперь T к бесконечности, можно переписать фор мулу (6.17) в виде
со
lim TD ^ х] = |С ж(т) йт< оо. |
(6.18) |
Т-хо
— СО
Здесь использованы соотношения (3.118), из которых следует, !,что функции Сх(х) и тСДт) абсолютно интегрируемы на интервале (—сю, сю), и поэтому можно перейти к пределу под знаком интег
202 Глава 6
рала. Равенство (6.18) показывает, в частности, что при большие
Т, когда I т I <£ Т, дисперсия |
|
ОО |
|
D[px] = « ^ J c x(T)dT. |
(6.19) |
Следовательно, в тех случаях, когда интеграл сходится, дисперсия D[px] стремится к нулю при стремлении Т к бесконечности. Это
значит, что |
есть состоятельная оценка параметра \ах. |
белого |
Пример 6.1. Дисперсия оценки среднего значения для |
||
шума с ограниченной полосой частот. Рассмотрим важный |
част |
|
ный случай, |
когда процесс (х(/)} есть белый шум с ограниченно!!' |
полосой частот, имеющий среднее значение рх Ф 0. Предположим," что спектральная плотность имеет вид
-g- + M£S(/), о < / < 5 ,
0 *(/> =
|
о, |
/ |
> в, |
где 5 — ширина полосы |
частот. |
|
|
Соответствующая автоковариационная функция: |
|||
со |
|
В |
|
С Х (т)= J G x if) cos 2~fxdf— |
jj^ = |
Г~ |
cos 2 - K fxdf= - ^~~ . |
о |
|
о |
|
(6. 20)
(6.21)
0^
Заметим, что Сх(0) = 1 и Сх(т) = 0 при т = 1/25. Таким обра зом, значения процесса в точках, разделенных промежутками 1/25, некоррелированы (в случае гауссовского процесса \x{t)\
они будут статистически независимыми). Из формулы (6.19) вытекает, что
ь' & ~ т Я т ^ ) * - - п г - |
. <6-22> |
Эта величина представляетг собой дисперсию оценди |
среднего |
значения белого шума с ограниченной полосой частот 5 |
на интер |
вале наблюдения Т. Соотношение (6.22) справедливо при доста точно больших значениях Т, поэтому вместо формулы (6.17) можно пользоваться соотношением (6.19), На практике эти усло
вия выполняются при Т ^ |
10 I тг 1 |
и ВТ ^ 5. |
При Сх(0) ф 1 формула |
(6.22) |
перепишется в виде |
|
СА 0) |
_ а2 |
Ошибки при анализе случайных процессов |
203 |
V Следовательно, в случае, когда р,жФ 0 , нормированное сред нее значение квадрата ошибки оценки будет равно
е2 |
D [?,] |
_ |
1 |
(6.23) |
|
(4 |
~ 2 |
В Т |
|||
|
|
Величина е, равная корню квадратному из выражения (6.23),
представляет собой нормированную среднеквадратичную ошибку,
которая в данном случае содержит только случайную ошибку, поскольку ошибка смещения равна нулю.
iß.2.2. Среднее значение квадрата
Пусть, как и в подразд. 6.2.1, x(t) есть отдельная реализация стационарного эргодического случайного процесса (х(£)}. Сред нее значение квадрата процесса {лг(^)} можно найти путем осред нения в пределах конечного интервала времени Т следующим образом:
т
|
|
= |
|
|
(6.24) |
|
|
<) |
|
|
|
Истинное среднее значение квадрата |
|
|
|
||
|
|
Ч £=М [*“(*)] |
|
|
(6.25) |
не зависит от времени t , |
так как процесс {*(/)} стационарен* Ма |
||||
тематическое ожидание |
оценки Чг2 составляет |
|
|||
|
|
М [х2(t)]dt ■ _тl _ |
1 |
|
|
м м |
- - Н |
I |
VI dt = 41 |
(6.26) |
|
Следовательно, независимо от длины реализации Т |
4я2 есть не |
смещенная оценка величины Т-2.
Среднее значение квадрата ошибки этой оценки равно ди
сперсии |
|
|
|
|
D r â = M [ОЙ |
= М № ] |
= |
|
|
Jk |
т т |
|
|
|
“ |
" і И I |
(М1x2 ® х2 (7|)1 |
dridL |
(6'27) |
|
оо |
|
|
|
204 |
Глава 6 |
Предположим теперь, что {*(/)) — гауссовский случайный про-^ цесс со средним значением рх ф 0. В этом случае математическое^ ожидание в формуле (6.27) запишется с 'учетом соотношения (3.134) в ином виде:
М [X2 (£) X2 (tj)]= 2 (RI (tj—£)■- ц і ) + TI. |
(6.28) |
Из основного соотношения (6.16) следует, что
/й ( ч - Е ) - |і і = С2 (-Ч-Е) + 2ЦІСХ (71-Е). |
(6.29) |
Таким образом,
т т
i
о |
о |
|
|
|
|
г |
|
|
|
|
|
^ K |
1~ |
J^ i ) (^ (T)“ ^ )dT= |
|
||
|
1 - ^ - ) ( С 2 (т) + 2ціСя (г)) dx. |
(6.30) |
|||
При больших |
Т, |
когда |
|т | |
Т, дисперсия становится |
равной |
|
D r |
â |
« |
СО |
|
|
(Cl (т) + 2JІІІСХ (x))dx. |
(6.31) |
— СО
m
Следовательно, величина Y2 есть состоятельная оценка параметра
IF2, так как дисперсия Dl1?2] стремится к нулю при Г -+ оо и при условии, что функции С2(т) и Сх(х) абсолютно интегрируемы на интервале (— оо, оо), как это устанавливается соотношениями
(3.118).
Пример 6.2. Дисперсия оценки среднего значения квадрата для гауссовского белого шума с ограниченной полосой частот. Рассмотрим важный частный случай гауссовского белого шума с ограниченной полосой частот, когда
Сх (т) = Сж(0) |
/ sin 2пВх \ |
(6.32) |
|
( 2кВх )■ |
|
Из формулы (6.31) видно, что |
|
|
DpF2] ^ ^ - - | - - 4 г № Л о)- |
(6.33) |
Эта величина представляет собой дисперсию оценки среднего значения квадрата гауссовского белого шума с ограниченной полосой частот В в интервале наблюдения Т. Соотношение (6.33)
Ошибки при анализе случайных процессов |
205 |
^справедливо при достаточно больших значениях Т, поэтому вместо -формулы (6.30) можно пользоваться формулой (6.31). Практи чески эти условия выполняются при Т > Ю| т| и ВТ ^ 5.
При р,* = 0 формула (6.33) перепишется в виде
= |
(6.34) |
Следовательно, при рж = 0 нормированное среднее значение квадрата ошибки выражается формулой
е2 |
D [Ф2] |
1 |
(6.35) |
|
~ |
ВТ |
|||
|
|
^Корень квадратный из выражения (6.35) дает нормированную среднеквадратичную ошибку е. Определяемая формулой (6.35) величина е представляет собой также нормированную средне квадратичную ошибку оценки дисперсии при р* = 0. Заметим, что величина е, как и оценка среднего значения, включает в себя только случайную ошибку, так как ошибка смещения равна нулю.
6.3. Оценки плотности распределения
Рассмотрим задачу оценивания плотности распределения от дельной реализации х(£) стационарного эргодического случайного процесса (х(г')]. Вероятность того, что ордината x(t) примет неко торое значение в интервале от х — (W/2) до х + (W/2) за вре-
■%ія Т, можно оценить выражением
Р[х, W ]= Р
(6.36)
I
где — промежуток времени, в течение которого ординаты x(t) находятся в пределах указанного интервала при і-м попада
нии в этот интервал, Тх = 2W i- Отношение T J T представляет
І
собой суммарную долю времени, в течение которого ординаты x(t) находятся в интервале [х — (IF/2), х + (W72)]. Следует от метить, что величина Тх обычно зависит от ординаты х. Оценка
вероятности |
Р\х, W] стремится к истинной |
вероятности при |
|
оо. Кроме того, она является несмещенной оценкой истинной |
|||
вероятности. |
Следовательно, |
|
|
Р [х, IF] = М [.Р [х, lF]]=lim .P [х, lF] = |
lim |
(6.37) |
Т -*со |
Т-»оо ■* |
206 Глава 6
Одномерная плотность распределения равна |
по определению / |
|||
Р \ x , W ] |
|
р \х W ] |
|
(6.38) |
р(х) = Гі т — ^ ----= 1 і т — У —і- = lim р (je), |
||||
ff'-»-О |
Г -ж » |
w |
Г -ж » |
|
где |
Iff-K» |
|
W->0 |
|
|
|
|
|
|
Р (* )= |
Р [ х , Щ |
|
|
(6.39) |
W |
T W |
|
есть выборочная оценка величины р{х). Вероятность того, что ордината реализации x(t) попадает в интервал между хг и х2, можно выразить JRчерез плотность распределения следующим образом:
Р |
*2 |
|
І |
X< хг] = j р (х) dx. |
(6.40) |
||
В частности, |
*1 |
|
|
|
л + ( В Д |
|
|
Р[х, Г]==Р |
|
|
|
+ |
= f p ( № |
(6.41) |
|
Тогда из формулыХ(б.ЗЭ) следует, что |
J x — (\V/2) |
|
|
x+wm |
|
||
|
|
|
|
М І Д « І _ |
|
А |
(6.42) |
Таким образом, вообще говоря, |
x — lw / 2 ) |
|
|
|
|
||
|
М [р (*)] Ф р (х), |
|
(6.43)* |
и, следовательно, р{х) в общем случае представляет собой смещенную оценку вероятности р(х).
Среднее значение квадрата ошибки для оценки р(х) находят по формуле (6 .6):
М[(р (*)— Р(*))2]= D |
[р (х)Н-Ь2 Ір (х)], |
(6.44) |
где D[p(x)] — дисперсия оценки, |
определяемая |
формулой |
D [3 (х)1= М [(р ( х )- М [р (х)])% |
(6.45) |
|
а Ь[р(х)] — смещение оценки, определяемое формулой |
||
Ь[р(х)\~М. [р (х) —р{х)]. |
(6.46). |
|
6.3.1. Дисперсия оценки |
|
д |
Для того чтобы найти дисперсию оценки р(х), необходимо знать статистические свойства промежутков времени Д*,, которые в сумме дают интервал Тх. К сожалению, получить такую вре-
Ошибки при анализе случайных процессов |
207 |
^менную статистику для случайного процесса очень трудно. Однако
соответствующее выражение для дисперсии величины р(х) в общем виде все же можно получить исходя из следующих эври стических соображений.
Как видно из соотношения (6.39), дисперсия оценки р(х)
D [p (x )]= -ir D [P (x)^)], |
(6.47) |
где Р(х, W) — оценка величины Р(х, U7). Дисперсия оценки этой доли времени, полученной по выборке объемом N независимых значений случайной величины, имеет вид [13]
D [Р (х, W)]= Р(х’W} [1 ~ .pSxi vDl t |
(6.48) |
Подставляя выражение (6.48) в (6.47) и полагая, что
Р (х, W) ^ Wp (х) С 1,
можно получить приближенную формулу для дисперсии оценки, характеризующей плотность распределения:
D [р{х) ) ^ Р М - г |
(6.49) |
где число^іѴ должно быть определено. Далее, как следует из до сказанной *в подразд. 3.5.2 теоремы о дискретном представлении "процесса во временной области, реализацию x(t) случайного про цесса с полосой частот В, заданную на интервале времени Т, можно полностью описать N = 2ВТ дискретными значениями. Эти N дискретных значений не обязательно, разумеется, будут стати стически независимы. Тем не менее для любого данного стацио нарного случайного процесса, обладающего свойством эргодич ности, каждая, его реализация содержит п — N/c2 независимых выборочных значений (степеней свободы), где с — постоянная. Таким образом, из формулы (6.49) следует, что
D [ р ( * ) ] « ^ 1 . |
(6.50) |
Постоянная с зависит от вида автокорреляционной функции про цесса и от величины интервала дискретности. Для ограниченного по частоте непрерывного белого шума, как показывают резуль- ?Іаты расчетов, с ^ 0,3. Если из ограниченного -по чаототе белого шума производится выборка N = 2ВТ дискретных значений, то результаты расчетов дают для этого случая постоянную с ~ 1 ,0 ; как это и следовало ожидать на основании ■,соотношения (6 .2 1 ).