Добавил:

ivanov666 Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Башкирский Государственный Аграрный Университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

книги из ГПНТБ / Медич Д. Статистически оптимальные линейные оценки и управление

.pdf

Скачиваний:

Добавлен:

25.10.2023

Размер:

13.81 Mб

Скачать

☆

<<< < Предыдущая 1 2 3 4 5 6 7 8 910 / 4510 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 > Следующая >>>

С точки зрения относительной частоты события это определение можно получить следующим естественным образом.

Пусть

эксперимент

повторяется

раз.

Обозначим

N (В) — число

событий

В, а

N (A f)B)

— событий

А Г) В (в

предположении,

что это

множество не пустсе) из N

экс

периментов. Из

общих соображений можно предполо кить,

что

для

большого N

вероятность

Р (А

\ В)

ведет

себя

как

отношение

N {A Ç) B)jN

(В).

Замечая,

что

N (Af]B)

N (А

B)/N

N (В)

N{B)/N

получим определение (3-9).

Теперь

пусть

f(x,

у)

обозначает

совместную

плот

ность

распределения

случайных векторов X и У,

а fy(y)—маргинальную

плотность

распределения

[см.

уравнение

(3-8)], причем обе эти

функции

непрерывны.

Кроме того, пусть А означает событие Х^х,

В—собы

тие у<С Y^:y

+ ày,

где X — м-вектор, а уиДг/—

ш-векторы

(Дг/і>0,

і = 1, ...,

m).

Согласно

уравнению

(3-9)

Р(Х<х\

у < Г < г / +

Дг/) =

p {

y < Y

< y

+ АУ)

•

С помощью

уравнений (3-4) и (3-6) получим:

Р(Х<х\

у<У<у

ау)

. . .

j . . .

f(l.K)dl1...dln<Kl...dïm

Используя теорему о среднем и полагая Ауі—»-0,

..., m, получаем:

P ( X < x I y = Y)=-°°

~°° f y ( y )

если fY{y)^=0.

,(3-10)

•

Функция

F(x

I Y = y)àP(X<x

I Y = y)

называется

условной

функцией

распределения

вероятно

стей X при условии

У. Функция

, .

dnF(x\\Y=y)

называется

условной

плотностью

распределения

вероят

ностей X при условии

У. Из определения и из уравнения

(3-10)

ясно, что

(3-11)

где для простоты в функции fY

(у)

опущен

индекс

У.

Аналогично

/ Ы - Ф

.f(x.y)

f(*)

где f(x)=fx(x).

Этот

результат,

называемый

формулой

Байеса,

будет

неоднократно

использоваться

дальней-

шем.

Заметим, что если

функ

ция f(x, у)

известна, то

f(x)

и f(y)

можно вычислить, ис

пользуя

уравнения

(3-7) и

(3-8). Тогда f(x\y)

f(y\x)

можно

получить

сразу

из

формулы

Байеса. Проиллю

стрируем

это на следующем

примере.

Пример

3-2.

Предположим,

Рис. 3-4. К примеру 3-2.

что X и у — скаляры с цилиндри

ческой совместной

функцией

плот

ности

распределения

вероятностей,

изображенной на

рис. 3-4,

т. е.

f (X, У) :

для

у2 <

1 ;

Тогда

в остальных

точках.

Ѵй

для — и f(</)=0 в остальных точках. Формула Байеса при водит к

— К у < 1

> t(xly)	f(x/y)
0,5	0,577
0,5

-1

-0,8БВ

0,8ВБ

у =

=0,5

Рис. 3-5. Условные плотности распределе

ния для у=0

и (/=0,5.

и f(.x\y)=0

в остальных

точках. Условная

плотность распределения

изображена на рис. 3-5 для у=0

и 0,5.

3-3. МОМЕНТЫ И ХАРАКТЕРИСТИЧЕСКАЯ

ФУНКЦИЯ

Математическое

ожидание

корреляция

Математическое

ожидание

скалярной

или вектор

ной функции . g(' ) случайного вектора X

определяется

как

со

E[g(X)]=

••• J

g(x)f(x)dx1...dxn,

(3-12)

—СО —CO

где X — я-вектор. Аналогично для математического

ожи

дания функции g(-,

•) двух

случайных

векторов X и Y

имеем:

со

Е [gУ)]

Ç • • • j

g (X, у) f (х,

у) dxx ... dxndyx...

dym.

—со

Здесь х —«-вектор;

у — m-вектор.

Если

g(X)=X,

то полученное

выражение

со

В[Х\=

j ... j xf (jc)dx,

... dxn

(3-13)

—со

называется

математическим

ожиданием,

средним

зна-

* чением или просто средним

случайного вектора X. Обыч-

но оно

обозначается

или х

и,

очевидно, является

~"п-вектором.

Чтобы убедиться, что это выражение действительно является средним значением X, рассмотрим эксперимент с точки зрения относительной частоты событий. Пред

положим, что		эксперимент		повторяется большое число
раз	(ІѴ раз)	и х1 — значение,			принимаемое случайным
л-вектором X		в і-м испытании. Тогда,				усредняя значение
X по N испытаниям, для			некоторого			достаточно	малого
л-вектора Ах1		получаем:
		S x j N (xj	<	X <	xi + Ах*)
		i
где	N (x^Xg^xi+Ax*)—число				экспериментов,		при ко

торых значение ХІ лежит в указанных границах. Так как

величина	N (х^Х^.х+'Ах*)/Ы	при увеличении N стре
мится к	вероятности	Р(хі^:Х^.хі+Ахі),		равной
[х(х*)Ах{	с точностью до	членов	первого	порядка по
Ах1, то
	H ^ 7 ( j c * )		àx\
	i

где индекс N означает, что среднее значение вычисляет ся по N испытаниям. В пределе при Ах*—>0 получим вы ражение (3-13).

Если обозначить через f(x) плотность, с которой еди ничная масса распределена в n-мерном евклидовом про

странстве, то X будет центром			распределенной		массы.
Иными	словами, Е(Х)	является	первым	моментом	плот
ности	распределения.		(X—х)',
Если принять g(X)		= (X—x)	(X—х)',	то можно	полу
чить выражение
		00	оо	- x) (x -
	Е [(X — х)(Х	— x)'] = j	... j (x	- x) (x -
		—00	—00
	— x)'f(x)dxl...dxw			(3-14)

представляющее собой симметрическую матрицу разме

ра	пХп.	Это	математическое		ожидание называют		кор
реляционной			матрицей X	и	обычно обозначают		Рхх,
Рхх	или Р (последнее обозначение используют, если яс
но, к какому			случайному вектору относится матрица).
	Если считать f(x) функцией плотности распределения
массы в n-мерном евклидовом					пространстве,	то матрица
Р	будет	вторым моментом		распределенной		массы	отно-

ситбльно	центра		тяжести. Поэтому ее часто						называют
вторым	центральным			моментом	или корреляционным					мо
ментом	X.				Р определяется
Каждый		элемент		матрицы	Р определяется				выраже
нием	со	со
	со	со
Р ц =	I " ' j ^ Х і ~ ( X j ~ х ^ ï ^ d x l					' ' ' d x n		=
	—со	—оо
	со
	= j J	{Xi ~	Xi) {Xj — Xä) fx ^ (Хіг			Xj)	dXidXj
	—CO
для t, / = 1 , ..., п. Если і = / , то получим							выражение
				00
		Р і і ~ И ^ X i			~ " ^
			—00					fx	(ХІ) > 0
Эта	величина		неотрицательна, так как					fx	(ХІ) > 0
для всех ХІ. В то же время элемент рц, ІФ\									г
для всех ХІ. В то же время элемент рц, ІФ\								может		быть

как положительным, так и отрицательным или нулем.

Элемент рц называется		дисперсией	случайной	вели
чины ХІ, а его квадратный		корень — стандартным		откло
нением.	Элемент рц, іф\	называют	корреляцией	слу
чайных	величин ХІ и Xj.
Если	дисперсия случайной величины является			мерой

отклонения случайной величины относительно ее сред него значения, то корреляционная матрица допускает ту же интерпретацию для случайного вектора. Диагональ ные элементы Р представляют собой просто дисперсии

компонент вектора			X. Однако недиагональные элементы
имеют иную	природу,			они являются			мерой	взаимосвязи
или корреляции		между		парами		случайных		величин ХІ		И
XJ; і, / = 1, ..., п, іф].				(Более подробно понятие					корре
ляции рассматривается				в § 3-4.)			(3-14) матрица Р
Заметим,	что в силу определения
неотрицательно		определена. Это следует из того, что вы
ражение под интегралом					(х—х)	(х—х)'		представляет
собой неотрицательно				определенную			матрицу, a		f(x)^
для всех x.										Р
Заметим	также, что				возможно		представление
в виде
		00	00
Р=		Ç . . . J xx'f(x)dx,...dxn					— xx'.		(3-15)

—00 —оо

Для двух случайных векторов выражение

		PXY	= E[(X-x)(Y-m		=
ОО	00
= S • • • $		( х ~ х)	(У ~	ѴУ î ( х - У) d x i ••• dxndy, ... dym			(3-16)
— 00	— 0 0	взаимную		корреляционную	матрицу	X	и	Y.
определяет
В уравнении (3-16) х — «-вектор, у — m-вектор; f(x,							у)	—
совместная		плотность		распределения X	и У; х = Е(х);			и
у = Е(у).	Очевидно, матрица Рху имеет				размер	пХт		и

Рху = Р'ух- Однако даже для т = п в общем случае матри ца Рху не обязательно должна быть симметрической или неотрицательно определенной.

Мы рассмотрели только первый и второй моменты распределения вероятностей. В частном случае распре деление вероятностей можно описать с помощью перво го и второго моментов, если известна функциональная форма этого распределения и если все параметры, от которых оно зависит, можно определить, зная эти два

момента.	Обычно	же для	такого описания требуются
моменты	высшего	порядка, т. е. моменты Л* и Xj поряд
ка r = k + l, определяемые			соотношением
	СО	00
	— 00	— 0 0

Однако в рамках данной книги знания х, Рхх и Рху оказывается достаточным для выполнения всех необхо димых расчетов. Причина этого станет понятной в даль нейшем.

Пример 3-3. Рассмотрим двумерный случайный вектор X с плот ностью распределения в виде двумерной функции Рэлея:

				•<і+І>
f (x) = f (х,, х г ) =		< 4 х і * * *						ДЛЯ X,,	ХгЗгО;
Тогда							в остальных		точках.
		J		х,х2<?	1		2	dXldx2.
Отсюда		Яо		-(л:2	+
			х\х2е	-(л:2	+		X2)
			х\х2е	1		2	dx,dx2 :
				1		2
?	-х1 * Г 2 - • * ? .							1	Ѵт.
\ х2е	ах2	\ х\е		аХі	=	4- т^-
о

Аналогично Е (Х2)			= —^— • т а к 4			X	0
Чтобы определить			корреляционную				матрицу,		используем уравне
ние (3-15)
со									1 I
Р = 4			2						1 I
Р = 4									1 1
									1 1
Тогда
0ц =		4 \| \| " х ? х			—<? + 2)				71
0ц =		4 \| \| " х ? х			^	rfx,rfx2		—	- j - "
		о
		00	-хX22		°Г		2 dx2
	=		3<?	1	rfx, l x<?2		2 dx2	— -r- =
	=	4^ х\е		*'	dx, J
		=	4-- 2		2
Заметим,	что Ргч. =			Pw
Наконец,
Р\г =	Pu = 4 I \			xfcfe
		=	4-	4	4		4
				4	4		4
и корреляционная матрица принимает вид:
					71
					— г		0

о1 — ^

Смысл нулевых недиагональных элементов матрицы Р будет рас

смотрен в § 3-4.

Условное		математическое	ожидание		и	условная
корреляция
Условное		математическое	ожидание		скалярной или
векторной функции g(-) случайного				вектора		X относи
тельно	другого	случайного вектора		У	согласно (3-12)
96 г	"

определяется как

Ex[g(X)

I У = У}=

со

g(x)f(x\y)dx1...dxn.

••• J

(3-17)

— 0 0 — 0 0

Индекс X при Е означает,

что операция

усреднения,

т. е. интегрирования,

проводится

относительно X. Этот индекс здесь

можно

опустить, не опасаясь не

доразумений.

Однако

некото

рых случаях

подобный индекс яв

ляется существенным для обозна

чения требуемых операций.

Условное

математическое

ожи

Условная ди

дание

X при условии

Y — y

Рис. 3-6.

сперсия.

Е(Х

I у)=

... j

xf(x

I y)dxt

...dxn

(3-18)

а соответствующая

условная

корреляционная

матрица

Рх\у

= Ех №-Е(Х\у)][Х-Е(Х\

у)}'} =

J .. . j

[х~Е(Х

I у)][х-Е(Х

| y)]'f(x

| y)dx,

...dxn.

— 0 0

(3-19)

Пример 3-4. Определим Е(Х\у)

и Р(Х\у)

для условной

плотно

сти

распределения из примера

3-2. Согласно

(3-18) в этом случае

2 K l

dx =

Этого

результата

можно

было

ожидать

на

основании

рис. 3-5

к примеру 3-2, откуда

видно,

что все плотности

распределения

вида

f(x\y)

являются равномерными

и симметричными относительно

нуля

функциями X.

Уравнение

(3-19) здесь примет вид:

х\у-

ѴіС— и*

dx.

2 K l

где

— 'ls£z/s ;і.

Условная

дисперсия

изображена

на рис. 3-6 в

виде

функции у 2 .

7—85

Поскольку случайные величины Л" и У связаны, понятно, что зна

ние значения	У позволяет судить				о соответствующем значении X.
В частности, можно считать Е(Х\у)					оценкой X в предположении, что
известно значение		У. Более		того,	поскольку		fx/у	является мерой
отклонения X от его условного математического ожидания, можно
использовать	условную		дисперсию Pxjy			и л и	квадратный		корень из
нее, условное	стандартное отклонение, как меру качества оценки. На
пример, при	Y=y=\		оценка	вида	X = £ ( J \| 1 ) = 0			является оценкой
с нулевой дисперсией, а при				У=у = 1/2,		Ä"'=0 — оценкой			с диспер
сией 1/4.
Свойства		условного		математического				ожидания
Пусть	X,	Y и	Z — случайные			векторы, для			которых

существуют все необходимые плотности распределения. Тогда


1. Ex[g(X)\X~x]				= g(x).
2. Ex(AX\Y=y)=AEx(X\Y=y),					рХп.		где	* —«-вектор,
а А — матрица			размера
3.	EXY(X+Y\Z=z)=Ex(X\Z=z)+Ey(Y\Z							= z),	где
X и	У — «-векторы,			a Z — т-вектор.
4. EY[Ex(X\Y			= y)]=Ex{X),			где X — «-вектор, а			У—
т-вектор.
Доказательство этих свойств сравнительно просто и
поэтому		оставлено		читателю		в	качестве	упражнения.
Можно		также	показать,		что	условное математическое
ожидание Е(Х\у)			определяется				однозначно (Л. 3-5].

Все эти свойства условного математического ожида ния будут неоднократно использоваться в дальнейшем.

Характеристическая				функция
Характеристическая				функция	ц>х (s)			случайного
«-вектора X
			00	00
<?х (s) =	Е(e,x's	) =	J	.. • Ç elx'sf (JC)dx,		... dxn,		(3-20)
			— 0 0 — 0 0
где /==}/"— 1, a		5 — /2-вектор. Заметим,				что	9 ^ ( 5 ) — с к а
лярная функция		s.
Согласно	теории		преобразования		Фурье		преобразо
вание, обратное (3-20), имеет вид:
		00		001
/ W	= ^	^..$e->s'x?x(s)dSl..:dsn.						(3-21)

—00 —OP

Аналогично

совместная характеристическая

функций

случайных векторов X и У, имеющих соответственно

раз

мерности

пит,

определяется

как

. . . j eilix's+v'r)f(x,y)dx1...dxndy1...dyni,

(3-22)

— 0 0 — 0 0

где

s — я-вектор,

а г — m-вектор. Тогда

со 4

[со

- 0 0

— 0 0

... dsndr1 ...

dr„

(3-23)

Очевидно,

уравнения

(3-22) и (3-23) можно

приве

сти

тому же

виду, что и уравнения (3-20)

(3-21),

если

ввести

(п+т)-мерные

векторы

Наконец,

условная

характеристическая

функция

при

условии

У = г/

. . . J *>'7(х

y)dxl...dxn.

—oo

Обратное

преобразование

имеет вид:

— 0 0

Характеристическая функция полезна в задачах опре деления закона распределения функции от случайного вектора по его вероятностному описанию. В § 3-5 будет показано, что характеристическая функция является чрезвычайно мощным средством для этой цели.

Пока проиллюстрируем использование характеристи ческой функции следующим простым примером.

<<< < Предыдущая 1 2 3 4 5 6 7 8 910 / 4510 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 > Следующая >>>

Соседние файлы в папке книги из ГПНТБ