Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

Диплом / suslov_ibragimov_ekonometrika

.pdf
Скачиваний:
46
Добавлен:
24.03.2015
Размер:
5.55 Mб
Скачать
= B! и ∂ tr (AB)
∂B
¥ ∂x!A−1
∂A
¥ ∂ tr (A)
∂A
∂x!Ay
¥ ∂A

702 ПриложениеA.Вспомогательные сведения из высшей математики

¥

∂x!y

=

∂y!x

= y.

∂x

∂x

 

¥∂x!x = 2x.

∂x

¥

∂x!Ay

= Ay и

∂x!Ay

= x!A.

∂x

∂y!

¥

∂x!Ax

= (A + A!)x.

 

∂x

 

 

∂x!Ax

Для симметричной матрицы A: ∂x = 2Ax = 2A!x.

= xy!.

y = (A!)−1 xy! (A!)−1.

= I.

¥ ∂ tr (AB) = A!.

∂A

¥

∂ tr (A!A)

= 2A.

 

 

 

∂A

 

 

 

 

¥

∂ tr (A!BA)

= (B

+ B!) A.

∂A

 

 

 

 

¥

∂ tr (A!BA)

= AA!.

∂B

 

 

 

 

¥

∂ |A|

= A

(A!)−1.

∂A

 

 

| |

 

 

 

 

 

 

 

 

¥

∂ ln |A|

 

= (A!)−1.

 

 

 

∂A

 

 

 

 

 

 

 

 

 

 

 

 

¥

∂ ln |A!BA|

= BA (A!BA)−1 + B!A (A!B!A)−1.

∂A

 

 

 

 

 

 

 

 

 

 

 

∂ (AB)

 

 

 

 

∂B

 

∂A

¥

 

 

 

= A

 

 

+

 

 

B.

∂s

 

 

∂s

∂s

¥

∂A−1

= −A−1

∂A

A−1.

∂s

∂s

A.3.Сведения из теории вероятностей и математической статистики 703

¥

 

dt

 

 

= tr #∂A ddt ! $

= tr

#∂A! dt $.

 

ds (A)

 

 

 

 

∂s

A

 

 

 

∂s dA

¥

∂s

 

= tr # ∂s

$.

 

 

 

 

 

 

tr (A)

 

 

 

 

∂A

 

 

 

 

 

¥

∂s| |

= tr #A−1 ∂s

$.

 

 

 

 

ln

A

 

 

 

 

 

 

 

 

∂A

 

 

 

 

dy (x)

=

∂y dx

 

 

 

 

 

 

¥

 

 

 

 

 

 

 

.

 

 

 

 

 

 

 

ds

 

 

∂x!

ds

 

 

 

 

 

 

A.3.Сведения из теории вероятностей и математической статистики

A.3.1.Характеристики случайных величин

Определения

¥ Функцией распределения случайной величины x называется функция Fx (z) = Pr(x ! z),сопоставляющаячислу z вероятностьтого,что x непревышает z.Функция распределения полностью характеризуетотдельную случайную величину.

¥Если случайная величина x непрерывна,то она имеет плотность fx(á),которая связана с функцией распределения соотношениями fx(z) = Fx! (z).

¥Квантилью уровня F ,где F [0; 1], (F -квантилью)непрерывной случайной величины x называется число xF ,такое что

Fx (xF ) =

-−∞ fx(t)dt = F.

 

xF

¥Медианой x0,5 называется 0, 5-квантиль.

¥Модой непрерывной случайной величины называется величина,при которой

плотность распределения достигает максимума,т.е. x = arg max fx(z).

z

¥Если распределение непрерывной случайной величины x симметрично относительно нуля,т.е. fx(z) = fx(−z) и Fx (−xF ) = 1 − Fx(xF ),то двусторонней F -квантилью называется число xF ,такое что

Fx(xF ) − Fx (−xF ) =

-−xF fx(t)dt = F.

 

xF

ной называется

704ПриложениеA.Вспомогательные сведения из высшей математики

¥Математическим ожиданием непрерывной случайной величины x называ-

ется E(x) = /−∞+∞ tfx(t)dt.

¥Математическое ожидание является начальным моментом первого по-

рядка.Начальным(нецентральным)моментом

q-го порядка называется

E(xq ) = /−∞+∞ tq fx(t)dt.

 

¥По случайной величине x может быть построена соответствующая ей центрированная величина xö : xö = x − E(x),имеющая аналогичные законы распределения и нулевое математическое ожидание.

¥Центральныммоментом q-гопорядкаслучайнойвеличины x называетсяначальный момент q-го порядка для соответствующей центрированной величины xö,т.е. E(öxq ) = E [(x − E(x))q ].Для непрерывной случайной величины центральный момент q-го порядка равен

µq = - +∞(t − E(x))q fx(t)dt.

−∞

¥Дисперсией случайной величины называется центральный момент второго порядка.Для непрерывной случайной величины дисперсия равна

var(x) = σx2 = E(öx2) = E (x − E(x))2

= -

+∞(t − E(x))2fx(t)dt.

6

7

−∞

¥ Среднеквадратическим отклонением называется квадратный корень из дис-

Z

персии σx = σx2.Нормированной(стандартизованной)случайной величи-

x − E(x) .

σx

¥Коэффициентомасимметрииназываетсяначальныймоменттретьегопорядка нормированной случайной величины,т.е.

P#

σx

$

3

Q

 

σx3

δ3 = E

x − E(x)

 

 

 

=

 

.

¥Куртозисом называется начальный момент четвертого порядка нормированной случайной величины,т.е.

P#

σx

$

4

Q

 

σx4

δ4 = E

x − E(x)

 

 

 

=

 

.

Коэффициентом эксцесса называется δ4 − 3.

A.3Сведения из теории вероятностей и матем.статистики

705

¥Для n-мерного случайного вектора x = (x1, . . . , xn)! (многомерной случайной величины)функцией распределения называется

Fx1, ..., xn (z1, . . . , zn) = Pr(x1 ! z1, . . . , xn ! zn ).

¥Если распределение случайного вектора x непрерывно,то он имеет плотность fx(á) (называемую совместной плотностью случайных величин

x1, . . . , xn ),которая связана с функцией распределения соотношениями

fx1, ..., xn (z) = n Fx1á, á...á, xn (z) .

∂x1 ∂xn

Случайные величины x1, . . . , xn называются независимыми(в совокупно-

сти),если Fx1, ..., xn (z1, . . . , zn) = Fx1 (z1) ááá Fxn (zn ).

¥Ковариацией случайных величин x и y называется

cov(x, y) = E [(x − E(x)) (y − E(y))] .

¥ Корреляцией случайных величин x и y называется ρx,y = Z cov(x, y) . var(x)var(x)

¥Ковариационнойматрицей n-мернойслучайнойвеличины x = (x1, . . . , xn)! называется

" = var(x) =

x

cov(x1, x1)

ááá

cov(x1

, xn)

 

=

...

...

...

 

 

 

 

 

 

 

 

cov(x , x )

 

cov(x

, x )

 

 

 

 

 

1 n

ááá

n

n

 

 

 

 

 

6

7

= E (x − E(x)) (x − E(x))! .

¥Корреляционнойматрицей n-мернойслучайнойвеличины x = (x1, . . . , xn)! называется

 

 

1

ρx1,x2

ááá

Px =

 

 

 

 

ááá

 

.

 

. .

..

 

..

 

..

 

 

 

 

,x2

1

 

 

 

ρx1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ρx2,xn

ááá

 

ρx1,xn

 

 

ρx1,xn

 

.

.

 

..

 

ρx2,xn

 

 

 

 

 

 

 

 

 

 

 

 

1

706 ПриложениеA.Вспомогательные сведения из высшей математики

Функция распределения и плотность

¥

Функция распределения имеет следующие свойства:это неубывающая,

 

непрерывная справа функция, 0 ! Fx (z) ! 1,причем lim Fx(z) = 0

 

z→−∞

 

и lim Fx(z) = 1.

 

z→∞

¥

Fx(z) = /z fx(t)dt.

¥

fx(z) " 0.

¥

/−∞fx(t)dt = 1.

 

+

¥

Вероятность того,что x [a, b] ,равна Pr(a ! x ! b) = /ab fx(t)dt.

¥ Для многомерной случайной величины

Fx1, ..., xn (z1, . . . , zn) =

-−∞

ááá

-−∞ fx1, ..., xn (t1, . . . , tn)dtn . . . dt1.

 

z1

 

zn

¥ Если случайные величины x1, . . . , xn независимы,то

fx1, ..., xn (z1, . . . , zn) = fx1 (z1) á . . . á fxn (zn ).

Математическое ожидание

¥ Если c Ñконстанта,то E(c) = c.

¥ Если x и y Ñлюбые две случайные величины,то

E(x + y) = E(x) + E(y).

¥ Если c Ñконстанта,то E(cx) = cE(x).

¥В общем случае E(xy) =! E(x)E(y).

¥Если функция f (á) вогнута,то выполнено неравенство Йенсена:

E (f (x)) ! f (E(x)) .

¥ Для симметричного распределения выполено E(x) = x0,5.

A.3Сведения из теории вероятностей и матем.статистики

707

Дисперсия

¥var(x) = E(x2) − E(x)2.

¥Для любой случайной величины x выполнено var(x) " 0.

¥Если c Ñконстанта,то выполнено: var(c) = 0; var(c + x) = var(x); var(cx) = c2var(x).

¥Если x и y Ñлюбые две случайные величины,то в общем случае:

var(x + y) =! var(x) + var(y).

¥ Неравенство Чебышёва: Pr (|x − E(x)| > α) !

var(x)

для любого поло-

 

 

α2

жительного числа α.

 

 

 

Ковариация

¥cov(x, y) = E (xy) − E(x)E(y).

¥cov(x, y) = cov(y, x).

¥cov(cx, y) = c á cov(x, y).

¥cov(x + y, z) = cov(x, z) + cov(y, z).

¥cov(x, x) = var(x).

¥Если x и y независимы,то cov(x, y) = 0.Обратное,вообще говоря,неверно.

Корреляция

 

 

 

 

 

¥

ρ

x,y

= cov(÷x, y÷),где

x÷ =

x − E(x)

и y÷ =

y − E(y)

Ñсоответствую-

 

 

 

σx

 

σy

щие центрированные нормированные случайные величины.Следовательно, свойства корреляции аналогичны свойствам ковариации.

¥ρx,x = 1.

¥−1 ! ρx,y ! 1.

¥Если ρx,y = 0,то E (xy) = E(x)E(y).

708 ПриложениеA.Вспомогательные сведения из высшей математики

Условные распределения

¥Условной вероятностью события A относительно события B называется

Pr(A|B) = Pr(A ∩ B)/ Pr(B).

Из определения следует,что Pr(A ∩B) = Pr(A|B) Pr(B) = Pr(B|A) Pr(A).

¥ Для независимых событий A и B выполнено Pr(A|B) = Pr(A).

¥Теорема Байеса:Пусть A1, . . . , An, B Ñсобытия,такие что

(1)Ai ∩ Aj = при i =! j ,

(2)B 5n Ai ,

i=1

(3) Pr(B) > 0.

 

 

 

 

 

Тогда

 

 

 

 

 

Pr(A

B) =

Pr(B|Ai ) Pr(Ai)

=

Pr(B|Ai) Pr(Ai )

.

 

i |

Pr(B)

 

n

 

 

 

 

j%

 

 

 

 

=1 Pr(B|Aj ) Pr(Aj )

¥Пусть (x, y) Ñслучайный вектор,имеющий не прерывное распределение,

где вектор x имеет размерность m × 1, а y Ñ n/× 1.Плотностью маргинального распределения x называется fx(x) = fx,y(x, y)dy.Плотно-

Rn

стью условного распределения x относительно y называется

fx|y(x|y) =

fx,y(x, y)

=

 

fx,y(x, y)

 

 

 

.

fy(y)

R/m fx,y(x, y)dx

¥ Если x и y независимы,то плотность условного распределения совпадает

с плотностью маргинального,т.е. fx|y(x|y) = fx(x).

¥Условным математическим ожиданием x относительно y называется

-

E (x|y) = xfx|y(x|y)dx.

Rm

¥ Условная дисперсия x относительно y равна

( )

var (x|y) = E (x − E (x|y))2 |y .

A.3Сведения из теории вероятностей и матем.статистики

709

Свойства условного ожидания и дисперсии

¥E (α(y)|y) = α(y).

¥E (α(y)x|y) = α(y)E (x|y).

¥E (x1 + x2|y) = E (x1|y) + E (x2|y).

¥Правило повторного ожидания: E (E (x|y, z) |y) = E (x|y).

¥ Если x и y независимы,то E (x|y) = E (x).

¥var (α(y)|y) = 0.

¥var (α(y) + x|y) = var (x|y).

¥var (α(y)x|y) = α2(y)var (x|y).

A.3.2.Распределения, связанные с нормальным

Нормальное распределение

Нормальное(или гауссовское)распред еление с математическим ожиданием µ и дисперсией σ2 обозначается N 0µ,σ 21 и имеет плотность распределения

(f (z) =

1

 

e

(z−µ)2

 

 

2

.

2πσ

2

 

 

 

 

 

Нормальное распределение симметрично относительно µ,и для него выполня-

ется E(x) = x0,5 = x = µ.

Моменты нормального распределения:µ2k+1 = 0 и µ2k = (2k − 1)!! á σ2k = = 1 á 3 á . . . á σ2k при целых k,в частности, µ4 = 3σ4.

Коэффициент асимметрии:δ3 = 0.

Куртозис δ4 = 3,коэффициент эксцесса равен нулю.

Стандартным нормальнымраспределениемназывается N (0, 1).Егоплотность ϕ(z) = √1ez22 ;функция распределения Φ(z) = -z 1et22 dt.

−∞

710 ПриложениеA.Вспомогательные сведения из высшей математики

Распределение хи-квадрат

Распределение хи-квадрат с k степенями свободы обозначается χ2k .Его плотность:

f (x) = 2k/2

"(k/2) e−x/2

, x " 0,

 

(x/2)k/2−1

 

 

 

 

 

 

 

 

 

 

 

f (x) = 0, x < 0,

где "(á) Ñгамма-функция.

Если xi N (0, 1), i = 1, . . . , k и независимы в совокупности,то

Если x χ2k ,то E(x) = k и var(x) =2k.

Коэффициент асимметрии: δ3 = 22 > 0. k

Куртозис: δ4 = 12k + 3,коэффициент эксцесса δ4 − 3 = 12k > 0. При больших k распределение хи-квадрат похоже на N (k, 2k).

%k x2i χ2k . i=1

Распределение Стьюдента

Распределение Стьюдента с k степенями свободы обозначается через tk .Его также называют t-распределением.Его плотность:

f (x) =

"√kπ"(k/2)

,1 +

k .

k+12

.

 

(( k + 1)/2)

 

x2

 

 

Если x1 N (0, 1), x2 χk2 и независимы,то

 

 

 

x1

tk .

 

Z

 

 

 

x2/k

 

Распределение Стьюдента симметрично относительно нуля и x0,5 Математическое ожидание существует при k > 1 и E(x) = 0. При k ! n не существует n-го момента.

Дисперсия: var(x) =

 

 

k

2).

 

 

 

 

 

 

 

(существует при k >

 

 

 

 

 

k − 2

 

 

 

 

Коэффициент асимметрии: δ3 = 0 (существует при k > 3).

 

 

Куртозис: δ

= 3

k −

2

;коэффициент эксцесса: δ

4 −

3 =

 

6

 

k

 

4

4

 

k

4

 

 

 

при k > 4).

 

 

 

 

 

 

 

 

 

 

При больших k распределение Стьюдента похоже на N (0, 1).

= x = 0.

(существуют

A.3Сведения из теории вероятностей и матем.статистики

 

 

711

Распределение Фишера

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Распределение Фишера с k1 и k2

степенями свободы обозначается Fk1,k2 .

ЕготакженазываютF-распределениемили распределениемФишераÑСнедекора.

Его плотность:

 

 

 

 

 

 

 

/2) k11

 

 

 

 

 

 

(k1x + k2)(k1+k2)/2 , x " 0,

 

 

 

 

f (x) = "(k1/2)"(k2

/2

k2

2

/2

 

 

 

 

 

 

"(( k1

+ k2)/2) k

 

k

 

 

xk1

/2−1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

f (x) = 0, x < 0.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x1/k1

 

 

 

 

 

 

Если x1 χk21 ,

x2 χk22

и независимы,то

 

Fk1,k2 .

 

 

 

 

x2/k2

 

 

 

Если x Fk1,k2 ,то

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

E(x) =

k2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

при k2 > 2,

 

,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

k2 − 2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

var(x) =

2k22(k1 + k2 − 2)

 

,

 

 

 

 

 

 

 

 

 

 

 

 

 

при k2 > 4,

 

 

 

k1(k2 − 2)2(k2 − 4)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

3

k2

 

6

 

 

A

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

k1(k1 + k2

 

 

2)

 

 

 

 

 

 

 

 

δ =

2(2k1 + k2

 

2)

 

 

 

 

2(k2

4)

 

 

,

 

 

 

 

при k

 

> 6,

 

W

 

 

 

 

 

 

 

 

 

 

 

 

X

 

4

 

 

 

 

 

 

 

 

− 2)(k2

 

 

 

 

 

 

 

2

 

 

k1(k1 + k2

− 6)(k2 − 8)

 

 

 

δ

 

3 =

12 (k2

 

2)2

(k2

4) + k1(5k2

− 22)(k1 + k2 − 2)

,

 

при k

 

> 8.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Многомерное нормальное распределение

n-мерное нормальное распределение с математическим ожиданием µ (n × 1)

и ковариационной матрицей Σ (n × n)обозначается

N (µ, Σ).Его плотность:

f (z) = (2π)

n/2

|Σ|

1/2

e

1

(z µ)!Σ−1(z µ)

.

 

 

2

Свойства многомерного нормального распределения:

¥ Если x N (µ, Σ),то Ax + b N (Aµ + b, AΣA!).

¥ Если x N

00n, σ2In1,то

x!x

χn2 .

σ2

¥Если x N (0, Σ),где Σ (n × n) Ñневырожденная матрица,то x!Σ−1x χ2n .

Соседние файлы в папке Диплом