Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

ЭКОНОМЕТРИКА и математическая экономика / Эконометрика. Учебник продвинутый (2005)

.pdf
Скачиваний:
512
Добавлен:
20.04.2015
Размер:
4.02 Mб
Скачать

A.3. Сведения из теории вероятностей и математической статистики703

 

ds (A)

 

= tr

∂s dA

= tr

∂s dA

 

 

 

 

 

 

 

 

 

 

 

 

 

 

.

dt

A

 

 

dt

 

A

dt

 

tr (A)

= tr

 

A

 

 

 

 

 

 

 

 

 

 

 

 

.

 

 

 

 

 

∂s

 

 

∂s

 

 

 

 

 

ln |A|

 

= tr A1

A

.

 

 

 

 

 

 

∂s

 

 

 

 

∂s

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

dy (x)

 

 

 

y dx

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ds

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

= x ds .

 

 

 

 

 

A.3. Сведения из теории вероятностей и математической статистики

A.3.1. Характеристики случайных величин

Определения

Функцией распределения случайной величины x называется функция Fx(z) = Pr(x z), сопоставляющая числу z вероятность того, что x не превышает z. Функция распределения полностью характеризует отдельную случайную величину.

Если случайная величина x непрерывна, то она имеет плотность fx(·), которая связана с функцией распределения соотношениями fx(z) = Fx(z).

Квантилью уровня F , где F [0; 1], (F -квантилью) непрерывной случайной величины x называется число xF , такое что

Fx(xF ) =

xF

fx(t)dt = F.

 

−∞

Медианой x0,5 называется 0, 5-квантиль.

Модой непрерывной случайной величины называется величина, при которой

плотность распределения достигает максимума, т.е. x = arg max fx(z).

z

Если распределение непрерывной случайной величины x симметрично относительно нуля, т.е. fx(z) = fx(−z) и Fx(−xF ) = 1 − Fx(xF ), то двусторонней F -квантилью называется число xF , такое что

Fx(xF ) − Fx(−xF ) =

xF

fx(t)dt = F.

−xF

704Приложение A. Вспомогательные сведения из высшей математики

Математическим ожиданием непрерывной случайной величины x называ-

ется E(x) =

+tfx(t)dt.

 

−∞

Математическое ожидание является начальным моментом первого порядка. Начальным (нецентральным) моментом q-го порядка называется

E(xq ) = +tq fx(t)dt.

−∞

По случайной величине x может быть построена соответствующая ей центрированная величина xˆ : xˆ = x − E(x), имеющая аналогичные законы распределения и нулевое математическое ожидание.

Центральным моментом q-го порядка случайной величины x называется на-

чальный момент q-го порядка для соответствующей центрированной величины xˆ, т.е. E(ˆxq ) = E [(x − E(x))q ]. Для непрерывной случайной величины центральный момент q-го порядка равен

+

µq = (t − E(x))q fx(t)dt.

−∞

Дисперсией случайной величины называется центральный момент второго порядка. Для непрерывной случайной величины дисперсия равна

var(x) = σx2 = E(ˆx2) = E (x − E(x))2 =

+(t − E(x))2fx(t)dt.

 

−∞

Среднеквадратическим отклонением называется квадратный корень из дисперсии σx = σx2 . Нормированной (стандартизованной) случайной величи-

ной называется x − E(x) .

σx

Коэффициентом асимметрии называется начальный момент третьего порядка нормированной случайной величины, т.е.

 

x − E(x)

3

µ3

 

δ3 = E

=

.

σx

 

 

 

σx3

Куртозисом называется начальный момент четвертого порядка нормированной случайной величины, т.е.

 

x − E(x)

4

µ4

 

δ4 = E

=

.

σx

 

 

 

σx4

Коэффициентом эксцесса называется δ4 3.

∂x1 · · · ∂xn

A.3 Сведения из теории вероятностей и матем. статистики

705

Для n-мерного случайного вектора x = (x1, . . . , xn) (многомерной случайной величины) функцией распределения называется

Fx1, ..., xn (z1, . . . , zn) = Pr(x1 z1, . . . , xn zn).

Если распределение случайного вектора x непрерывно, то он имеет плотность fx(·) (называемую совместной плотностью случайных величин x1, . . . , xn), которая связана с функцией распределения соотношениями

fx1, ..., xn (z) = nFx1, ..., xn (z) .

Случайные величины x1, . . . , xn называются независимыми (в совокупности), если Fx1, ..., xn (z1, . . . , zn) = Fx1 (z1) · · · Fxn (zn).

Ковариацией случайных величин x и y называется cov(x, y) = E [(x − E(x)) (y − E(y))] .

cov(x, y)

Корреляцией случайных величин x и y называется ρx,y = . var(x)var(x)

Ковариационной матрицей n-мерной случайной величины x = (x1, . . . , xn) называется

 

cov(x1, x1)

· · · cov(x1, xn)

 

Γx = var(x) =

.

. .

 

.

=

.

.

.

.

 

.

 

cov(x1, xn)

· · · cov(xn, xn)

 

= E (x E(x)) (x E(x)) .

Корреляционной матрицей n-мерной случайной величины x = (x1, . . . , xn) называется

 

1

ρx1,x2

· · ·

ρx1,xn

 

Px =

ρx1,x2

1

· · ·

ρx2,xn

.

.

.

.

.

 

.

 

.

.

 

.

.

 

 

.

.

 

 

.

 

 

ρx1,xn

ρx2,xn · · ·

1

 

706

Приложение A. Вспомогательные сведения из высшей математики

Функция распределения и плотность

 

 

Функция распределения имеет

следующие свойства: это неубывающая,

 

непрерывная справа функция, 0 Fx(z) 1, причем

lim Fx(z) = 0

 

и lim Fx(z) = 1.

 

 

z→−∞

 

 

 

 

 

z→∞

 

 

 

z

 

 

 

Fx(z) = −∞ fx(t)dt.

 

 

 

fx(z) 0.

 

 

 

+

 

 

 

−∞ fx(t)dt = 1.

 

 

 

Вероятность того, что x [a, b] , равна Pr(a x b) =

ab fx(t)dt.

Для многомерной случайной величины

 

 

 

z1

zn

 

 

 

Fx1, ..., xn (z1, . . . , zn) =

· · ·

fx1, ..., xn (t1, . . . , tn)dtn . . . dt1.

 

−∞

−∞

 

 

Если случайные величины x1, . . . , xn независимы, то

fx1, ..., xn (z1, . . . , zn) = fx1 (z1) · . . . · fxn (zn).

Математическое ожидание

Если c — константа, то E(c) = c.

Если x и y — любые две случайные величины, то

E(x + y) = E(x) + E(y).

Если c — константа, то E(cx) = cE(x).

В общем случае E(xy) = E(x)E(y).

Если функция f (·) вогнута, то выполнено неравенство Йенсена:

E (f (x)) f (E(x)) .

Для симметричного распределения выполено E(x) = x0,5 .

A.3 Сведения из теории вероятностей и матем. статистики

707

Дисперсия

var(x) = E(x2) E(x)2 .

Для любой случайной величины x выполнено var(x) 0.

Если c — константа, то выполнено: var(c) = 0; var(c + x) = var(x); var(cx) = c2var(x).

Если x и y — любые две случайные величины, то в общем случае:

var(x + y) = var(x) + var(y).

Неравенство Чебышёва: Pr (|x − E(x)| > α) var(x) для любого поло-

жительного числа α.

α2

Ковариация

cov(x, y) = E (xy) E(x)E(y).

cov(x, y) = cov(y, x).

cov(cx, y) = c · cov(x, y).

cov(x + y, z) = cov(x, z) + cov(y, z).

cov(x, x) = var(x).

Если x и y независимы, то cov(x, y) = 0. Обратное, вообще говоря, неверно.

Корреляция

 

 

 

 

ρ

x,y

= cov(˜x, y˜), где x˜ =

x − E(x)

и y˜ =

y − E(y)

— соответствую-

 

 

σx

 

σy

щие центрированные нормированные случайные величины. Следовательно, свойства корреляции аналогичны свойствам ковариации.

ρx,x = 1.

1 ρx,y 1.

Если ρx,y = 0, то E (xy) = E(x)E(y).

708 Приложение A. Вспомогательные сведения из высшей математики

Условные распределения

Условной вероятностью события A относительно события B называется

Pr(A|B) = Pr(A ∩ B)/ Pr(B).

Из определения следует, что Pr(A ∩ B) = Pr(A|B) Pr(B) = Pr(B|A) Pr(A).

Для независимых событий A и B выполнено Pr(A|B) = Pr(A).

Теорема Байеса: Пусть A1, . . . , An, B — события, такие что

(1)

Ai ∩ Aj = при i = j,

 

n

(2)

B i=1 Ai ,

(3)

Pr(B) > 0.

Тогда

 

 

 

 

 

Pr(A

B) =

Pr(B|Ai) Pr(Ai)

=

Pr(B|Ai) Pr(Ai)

.

Pr(B)

 

i|

 

 

n

 

 

 

 

j=1 Pr(B|Aj ) Pr(Aj )

Пусть (x, y) — случайный вектор, имеющий непрерывное распределение, где вектор x имеет размерность m × 1, а y — n × 1. Плотностью маргинального распределения x называется fx(x) = fx,y(x, y)dy. Плотно-

 

 

 

Rn

стью условного распределения x относительно y называется

fx|y(x|y) =

fx,y(x, y)

=

fx,y(x, y)

 

 

.

fy(y)

fx,y(x, y)dx

Rm

Если x и y независимы, то плотность условного распределения совпадает

с плотностью маргинального, т.е. fx|y(x|y) = fx(x).

Условным математическим ожиданием x относительно y называется

E (x|y) = xfx|y(x|y)dx.

Rm

Условная дисперсия x относительно y равна

var (x|y) = E (x − E (x|y))2 |y .

A.3 Сведения из теории вероятностей и матем. статистики

709

Свойства условного ожидания и дисперсии

E (α(y)|y) = α(y).

E (α(y)x|y) = α(y)E (x|y).

E (x1 + x2|y) = E (x1|y) + E (x2|y).

Правило повторного ожидания: E (E (x|y, z) |y) = E (x|y).

Если x и y независимы , то E (x|y) = E (x).

var (α(y)|y) = 0.

var (α(y) + x|y) = var (x|y).

var (α(y)x|y) = α2(y)var (x|y).

A.3.2. Распределения, связанные с нормальным

Нормальное распределение

Нормальное (или гауссовское) распределение с математическим ожиданием µ

и дисперсией σ2 обозначается N µ, σ2

и имеет плотность распределения

(f (z) =

1

 

 

e

(z−µ)2

 

 

 

2σ2

.

2πσ

2

 

 

 

 

 

 

Нормальное распределение симметрично относительно µ, и для него выполня-

ется E(x) = x0,5 = x = µ.

Моменты нормального распределения: µ2k+1 = 0 и µ2k = (2k − 1)!! · σ2k = = 1 · 3 · . . . · σ2k при целых k, в частности, µ4 = 3σ4 .

Коэффициент асимметрии: δ3 = 0.

Куртозис δ4 = 3, коэффициент эксцесса равен нулю.

Стандартным нормальным распределением называется N (0, 1). Его плотность

 

 

 

 

 

 

z

 

 

 

ϕ(z) =

1

e

z2

; функция распределения Φ(z) =

1

e

t2

dt.

2

2

2π

2π

−∞

710 Приложение A. Вспомогательные сведения из высшей математики

Распределение хи-квадрат

Распределение хи-квадрат с k степенями свободы обозначается χ2k . Его плотность:

 

 

f (x) =

(x/2)k/21

e−x/2, x 0,

 

 

 

 

 

 

 

 

 

 

 

 

 

2k/2Γ(k/2)

 

 

 

 

 

f (x) = 0, x < 0,

 

 

 

где Γ(·) — гамма-функция.

 

 

 

 

 

 

 

 

k

 

 

 

 

 

 

 

 

 

 

 

 

 

Если xi N (0, 1), i = 1, . . . , k и независимы в совокупности, то i=1 xi2 χk2 .

Если x χk2 , то E(x) = k и var(x) = 2k.

 

 

 

2

 

 

 

 

 

 

 

 

2

 

 

 

 

 

Коэффициент асимметрии: δ3 =

 

 

> 0.

 

 

 

k

 

 

 

12

 

 

 

 

 

 

 

 

 

 

12

 

Куртозис: δ4 =

 

+ 3, коэффициент эксцесса δ4

3 =

 

> 0.

k

k

При больших k распределение хи-квадрат похоже на N (k, 2k).

Распределение Стьюдента

Распределение Стьюдента с k степенями свободы обозначается через tk . Его также называют t-распределением. Его плотность:

f (x) =

Γ ((k + 1)/2)

1 +

x2 k+12

 

 

Γ(k/2)

 

 

.

k

Если x1 N (0, 1), x2 χk2 и независимы, то

 

x1

tk .

 

 

 

x2/k

Распределение Стьюдента симметрично относительно нуля и x0,5

Математическое ожидание существует при k > 1 и E(x) = 0.

 

При k n не существует n-го момента.

 

 

 

 

Дисперсия: var(x) =

 

 

k

(существует при k > 2).

 

 

 

 

 

 

 

 

 

 

 

 

k − 2

 

 

 

 

Коэффициент асимметрии: δ3 = 0 (существует при k > 3).

 

 

Куртозис: δ

= 3

k −

2

; коэффициент эксцесса: δ

3 =

 

6

 

 

4

k

 

4

4

 

k

 

4

 

 

 

 

 

 

 

 

 

 

 

при k > 4).

При больших k распределение Стьюдента похоже на N (0, 1).

= x = 0.

(существуют

A.3 Сведения из теории вероятностей и матем. статистики

711

Распределение Фишера

 

 

Распределение Фишера с

k1 и k2 степенями свободы обозначается

Fk1,k2 .

Его также называют F-распределением или распределением Фишера—Снедекора. Его плотность:

 

 

f (x) =

Γ ((k1 + k2)/2)

kk1/2kk2/2

 

 

 

xk1/21

 

,

 

 

 

 

 

 

 

(k1x + k2)(k1+k2)/2

 

 

 

 

Γ(k1/2)Γ(k2 /2) 1 2

 

 

 

f (x) = 0, x < 0.

 

 

 

 

 

 

 

 

 

 

 

Если x1 χk21 , x2 χk22

 

 

 

 

 

 

 

x1/k1

 

 

и независимы, то

 

Fk1,k2 .

 

x2/k2

 

Если x Fk1,k2 , то

 

 

 

 

 

 

 

 

 

 

 

E(x) =

k2

 

 

 

 

 

 

 

 

 

 

 

 

,

 

 

 

 

 

 

 

 

 

 

 

k2 2

 

 

 

 

 

 

 

 

 

 

 

var(x) =

2k22(k1 + k2 2)

,

 

 

 

 

 

 

 

 

 

 

k1(k2 2)2(k2 4)

 

 

 

 

 

 

 

 

δ3 =

2(2k1 + k2 2)

 

 

2(k2 4)

 

 

,

 

 

 

 

 

k2 6

 

 

 

 

 

 

 

 

 

 

 

 

k1(k1 + k2 2)

 

 

δ

3 =

12 (k2 2)2(k2 4) + k1(5k2 22)(k1 + k2 2)

,

 

4

 

 

 

k1(k1 + k2 2)(k2 6)(k2 8)

 

 

x 0,

при k2 > 2,

при k2 > 4,

при k2 > 6,

при k2 > 8.

Многомерное нормальное распределение

n-мерное нормальное распределение с математическим ожиданием µ (n × 1) и ковариационной матрицей Σ (n × n) обозначается N (µ, Σ). Его плотность:

f (z) = (2π)−n/2 |Σ|1/2 e12 (z−µ) Σ1(z−µ).

Свойства многомерного нормального распределения:

Если x N (µ, Σ), то Ax + b N (Aµ + b, AΣA ).

Если x N 0n, σ2 In , то x x χ2 .

σ2 n

Если x N (0, Σ), где Σ (n × n) — невырожденная матрица, то x Σ1x χ2n.

712Приложение A. Вспомогательные сведения из высшей математики

Если x N 0, A (A A)1 A , где A (n × k) — матрица, имеющая пол-

ный ранг по столбцам, то x x χ2k . Если x N 0, I A (A A)1 A , где A (n × k) — матрица, имеющая полный ранг по столбцам, то

x x χn2

−k .

 

Если x = (x1, . . . , xn) N

µ, diag(σ12, . . . , σn2 ) , то x1, . . . , xn независи-

мы в совокупности и xi N

µi, σi2 .

Если совместное распределение случайных векторов x и y является многомерным нормальным:

x

µx

,

Σxx

Σxy

,

N

 

Σyx

Σyy

y

µy

 

 

то маргинальное распределение x имеет вид x N (µx, Σxx), а условное распределение x относительно y имеет вид

x y

N

µ

x

+ Σ

xy

Σ1

(y

µ

) , Σ

xx

Σ

xy

Σ1

Σ

yx

.

|

 

 

 

yy

 

y

 

 

yy

 

 

Аналогично y N (µy , Σyy ) и

y x

N

µ

y

+ Σ

yx

Σ1

(x

µ

) , Σ

yy

Σ

yx

Σ1

Σ

xy

.

|

 

 

 

xx

 

x

 

 

xx

 

 

A.3.3. Проверка гипотез

Пусть x1, . . . , xn — случайная выборка из распределения Fθ , заданного параметром θ Θ.

Нулевая гипотеза H0 относительно параметра θ состоит в том, что он принадлежит некоторому более узкому множеству: θ Θ0 , где Θ0 Θ. Альтернативная гипотеза H1 состоит в том, что параметр принадлежит другому множеству: θ Θ1 , где Θ1 = Θ\Θ0. Рассматривается некоторая статистика s, которая является функцией от выборки: s = s(x1, . . . , xn). Процедуру (правило) проверки гипотезы называют статистическим критерием или статистическим тестом. Суть проверки гипотезы H0 против альтернативной гипотезы H1 состоит в том, что задаются две непересекающиеся области, S0 и S1 , такие что S0 ∩S1 — вся область значений статистики s. Если s S0 , то нулевая гипотеза (H0 ) принимается, а если s S1, то нулевая гипотеза отвергается.