Лекции / Чернова Н.И. Лекции по математической статистике
.pdf
|
Упражнение. Покажите, что в условиях примера 34 ОМП для θ, минимизирую- |
||||||||
|
щая P|Xi − θ|, есть выборочная медиана |
||||||||
|
θ^ = |
|
1 |
X(m), |
|
|
|
|
если n = 2m−1 (нечётно), |
|
|
|
|
X(m)+X(m+1) , если n = 2m (чётно), |
|||||
Оглавление |
|
2 |
|||||||
|
|
|
|
|
2 |
|
1 |
n |
|
|
|
|
|
|
|||||
|
а ОМП для дисперсии равна σ^ |
|
= |
|
|
P|Xi − θ^|. Вместо полусуммы можно брать |
|||
|
|
n |
i=1
JJ |
II |
любую точку отрезка hX(m), X(m+1)i. |
|
J |
I |
Пример 36. Линейная регрессия. |
|
На стр. ... |
из 180 |
Рассмотрим линейную регрессию Xi = θ1 + tiθ2 + εi, i = 1, . . . , n, где θ1 |
и θ2 |
|
|
— неизвестные параметры. Здесь f(t) = θ1 + tθ2 — прямая. |
|
Назад |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
^ |
^ |
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
Во весь экран |
Найдем оценку метода наименьших квадратов θ1 |
, θ2, на которой достигается мини- |
|||||||||||||||||||||
мум величины |
εi2 = |
|
(Xi − θ1 − tiθ2)2. Приравняв к нулю частные производные |
||||||||||||||||||||
|
|
||||||||||||||||||||||
|
|||||||||||||||||||||||
|
параметрам, найдем точку экстремума. |
||||||||||||||||||||||
|
этой суммы по P |
P |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
Упражнение. Убедиться, что решением системы уравнений |
||||||||||||||||||||||
Уйти |
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
n |
|
|
n |
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
∂ |
Xi 1 |
∂ |
|
Xi 1 |
|||||||||||||||
|
|
|
|
|
|
|
|
|
εi2 = 0 , |
|
|
|
εi2 = 0 |
||||||||||
|
|
|
|
∂θ1 |
|
= |
|
|
|
|
|
|
∂θ2 |
= |
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
является пара |
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
Стр. 163 |
|
θ^2 |
|
|
tiXi − X · t , |
|
|
θ^1 = |
|
|
tθ^2. |
||||||||||||
|
= n |
|
|
|
|
− |
|||||||||||||||||
|
|
|
|
X |
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
P |
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
nP (ti − t)2 |
|
|
|
|
|
|
|
9.5. Общая модель линейной регрессии
Введем два вектора: Z = (Z1, . . . , Zk) — факторы регрессии и β = (β1, . . . , βk) — неизвестные параметры регрессии. Каждый вектор есть вектор-столбец, а изображен по горизонтали для удобства. Обозначать вектора мы, как и ранее, будем жирным
Оглавление
шрифтом.
Рассматривается модель регрессии, которая в курсе «Эконометрика» называется простой (линейной) регрессией:
JJ |
II |
E (X | Z = t) = f(t) = β1 t1+. . .+βk tk, или |
E (X | Z) = f(Z) = β1 Z1+. . .+βk Zk. |
||||
J |
I |
||||||
Пусть в i-м эксперименте факторы регрессии принимают заранее заданные значе- |
|||||||
На стр. ... из 180 |
ния Z(i) = (Z(i) |
, . . . , Z(i)), где i = 1, . . . , n. |
|
||||
1 |
k |
|
|
|
|||
|
|
После n >k экспериментов получен набор откликов X = (X1, . . . , Xn), где |
|||||
|
Назад |
|
|
X1 = β1 Z1(1) + . . . + βk Zk(1) + ε1 |
|||
|
|
|
|||||
|
|
|
|
1 |
k |
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
= β1 Z(2) + . . . + βk Z(2) + ε2 |
||
Во весь экран |
|
X2 |
|||||
|
|
|
. . . |
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Xn = β1 Z1(n) + . . . + βk Zk(n) + εn, |
Уйти
или, в матричной форме, X = ZT β + ε, где матрица Z(k × n) (матрица плана) равна
Z = |
|
Z1(1) |
. . . |
Z1(n) |
= (Z(1) . . . Z(n)). |
|
... |
. . . |
... |
|
|||
|
|
|
|
|
|
|
Стр. 165 |
Zk(1) . . . Zk(n) |
Вектор ε = (ε1, . . . , εn) состоит из случайных ошибок в данных экспериментах.
|
|
|
Пусть выполнены предположения 1 и 2: |
|
|
|
|
||
|
|
Предположение 2. Вектор ошибок ε состоит из независимых случайных величин с |
|
||||||
|
|
нормальным распределением N0,σ2 |
с одной и той же дисперсией. |
|
|
||||
Оглавление |
|
|
|
|
|
|
|
|
|
|
|
|
Напоминание 3. Для произвольного случайного вектора x, координаты которого имеют вто- |
||||||
|
|
|
рые моменты, матрица ковариаций D x = E (x − E x)(x − E x)T |
— это матрица, чей (i, j)-й |
|||||
JJ |
II |
|
элемент равен |
|
|
|
|
|
|
|
|
|
cov(xi, xj) = E (xi − E xi)(xj − E xj). |
|
|||||
J |
I |
|
В частности, D ε = σ2 · En, где En — единичная (n×n)-матрица. |
|
|||||
На стр. ... |
из 180 |
|
|
|
|
|
|
|
|
Назад |
3. |
√ |
^ |
2 |
Ek : |
|
|
|
|
Матрица ковариаций вектора |
Aβ |
равна σ |
= E √A(β^ −β) √A(β^ −β) T |
|
|||||
Во весь экран |
|
D√Aβ^ = E √Aβ^ − E √Aβ^ √Aβ^ − E √Aβ^ T |
= |
|
= E √ |
AA−1Zε √ |
AA−1Zε T = √ |
AA−1Z E εεT ZT A−1T √ |
|
|
T . |
|
|||||||||||||||||
|
A |
|
|||||||||||||||||||||||
|
И так как A |
T |
= A, Eεε |
T |
2 |
En, то D |
√ |
|
^ |
2 |
|
√ |
|
−1 |
T |
−1√ |
|
|
2 |
Ek. |
|||||
Уйти |
|
|
|
||||||||||||||||||||||
|
|
|
|||||||||||||||||||||||
|
|
|
= σ |
Aβ = σ |
|
· |
AA |
ZZ A |
|
A = σ |
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
√ |
|
|
^ |
некоррелированы. Сформу- |
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
Свойство 3 означает, что координаты вектора |
Aβ |
|||||||||||||||||||||||
|
лируем дальнейшее следствие этого свойства первым пунктом следующей теоремы. С |
||||||||||||||||||||||||
Стр. 169 |
утверждениями второго и третьего пунктов читатель встретится в следующем семестре |
||||||||||||||||||||||||
многократно. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Теорема 13. |
|
|
|
|
|
|
|
|
1. Вектор |
1 |
√ |
|
^ |
|
имеет k-мерное стандартное нормальное распределение, |
|
|
|
|
||||||
|
σ |
A(β − |
β) |
|||||
|
т. е. состоит из k независимых случайных величин с распределением N0,1. |
|||||||
Оглавление |
||||||||
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
2. |
nσ^2 |
1 |
|
T |
^ |
2 |
2 |
|
|
|
Величина σ2 |
= σ2 kX−Z |
|
||||||
|
|
|
βk |
|
имеет распределение χ |
с n−k степенями свободы |
||||
|
|
|
|
^ |
|
|
|
|
|
|
JJ |
II |
|
и не зависит от β. |
|
|
|
|
|
|
|
|
|
nσ^2 |
1 |
|
|
|
|
|||
|
|
3. |
|
|
|
|
|
|||
J |
I |
Оценка (σ2) |
= n−k = n−kkX−ZT β^ k2 является несмещенной оценкой для σ2. |
На стр. ... из 180
|
Доказательство теоремы 13. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
Назад |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
√ |
|
|
|
|
√ |
|
|
|
|
|
|
√ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
^ |
|
|
|
|
−1 |
|
|
|
|
−1 |
|
|
|
|
|
|
|
|
|
|
|
|||||
|
1. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
Вектор |
A(β − β) = AA |
|
|
Zε = ( |
|
|
A) |
|
Zε |
есть линейное преобразование нормального |
||||||||||||||||||||
Во весь экран |
|
вектора ε и поэтому имеет нормальное совместное распределение. По свойству 3, матрица |
|||||||||||||||||||||||||||||
|
|
ковариаций этого вектора есть σ2Ek, поэтому матрица ковариаций нормированного вектора |
|||||||||||||||||||||||||||||
|
|
√ |
|
^ |
β)/σ есть просто Ek, а математическое ожидание равно нулю по свойству 2. |
||||||||||||||||||||||||||
|
|
|
|||||||||||||||||||||||||||||
|
|
|
A(β − |
||||||||||||||||||||||||||||
|
|
Напомним, что координаты многомерного нормального вектора независимы тогда и только |
|||||||||||||||||||||||||||||
Уйти |
|
тогда, когда они некоррелированы — см. теорему 14. Первое утверждение теоремы доказано. |
|||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2. |
По построению ОМНК, вектор X − Z |
T |
^ |
|
|
|
|
|
|
|
|
T |
t. В частно- |
||||||||||||||||||
|
β ортогонален любому вектору вида Z |
|
|
||||||||||||||||||||||||||||
|
|
сти, он ортогонален вектору |
|
T ^ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
Z (β − β). По теореме Пифагора, для треугольника с такими |
|||||||||||||||||||||||||||||
|
|
катетами сумма квадратов их длин равна квадрату длины гипотенузы: |
|
|
|
|
|
||||||||||||||||||||||||
Стр. 170 |
|
|
kX − Z |
T ^ |
2 |
|
T |
^ |
− β)k |
2 |
|
= kX − Z |
T ^ |
T ^ |
β)k |
2 |
= kX − Z |
T |
βk |
2 |
. |
||||||||||
|
|
βk |
|
+ kZ (β |
|
|
β |
+ Z (β − |
|
|
|