4. |
|
|
|
|
|
|
|
|
qm |
|
|
|
|
|
|
|
In quadratic mean (L2): Xn ! X |
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
lim |
|
(X |
n |
X)2 |
= 0 |
||
Relationships |
|
|
|
|
|
n!1 E |
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
Xn |
qm |
X = Xn |
P |
X = Xn |
|
D |
X |
|
|
||||||
|
! |
|
|
) |
|
|
! |
) |
|
! |
|
|
|
|
||
|
|
as |
|
|
) |
|
|
P |
|
|
|
|
|
|
|
|
Xn |
! |
|
|
Xn |
! |
X |
|
|
|
|
|
|
|
|||
|
|
X = |
|
|
|
|
|
|
|
|
||||||
|
|
D |
|
|
|
|
|
|
|
|
|
|
|
|
P |
|
Xn ! X |
^ (9c 2 R) P [X = c] = 1 =) Xn ! X |
|||||||||||||||
|
Xn |
P |
X |
^ |
Yn |
P |
Y = Xn + Yn |
P |
|
X + Y |
|
|||||
|
! |
|
|
! |
|
|
) |
|
|
! |
|
|
|
|||
|
|
qm |
|
^ |
|
qm |
|
|
) |
|
|
qm |
|
|
|
|
Xn |
! |
X |
Yn |
! |
|
|
|
|
! |
X + Y |
|
|||||
|
|
|
|
Y = Xn + Yn |
|
|
|
|||||||||
|
|
P |
|
|
|
P |
|
|
|
P |
|
|
|
|
|
|
Xn ! X |
^ Yn ! Y =) XnYn ! XY |
|
|
|||||||||||||
PP
Xn ! X =) '(Xn) ! '(X)
DD
Xn ! X =) '(Xn) ! '(X)
qm
Xn ! b () limn!1 E [Xn] = b ^ limn!1 V [Xn] = 0
qm
X1; : : : ; Xn iid ^ E [X] = ^ V [X] < 1 () Xn !
Slutzky's Theorem
D P D
Xn ! X and Yn ! c =) Xn + Yn ! X + c
D P D
Xn ! X and Yn ! c =) XnYn ! cX
D D D
In general: Xn ! X and Yn ! Y =6) Xn + Yn ! X + Y
10.1Law of Large Numbers (LLN)
Let fX1; : : : ; Xng be a sequence of iid rv's, E [X1] = .
Weak (WLLN)
P
Xn ! n ! 1
Strong (SLLN)
as
Xn ! n ! 1
10.2Central Limit Theorem (CLT)
Let fX1; : : : ; Xng be a sequence of iid rv's, E [X1] = , and V [X1] = 2.
|
|
p |
|
|
D |
|
|||
|
|
|
|||||||
Z := |
Xn |
= |
|
n(Xn ) |
! |
Z |
|||
|
|
|
|||||||
n |
qV Xn |
|
|
|
|
|
|||
|
|
nlim |
P [Zn z] = (z) |
||||||
|
!1 |
|
|
|
|
|
|
||
where Z N (0; 1)
z 2 R
CLT notations |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Zn N (0; 1) |
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
Xn N ; |
2 |
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
Xn N 0; |
2 |
|
|
|
|
|
|||||||||||
|
|
p |
|
|
|
|
n |
|
|
|
|
||||||||||||||
|
|
|
|
|
|
) |
|
|
|
0; |
2 |
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
n(Xn |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
p |
|
(Xn |
) |
N |
|
|
|
|
|
|
|
|
|
||||||||||
|
|
n |
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
N |
(0; 1) |
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
Continuity correction |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x + 21 |
|
|
|
|
|
|
||||||||
|
P Xn x |
|
|
=pn |
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
x |
x 21 |
|
|
|
|
|||||||||||||||
P Xn |
=pn |
|
|
|
|
||||||||||||||||||||
Delta method |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
||
Yn N ; |
|
=) |
'(Yn) N '( ); ('0( ))2 |
|
|
||||||||||||||||||||
n |
n |
||||||||||||||||||||||||
11 Statistical Inference
iid
Let X1; ; Xn F if not otherwise noted.
11.1Point Estimation
Point estimator bn of is a rv: bn = g(X1; : : : ; Xn) |
|
|
|
|
||||||||||||||||||||||||
|
|
|
|
|
h |
|
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
bias( n) = E n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
b |
|
|
bn |
! |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Consistency: |
|
P |
|
|
|
|
) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
Sampling |
distribution: F ( |
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
b |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
b |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
r |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Standard error: se( n) = |
|
|
|
h |
i |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
V n |
|
|
|
i |
|
|
|
|
|
V h |
|
i |
||||||||||||||
|
|
|
|
|
|
error: mse = |
E h |
|
|
= bias( |
|
)2 |
+ |
|
||||||||||||||
|
Mean squared |
|
b |
|
|
|
|
|
|
|
b |
n |
|
|
|
|
|
n |
|
|
|
|
n |
|||||
|
limn |
!1 |
bias( n) = 0 |
^ |
limn |
!1 |
seb( n) = 0 |
= nbis |
|
|
b |
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
) |
|
|
|
consistent |
||||||||||
|
|
|
|
|
normality: |
b se |
|
|
! N |
(0; 1) |
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
n |
|
|
|
D |
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
Asymptotic |
b |
|
|
|
|
|
|
|
|
b |
|
|
|
b |
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
Slutzky's Theorem often lets us replace se(bn) by some (weakly) consistent estimator bn.
10