Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Applied regression analysis / Praktic / 1 / cookbook-en.pdf
Скачиваний:
30
Добавлен:
10.05.2015
Размер:
1.26 Mб
Скачать

Probability and Statistics

Cookbook

Copyright c Matthias Vallentin, 2014

vallentin@icir.org

24th January, 2014

This cookbook integrates a variety of topics in probability the-

12 Parametric Inference

11

20 Stochastic Processes

22

ory and statistics. It is based on literature [1, 6, 3] and in-class

12.1 Method of Moments . . . . . . . . . . .

11

20.1

Markov Chains . . . . . . . . . . . . . .

22

material from courses of the statistics department at the Uni-

12.2 Maximum Likelihood . . . . . . . . . . .

12

20.2

Poisson Processes . . . . . . . . . . . . .

22

versity of California in Berkeley but also in uenced by other

 

12.2.1

Delta Method . . . . . . . . . . .

12

21 Time Series

23

sources [4, 5]. If you nd errors or have suggestions for further

12.3

Multiparameter Models

12

topics, I would appreciate if you send me an email. The most re-

21.1

Stationary Time Series

23

 

12.3.1

Multiparameter delta method

13

cent version of this document is available at http://matthias.

 

21.2

Estimation of Correlation

24

12.4

Parametric Bootstrap

13

vallentin.net/probability-and-statistics-cookbook/. To

21.3

Non-Stationary Time Series

24

 

 

 

 

reproduce, please contact me.

 

13 Hypothesis Testing

13

 

21.3.1 Detrending . . . . . . . . . . . .

24

 

 

 

 

21.4

ARIMA models

24

 

 

 

 

 

 

 

 

Contents

 

14 Bayesian Inference

14

 

21.4.1 Causality and Invertibility . . . .

25

 

21.5

Spectral Analysis

25

 

14.1

Credible Intervals

14

 

 

 

 

 

 

 

1

Distribution Overview

3

14.2

Function of parameters . . . . . . . . . .

14

22 Math

26

 

1.1

Discrete Distributions . . . . . . . . . .

3

14.3

Priors

. . . . . . . . . . . . . . . . . . .

15

22.1

Gamma Function . . . . . . . . . . . . .

26

 

1.2

Continuous Distributions . . . . . . . .

4

 

14.3.1

Conjugate Priors . . . . . . . . .

15

22.2

Beta Function . . . . . . . . . . . . . . .

26

2

Probability Theory

6

14.4

Bayesian Testing . . . . . . . . . . . . .

15

22.3

Series . . . . . . . . . . . . . . . . . . .

27

 

 

 

 

22.4

Combinatorics . . . . . . . . . . . . . .

27

3

Random Variables

6

15 Exponential Family

16

 

 

 

 

3.1

Transformations . . . . . . . . . . . . .

7

16 Sampling Methods

16

 

 

 

4

Expectation

7

16.1

The Bootstrap . . . . . . . . . . . . . .

16

 

 

 

 

16.1.1

Bootstrap Con dence Intervals .

16

 

 

 

 

 

 

 

 

 

 

 

5

Variance

7

16.2

Rejection Sampling . . . . . . . . . . . .

17

 

 

 

6

Inequalities

8

16.3

Importance Sampling . . . . . . . . . . .

17

 

 

 

 

 

 

 

 

 

 

7

Distribution Relationships

8

17 Decision Theory

17

 

 

 

17.1

Risk

 

17

 

 

 

 

 

 

 

. . . . . . . . . . . . . . . . . . .

 

 

 

8

Probability and Moment Generating

 

17.2

Admissibility . . . . . . . . . . . . . . .

17

 

 

 

 

17.3

Bayes Rule

18

 

 

 

 

Functions

9

 

 

 

 

 

 

 

17.4

Minimax Rules . . . . . . . . . . . . . .

18

 

 

 

9

Multivariate Distributions

9

 

 

 

 

 

 

 

 

9.1

Standard Bivariate Normal . . . . . . .

9

18 Linear Regression

18

 

 

 

 

9.2

Bivariate Normal . . . . . . . . . . . . .

9

18.1

Simple Linear Regression . . . . . . . .

18

 

 

 

 

9.3

Multivariate Normal . . . . . . . . . . .

9

18.2

Prediction . . . . . . . . . . . . . . . . .

19

 

 

 

10

Convergence

9

18.3

Multiple Regression . . . . . . . . . . .

19

 

 

 

18.4

Model Selection

19

 

 

 

 

10.1 Law of Large Numbers (LLN)

10

 

 

 

 

 

 

 

 

 

 

 

 

10.2

Central Limit Theorem (CLT) . . . . .

10

19 Non-parametric Function Estimation

20

 

 

 

11

Statistical Inference

10

19.1

Density Estimation . . . . . . . . . . . .

20

 

 

 

 

19.1.1

Histograms

20

 

 

 

 

11.1

Point Estimation

10

 

 

 

 

 

 

 

 

 

 

 

 

 

11.2 Normal-Based Con dence Interval . . .

11

 

19.1.2

Kernel Density Estimator (KDE)

21

 

 

 

 

11.3

Empirical distribution . . . . . . . . . .

11

19.2

Non-parametric Regression . . . . . . .

21

 

 

 

 

11.4

Statistical Functionals . . . . . . . . . .

11

19.3

Smoothing Using Orthogonal Functions

21

 

 

 

1Distribution Overview

1.1Discrete Distributions

 

Notation1

 

 

 

 

 

 

 

 

FX(x)

 

 

 

 

 

 

 

 

 

 

 

 

 

fX(x)

 

 

 

 

 

 

 

E [X]

 

 

V [X]

 

 

 

 

 

 

 

MX(s)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0

 

 

 

 

 

 

 

 

x < a

 

 

 

 

 

 

I(a < x < b)

 

 

a + b

 

(b a + 1)2 1

 

eas

 

 

e (b+1)s

 

 

 

 

 

8

 

xca+1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Uniform

Unif

f

a; : : : ; b

b

 

a

 

x

 

b

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

b

 

a

 

 

 

 

 

 

 

 

b

 

 

 

a + 1

 

 

 

 

 

 

 

2

 

 

 

 

12

 

 

 

 

 

 

 

 

 

a)

 

 

 

 

 

g

>

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

s(b

 

 

 

 

Bernoulli

Bern (p)

<1

 

 

(1

 

 

 

x > b

 

 

 

 

 

 

 

 

 

 

 

p)1 x

 

 

 

 

 

 

p

 

p(1

 

 

p)

 

 

1

 

 

 

 

 

 

 

 

>

 

 

 

 

 

p)1 x

 

 

 

 

 

 

px (1

 

 

 

 

 

 

 

 

 

 

 

 

p + pes

 

 

 

 

 

 

 

:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

I1 p(n x; x + 1)

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

np(1 p)

(1 p + pes)n

 

Binomial

Bin (n; p)

 

 

 

x!px (1 p)n x

 

 

 

np

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

k

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

k

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n!

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i !

 

 

 

Multinomial

Mult (n; p)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x

 

 

 

 

 

x

 

 

 

 

i=1 xi = n

 

 

 

npi

 

npi(1 pi)

 

 

 

 

 

 

 

 

s

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x1! : : : xk! p11

pkk

 

 

 

 

 

 

 

 

 

 

i=0 pie

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x np

 

 

 

 

 

 

 

 

 

 

m

 

 

m x

 

 

 

X

 

 

 

 

 

 

 

 

nm(N n)(N m)

 

 

 

X

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

nm

 

 

 

 

 

 

 

 

 

 

 

 

 

Hypergeometric

Hyp (N; m; n)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x

 

 

n x

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

np(1

 

 

p) !

 

 

 

 

 

 

 

 

 

 

N

 

 

 

 

 

 

 

 

 

 

 

N

 

N2(N

 

 

1)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

p

 

 

 

 

 

 

x

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

r

Negative Binomial

NBin (r; p)

 

 

 

 

 

Ip(r; x + 1)

 

 

 

 

x + r 1

pr

(1

 

 

p)x

r

1 p

 

 

r

1 p

 

 

 

 

 

 

 

 

 

p

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1 (1 p)es

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

r 1

 

 

!

 

 

 

 

 

 

 

 

 

p

 

 

 

 

p2

 

 

 

 

 

Geometric

Geo (p)

1

 

(1

 

p)x

 

x

2 N

+

p(1

 

p)x 1

 

x

2 N

+

 

 

 

1

 

 

 

 

 

1 p

 

 

 

 

 

 

 

 

 

 

p

 

 

 

 

 

 

 

 

 

 

 

 

 

p

 

 

 

 

 

1

 

 

(1

 

p)es

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

p2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Poisson

Po ( )

 

 

 

 

 

e

 

i

 

 

 

 

 

 

 

 

 

 

 

 

xe

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

e (es 1)

 

 

 

 

 

 

 

 

 

=0

i!

 

 

 

 

 

 

 

 

 

 

 

 

 

x!

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Xi

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

PMF

1

n

Uniform (discrete)

a

b

x

Binomial

n = 40, p = 0.3 n = 30, p = 0.6 n = 25, p = 0.9

0.2

PMF

 

 

0.1

0.0 ●●●●●

 

●●●●●●●●●●●●●●●●●●●●●●

0

10

20

30

40

x

 

Geometric

 

 

 

Poisson

0.8

 

 

 

 

 

● ●

 

 

 

p = 0.2

λ = 1

 

p = 0.5

 

λ = 4

 

p = 0.8

 

λ = 10

 

 

0.3

 

0.6

PMF

0.4

 

 

 

 

 

 

PMF

0.2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0.2

 

 

 

 

 

 

 

0.1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0.0

 

 

 

 

 

0.0

● ●

● ● ● ● ● ● ● ● ●

● ● ● ● ●

 

 

 

 

 

 

 

 

 

3

 

6

 

 

9

 

 

0

5

10

15

20

 

 

 

x

 

 

 

 

 

 

 

 

x

 

1We use the notation (s; x) and (x) to refer to the Gamma functions (see x22.1), and use B(x; y) and Ix to refer to the Beta functions (see x22.2).

3

1.2Continuous Distributions

 

Notation

 

 

 

 

 

 

 

 

 

FX(x)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

fX(x)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

E [X]

 

 

 

 

 

 

 

 

 

 

V [X]

 

 

 

 

 

 

 

 

 

 

 

 

 

 

MX(s)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Uniform

Unif (a; b)

 

8 b a

a < x < b

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0

 

 

 

 

 

 

 

x < a

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

I(a < x < b)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a + b

 

 

 

 

 

 

 

 

(b a)2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

esb

 

 

esa

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

>

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

<1

 

 

 

 

 

 

 

x > b

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x a

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

>

 

 

 

 

 

 

 

 

 

x

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(x

 

 

)2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2s2

 

 

 

 

 

 

 

Normal

N

;

 

 

 

:

 

 

 

 

 

 

 

 

 

 

 

 

 

(t) dt

(x) =

 

 

 

 

 

 

 

 

 

 

 

 

 

exp

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

exp

 

s +

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Z1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

p2

 

 

 

 

 

 

 

 

 

 

 

 

 

2 22

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

(x) =

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

N

 

 

2 2

 

 

 

 

 

p2 2

 

xp2 2

 

 

 

 

 

 

 

 

 

 

 

 

 

2 2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Log-Normal

ln

 

; 2

 

 

1

+

1

erf

 

 

ln x

 

 

 

 

1

 

 

 

 

 

 

 

exp

 

 

 

 

 

(ln x

)

 

 

 

 

 

e + 2=2

 

 

 

 

 

(e 2

 

 

 

 

1)e2 + 2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

exp T s + 2 sT s

 

 

 

Multivariate Normal

MVN ( ; )

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(2 ) k=2j j 1=2e 2

(x )

 

 

 

 

 

(x )

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

T

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

Student's t

Student( )

 

 

 

 

 

Ix

2 ; 2

 

 

 

 

 

 

 

 

 

 

p

 

 

2

 

 

 

 

 

1 +

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1 <

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

( +1)=2

 

 

 

 

 

 

 

 

 

 

 

 

( 2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

+1

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

> 2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

1

 

 

 

 

 

 

 

 

 

 

k x

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

k=2

 

 

1

 

 

 

 

 

x=2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

k=2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Chi-square

 

k

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

;

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x

 

 

 

 

 

 

e

 

 

 

 

 

 

 

 

 

 

 

 

 

k

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2k

 

 

 

 

 

 

 

 

 

(1 2s)

 

 

 

 

s < 1=2

 

 

 

 

 

 

 

 

 

 

(k=2)

2

2

 

 

 

 

2k=2 (k=2)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

F

F(d1; d2)

 

 

I d1x

 

 

 

d1 ; d1

 

 

 

 

 

 

 

 

 

 

 

r

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

d2

 

 

 

 

 

 

 

 

2d22(d1 + d2 2)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(d1x+d2)d1+d2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(d1x)d1 d2d2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

xB

 

 

 

 

 

d21 ; d21

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

d2

 

 

2

 

 

 

 

 

d1

(d2

 

 

 

2)2(d2

 

4)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

d1x+d2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1 e

x=

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

x=

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Exponential

 

Exp ( )

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

e

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

s

 

(s < 1= )

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Gamma

Gamma ( ; )

 

 

 

 

 

( ( )

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

( 1) x 1e x=

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

1 1

s

 

(s < 1= )

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

; x= )

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

;

x

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x 1e =x

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2( s) =2

 

 

 

 

 

 

 

 

 

 

 

 

 

Inverse Gamma

InvGamma ( ; )

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

> 1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

> 2

 

K

 

 

 

 

 

4 s

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

( 1)

2

(

2)

2

 

p

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

( )

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

( )

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

( )

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

k

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

E

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Dirichlet

 

Dir ( )

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

k

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

xi i

 

 

 

 

 

 

 

 

 

 

 

k

 

 

 

 

 

 

 

 

E

 

 

 

k

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

P ( i)

k

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i + 1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1 i

 

iY

 

 

 

1

 

 

 

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

 

[Xi] (1

 

 

 

 

[Xi])

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(Q+ )

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

P

 

 

 

 

 

 

 

 

 

 

 

P

 

 

 

 

 

 

 

 

 

 

 

 

 

1 k 1

 

 

+ r

 

 

 

 

sk

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

 

 

 

=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

 

 

1 + k=1

 

 

r=0 + + r ! k!

Beta

Beta ( ; )

 

 

 

 

 

 

 

 

Ix( ; )

 

 

 

 

 

 

 

 

( ) ( ) x 1 (1 x) 1

 

 

 

 

 

+

 

 

 

( + )2( + + 1)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

X Y

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Weibull

Weibull( ; k)

 

 

 

 

1 e (x= )

k

 

 

 

 

 

 

 

 

 

k x

 

 

 

k

 

1

e (x= )

k

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

2

 

1 sn n

 

 

1 +

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1 + k

 

 

 

2 1 + k

 

n=0

 

n!

 

k

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

X

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

xm

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

xm

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

xm

 

 

 

 

 

 

 

 

 

 

 

xm

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Pareto

Pareto(xm; )

1

 

 

 

 

 

 

 

x xm

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x xm

 

 

 

 

 

 

 

 

 

> 1

 

 

> 2

( xms)

 

( ; xms) s < 0

x

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x +1

 

 

 

 

 

 

 

 

 

 

 

 

1

( 1)2( 2)

 

4

Uniform (continuous)

PDFb a

 

1

 

a

b

x

 

 

 

 

χ2

 

 

 

4

 

 

 

 

 

 

 

 

 

 

 

k = 1

 

 

 

 

 

 

k = 2

 

 

 

 

 

 

k = 3

 

 

 

 

 

 

k = 4

 

3

 

 

 

 

k = 5

 

 

 

 

 

 

PDF

2

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

0

 

 

 

 

 

 

0

2

 

4

6

8

 

 

 

 

x

 

 

 

 

 

Inverse Gamma

 

 

 

 

 

 

 

α = 1, β = 1

 

 

 

 

 

α = 2, β = 1

 

4

 

 

 

α = 3, β = 1

 

 

 

 

α = 3, β = 0.5

 

 

 

 

 

 

3

 

 

 

 

 

PDF

2

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

0

 

 

 

 

 

 

0

1

2

3

4

5

 

 

 

 

x

 

 

 

 

Normal

 

 

 

 

 

 

μ = 0, σ2

= 0.2

 

 

 

μ = 0, σ2

= 1

0.75

 

 

μ = 0, σ2

= 5

 

 

μ = −2

, σ2 = 0.5

 

 

 

0.50

 

 

 

 

 

φ(x)

 

 

 

 

 

0.25

 

 

 

 

 

0.00

 

 

 

 

 

−5.0

−2.5

0.0

2.5

 

5.0

 

 

x

 

 

 

 

 

F

 

 

 

3

 

 

 

d1

= 1, d2

= 1

 

 

 

 

 

 

 

d1

= 2, d2

= 1

 

 

 

 

d1

= 5, d2

= 2

 

 

 

 

d1

= 100, d2

= 1

 

 

 

 

d1

= 100, d2

= 100

 

 

2

 

 

 

 

 

PDF

 

 

 

 

 

1

 

 

 

 

 

0

 

 

 

 

 

0

1

2

3

4

5

 

 

 

x

 

 

 

 

 

Beta

 

 

5

 

 

α = 0.5, β = 0.5

 

 

 

 

 

 

 

 

 

 

α = 5, β = 1

 

 

 

 

 

α = 1, β = 3

 

 

4

 

 

α = 2, β = 2

 

 

 

 

α = 2, β = 5

 

 

 

 

 

 

 

3

 

 

 

 

 

PDF

2

1

0

0.00

0.25

0.50

0.75

1.00

x

 

 

 

Log−Normal

 

 

 

1.00

 

 

 

μ = 0, σ2 = 3

 

 

 

 

 

μ = 2, σ2 = 2

 

 

 

 

 

μ = 0, σ2 = 1

 

 

 

 

 

μ = 0.5, σ2 = 1

 

0.75

 

 

 

μ = 0.25, σ2 = 1

 

 

 

 

μ = 0.125, σ2 = 1

PDF

 

 

 

 

 

 

0.50

 

 

 

 

 

 

0.25

 

 

 

 

 

 

0.00

 

 

 

 

 

 

0

 

1

2

 

3

 

 

 

 

x

 

 

 

 

 

Exponential

 

 

 

2.0

 

 

 

 

β = 2

 

 

 

 

 

 

 

 

 

 

 

 

β = 1

 

 

 

 

 

 

β = 0.4

 

1.5

 

 

 

 

 

PDF

 

 

 

 

 

 

1.0

 

 

 

 

 

 

0.5

 

 

 

 

 

 

0.0

 

 

 

 

 

 

0

1

2

3

4

5

 

 

 

 

x

 

 

 

 

 

Weibull

 

 

 

 

 

 

 

λ = 1, k = 0.5

 

4

 

 

 

λ = 1, k = 1

 

 

 

 

λ = 1, k = 1.5

 

 

 

 

 

λ = 1, k = 5

 

3

 

 

 

 

 

PDF

2

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

0

 

 

 

 

 

 

0.0

0.5

1.0

1.5

2.0

2.5

 

 

 

 

x

 

 

Student's t

0.4

ν = 1 ν = 2

ν = 5 ν = ∞

0.3

PDF 0.2

0.1

 

 

 

 

0.0

 

 

 

 

−5.0

−2.5

0.0

2.5

5.0

 

 

x

 

 

 

 

Gamma

 

 

0.5

 

 

 

α = 1, β = 2

 

 

 

 

 

 

 

 

α = 2, β = 2

 

 

 

 

α = 3, β = 2

0.4

 

 

 

α = 5, β = 1

 

 

 

α = 9, β = 0.5

 

 

 

 

0.3

 

 

 

 

PDF

 

 

 

 

0.2

 

 

 

 

0.1

 

 

 

 

0.0

 

 

 

 

0

5

10

15

20

 

 

x

 

 

 

 

Pareto

 

 

 

 

 

 

xm = 1, α = 1

 

 

 

 

xm = 1, α = 2

 

 

 

 

xm = 1, α = 4

3

 

 

 

 

PDF 2

1

0

0

1

2

3

4

5

x

5

Соседние файлы в папке 1