- •Distribution Overview
- •Discrete Distributions
- •Continuous Distributions
- •Probability Theory
- •Random Variables
- •Transformations
- •Expectation
- •Variance
- •Inequalities
- •Distribution Relationships
- •Probability and Moment Generating Functions
- •Multivariate Distributions
- •Standard Bivariate Normal
- •Bivariate Normal
- •Multivariate Normal
- •Convergence
- •Statistical Inference
- •Point Estimation
- •Empirical distribution
- •Statistical Functionals
- •Parametric Inference
- •Method of Moments
- •Maximum Likelihood
- •Delta Method
- •Multiparameter Models
- •Multiparameter delta method
- •Parametric Bootstrap
- •Hypothesis Testing
- •Bayesian Inference
- •Credible Intervals
- •Function of parameters
- •Priors
- •Conjugate Priors
- •Bayesian Testing
- •Exponential Family
- •Sampling Methods
- •The Bootstrap
- •Rejection Sampling
- •Importance Sampling
- •Decision Theory
- •Risk
- •Admissibility
- •Bayes Rule
- •Minimax Rules
- •Linear Regression
- •Simple Linear Regression
- •Prediction
- •Multiple Regression
- •Model Selection
- •Non-parametric Function Estimation
- •Density Estimation
- •Histograms
- •Kernel Density Estimator (KDE)
- •Smoothing Using Orthogonal Functions
- •Stochastic Processes
- •Markov Chains
- •Poisson Processes
- •Time Series
- •Stationary Time Series
- •Estimation of Correlation
- •Detrending
- •ARIMA models
- •Causality and Invertibility
- •Spectral Analysis
- •Math
- •Gamma Function
- •Beta Function
- •Series
- •Combinatorics
Probability and Statistics
Cookbook
Copyright c Matthias Vallentin, 2014
vallentin@icir.org
24th January, 2014
This cookbook integrates a variety of topics in probability the- |
12 Parametric Inference |
11 |
20 Stochastic Processes |
22 |
|||||||
ory and statistics. It is based on literature [1, 6, 3] and in-class |
12.1 Method of Moments . . . . . . . . . . . |
11 |
20.1 |
Markov Chains . . . . . . . . . . . . . . |
22 |
||||||
material from courses of the statistics department at the Uni- |
12.2 Maximum Likelihood . . . . . . . . . . . |
12 |
20.2 |
Poisson Processes . . . . . . . . . . . . . |
22 |
||||||
versity of California in Berkeley but also in uenced by other |
|
12.2.1 |
Delta Method . . . . . . . . . . . |
12 |
21 Time Series |
23 |
|||||
sources [4, 5]. If you nd errors or have suggestions for further |
12.3 |
Multiparameter Models |
12 |
||||||||
topics, I would appreciate if you send me an email. The most re- |
21.1 |
Stationary Time Series |
23 |
||||||||
|
12.3.1 |
Multiparameter delta method |
13 |
||||||||
cent version of this document is available at http://matthias. |
|
21.2 |
Estimation of Correlation |
24 |
|||||||
12.4 |
Parametric Bootstrap |
13 |
|||||||||
vallentin.net/probability-and-statistics-cookbook/. To |
21.3 |
Non-Stationary Time Series |
24 |
||||||||
|
|
|
|
||||||||
reproduce, please contact me. |
|
13 Hypothesis Testing |
13 |
|
21.3.1 Detrending . . . . . . . . . . . . |
24 |
|||||
|
|
|
|
21.4 |
ARIMA models |
24 |
|||||
|
|
|
|
|
|
|
|
||||
Contents |
|
14 Bayesian Inference |
14 |
|
21.4.1 Causality and Invertibility . . . . |
25 |
|||||
|
21.5 |
Spectral Analysis |
25 |
||||||||
|
14.1 |
Credible Intervals |
14 |
||||||||
|
|
|
|
|
|
|
|||||
1 |
Distribution Overview |
3 |
14.2 |
Function of parameters . . . . . . . . . . |
14 |
22 Math |
26 |
||||
|
1.1 |
Discrete Distributions . . . . . . . . . . |
3 |
14.3 |
Priors |
. . . . . . . . . . . . . . . . . . . |
15 |
22.1 |
Gamma Function . . . . . . . . . . . . . |
26 |
|
|
1.2 |
Continuous Distributions . . . . . . . . |
4 |
|
14.3.1 |
Conjugate Priors . . . . . . . . . |
15 |
22.2 |
Beta Function . . . . . . . . . . . . . . . |
26 |
|
2 |
Probability Theory |
6 |
14.4 |
Bayesian Testing . . . . . . . . . . . . . |
15 |
22.3 |
Series . . . . . . . . . . . . . . . . . . . |
27 |
|||
|
|
|
|
22.4 |
Combinatorics . . . . . . . . . . . . . . |
27 |
|||||
3 |
Random Variables |
6 |
15 Exponential Family |
16 |
|
|
|
||||
|
3.1 |
Transformations . . . . . . . . . . . . . |
7 |
16 Sampling Methods |
16 |
|
|
|
|||
4 |
Expectation |
7 |
16.1 |
The Bootstrap . . . . . . . . . . . . . . |
16 |
|
|
|
|||
|
16.1.1 |
Bootstrap Con dence Intervals . |
16 |
|
|
|
|||||
|
|
|
|
|
|
|
|
||||
5 |
Variance |
7 |
16.2 |
Rejection Sampling . . . . . . . . . . . . |
17 |
|
|
|
|||
6 |
Inequalities |
8 |
16.3 |
Importance Sampling . . . . . . . . . . . |
17 |
|
|
|
|||
|
|
|
|
|
|
|
|||||
7 |
Distribution Relationships |
8 |
17 Decision Theory |
17 |
|
|
|
||||
17.1 |
Risk |
|
17 |
|
|
|
|||||
|
|
|
|
. . . . . . . . . . . . . . . . . . . |
|
|
|
||||
8 |
Probability and Moment Generating |
|
17.2 |
Admissibility . . . . . . . . . . . . . . . |
17 |
|
|
|
|||
|
17.3 |
Bayes Rule |
18 |
|
|
|
|||||
|
Functions |
9 |
|
|
|
||||||
|
|
|
|
17.4 |
Minimax Rules . . . . . . . . . . . . . . |
18 |
|
|
|
||
9 |
Multivariate Distributions |
9 |
|
|
|
|
|
|
|
||
|
9.1 |
Standard Bivariate Normal . . . . . . . |
9 |
18 Linear Regression |
18 |
|
|
|
|||
|
9.2 |
Bivariate Normal . . . . . . . . . . . . . |
9 |
18.1 |
Simple Linear Regression . . . . . . . . |
18 |
|
|
|
||
|
9.3 |
Multivariate Normal . . . . . . . . . . . |
9 |
18.2 |
Prediction . . . . . . . . . . . . . . . . . |
19 |
|
|
|
||
10 |
Convergence |
9 |
18.3 |
Multiple Regression . . . . . . . . . . . |
19 |
|
|
|
|||
18.4 |
Model Selection |
19 |
|
|
|
||||||
|
10.1 Law of Large Numbers (LLN) |
10 |
|
|
|
||||||
|
|
|
|
|
|
|
|
||||
|
10.2 |
Central Limit Theorem (CLT) . . . . . |
10 |
19 Non-parametric Function Estimation |
20 |
|
|
|
|||
11 |
Statistical Inference |
10 |
19.1 |
Density Estimation . . . . . . . . . . . . |
20 |
|
|
|
|||
|
19.1.1 |
Histograms |
20 |
|
|
|
|||||
|
11.1 |
Point Estimation |
10 |
|
|
|
|
||||
|
|
|
|
|
|
|
|
||||
|
11.2 Normal-Based Con dence Interval . . . |
11 |
|
19.1.2 |
Kernel Density Estimator (KDE) |
21 |
|
|
|
||
|
11.3 |
Empirical distribution . . . . . . . . . . |
11 |
19.2 |
Non-parametric Regression . . . . . . . |
21 |
|
|
|
||
|
11.4 |
Statistical Functionals . . . . . . . . . . |
11 |
19.3 |
Smoothing Using Orthogonal Functions |
21 |
|
|
|
1Distribution Overview
1.1Discrete Distributions
|
Notation1 |
|
|
|
|
|
|
|
|
FX(x) |
|
|
|
|
|
|
|
|
|
|
|
|
|
fX(x) |
|
|
|
|
|
|
|
E [X] |
|
|
V [X] |
|
|
|
|
|
|
|
MX(s) |
|
|
|
||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
x < a |
|
|
|
|
|
|
I(a < x < b) |
|
|
a + b |
|
(b a + 1)2 1 |
|
eas |
|
|
e (b+1)s |
|
||||||||||||||||||||||||||||||||||||||||
|
|
|
|
8 |
|
xca+1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||
Uniform |
Unif |
f |
a; : : : ; b |
b |
|
a |
|
x |
|
b |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
b |
|
a |
|
|
|
|
|
|
|
|
b |
|
|
|
a + 1 |
|
|
|
|
|
|
|
2 |
|
|
|
|
12 |
|
|
|
|
|
|
|
|
|
a) |
|
|
|
||||||||||||||||||||||||||||||
|
|
g |
> |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
s(b |
|
|
|
|
||||||||||||||||||||||||||
Bernoulli |
Bern (p) |
<1 |
|
|
(1 |
|
|
|
x > b |
|
|
|
|
|
|
|
|
|
|
|
p)1 x |
|
|
|
|
|
|
p |
|
p(1 |
|
|
p) |
|
|
1 |
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||
> |
|
|
|
|
|
p)1 x |
|
|
|
|
|
|
px (1 |
|
|
|
|
|
|
|
|
|
|
|
|
p + pes |
|
|
|
|||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
I1 p(n x; x + 1) |
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
np(1 p) |
(1 p + pes)n |
|
|||||||||||||||||||||||||||||||||||||
Binomial |
Bin (n; p) |
|
|
|
x!px (1 p)n x |
|
|
|
np |
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k |
|
|
|
|
n |
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n! |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i ! |
|
|
|
||||||
Multinomial |
Mult (n; p) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x |
|
|
|
|
|
x |
|
|
|
|
i=1 xi = n |
|
|
|
npi |
|
npi(1 pi) |
|
|
|
|
|
|
|
|
s |
|
|
|
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x1! : : : xk! p11 |
pkk |
|
|
|
|
|
|
|
|
|
|
i=0 pie |
|
|
|
||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x np |
|
|
|
|
|
|
|
|
|
|
m |
|
|
m x |
|
|
|
X |
|
|
|
|
|
|
|
|
nm(N n)(N m) |
|
|
|
X |
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
nm |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||
Hypergeometric |
Hyp (N; m; n) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x |
|
|
n x |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
np(1 |
|
|
p) ! |
|
|
|
|
|
|
|
|
|
|
N |
|
|
|
|
|
|
|
|
|
|
|
N |
|
N2(N |
|
|
1) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
p |
|
|
|
|
|
|
x |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
r |
|||||||||
Negative Binomial |
NBin (r; p) |
|
|
|
|
|
Ip(r; x + 1) |
|
|
|
|
x + r 1 |
pr |
(1 |
|
|
p)x |
r |
1 p |
|
|
r |
1 p |
|
|
|
|
|
|
|
|
|
p |
|
|
|
|
|
||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 (1 p)es |
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
r 1 |
|
|
! |
|
|
|
|
|
|
|
|
|
p |
|
|
|
|
p2 |
|
|
|
|
|
||||||||||||||||||||||||||
Geometric |
Geo (p) |
1 |
|
(1 |
|
p)x |
|
x |
2 N |
+ |
p(1 |
|
p)x 1 |
|
x |
2 N |
+ |
|
|
|
1 |
|
|
|
|
|
1 p |
|
|
|
|
|
|
|
|
|
|
p |
|
|
|
|
|
|||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
p |
|
|
|
|
|
1 |
|
|
(1 |
|
p)es |
|
||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
p2 |
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
Poisson |
Po ( ) |
|
|
|
|
|
e |
|
i |
|
|
|
|
|
|
|
|
|
|
|
|
xe |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
e (es 1) |
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
=0 |
i! |
|
|
|
|
|
|
|
|
|
|
|
|
|
x! |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Xi |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
PMF
1
n
Uniform (discrete)
● |
● |
● |
● |
● |
● |
a |
b |
x
Binomial
● n = 40, p = 0.3 n = 30, p = 0.6 n = 25, p = 0.9
0.2
PMF |
● |
● |
|
|
● |
●
0.1●
●
●
● ●
● ●
●●
0.0 ●●●●● |
|
●●●●●●●●●●●●●●●●●●●●●● |
||
0 |
10 |
20 |
30 |
40 |
x
|
Geometric |
|
|
|
Poisson |
|
0.8 |
|
|
|
|
|
● ● |
|
|
|
● |
p = 0.2 |
● |
λ = 1 |
|
p = 0.5 |
|
λ = 4 |
|
p = 0.8 |
|
λ = 10 |
|
|
0.3 |
|
0.6
PMF |
0.4 |
|
|
|
|
|
|
PMF |
0.2 |
|
|
|
|
|
|
|
|
|
|
|
● |
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
||
|
0.2 ● |
|
|
|
|
|
|
|
0.1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
● |
|
|
|
|
|
|
|
|
|
|
|
|
|
● |
|
|
|
|
|
|
|
|
● |
|
|
|
|
|
● |
|
|
|
|
|
|
|
|
|
|
|
|
|
● |
● |
|
|
|
|
|
|
|
|
|
|
|
|
|
● |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
● |
● |
|
|
|
● |
|
|
|
|
|
|
|
|
|
● |
● |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
||||
|
0.0 |
|
|
|
|
|
0.0 |
● ● |
● ● ● ● ● ● ● ● ● |
● ● ● ● ● |
|||
|
|
|
|
|
|
|
|
||||||
|
3 |
|
6 |
|
|
9 |
|
|
0 |
5 |
10 |
15 |
20 |
|
|
|
x |
|
|
|
|
|
|
|
|
x |
|
1We use the notation (s; x) and (x) to refer to the Gamma functions (see x22.1), and use B(x; y) and Ix to refer to the Beta functions (see x22.2).
3
1.2Continuous Distributions
|
Notation |
|
|
|
|
|
|
|
|
|
FX(x) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
fX(x) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
E [X] |
|
|
|
|
|
|
|
|
|
|
V [X] |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
MX(s) |
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
Uniform |
Unif (a; b) |
|
8 b a |
a < x < b |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
x < a |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
I(a < x < b) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
a + b |
|
|
|
|
|
|
|
|
(b a)2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
esb |
|
|
esa |
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
> |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
<1 |
|
|
|
|
|
|
|
x > b |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
x a |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
2 |
|
|
> |
|
|
|
|
|
|
|
|
|
x |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(x |
|
|
)2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2s2 |
|
|
|
|
|
|
|
||||||||||||||||||||
Normal |
N |
; |
|
|
|
: |
|
|
|
|
|
|
|
|
|
|
|
|
|
(t) dt |
(x) = |
|
|
|
|
|
|
|
|
|
|
|
|
|
exp |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
exp |
|
s + |
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
Z1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
p2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
2 22 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
(x) = |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
N |
|
|
2 2 |
|
|
|
|
|
p2 2 |
|
xp2 2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
2 2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||
Log-Normal |
ln |
|
; 2 |
|
|
1 |
+ |
1 |
erf |
|
|
ln x |
|
|
|
|
1 |
|
|
|
|
|
|
|
exp |
|
|
|
|
|
(ln x |
) |
|
|
|
|
|
e + 2=2 |
|
|
|
|
|
(e 2 |
|
|
|
|
1)e2 + 2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
exp T s + 2 sT s |
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Multivariate Normal |
MVN ( ; ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(2 ) k=2j j 1=2e 2 |
(x ) |
|
|
|
|
|
(x ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
T |
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
||
Student's t |
Student( ) |
|
|
|
|
|
Ix |
2 ; 2 |
|
|
|
|
|
|
|
|
|
|
p |
|
|
2 |
|
|
|
|
|
1 + |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 < |
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
( +1)=2 |
|
|
|
|
|
|
|
|
|
|
|
|
( 2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
+1 |
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
> 2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
2 |
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
k x |
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
k=2 |
|
|
1 |
|
|
|
|
|
x=2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k=2 |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||
Chi-square |
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
; |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x |
|
|
|
|
|
|
e |
|
|
|
|
|
|
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2k |
|
|
|
|
|
|
|
|
|
(1 2s) |
|
|
|
|
s < 1=2 |
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
(k=2) |
2 |
2 |
|
|
|
|
2k=2 (k=2) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
F |
F(d1; d2) |
|
|
I d1x |
|
|
|
d1 ; d1 |
|
|
|
|
|
|
|
|
|
|
|
r |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
d2 |
|
|
|
|
|
|
|
|
2d22(d1 + d2 2) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(d1x+d2)d1+d2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(d1x)d1 d2d2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
xB |
|
|
|
|
|
d21 ; d21 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
d2 |
|
|
2 |
|
|
|
|
|
d1 |
(d2 |
|
|
|
2)2(d2 |
|
4) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
d1x+d2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
1 e |
x= |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
x= |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||
Exponential |
|
Exp ( ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
e |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
s |
|
(s < 1= ) |
|
|
|
|
|
||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
Gamma |
Gamma ( ; ) |
|
|
|
|
|
( ( ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
( 1) x 1e x= |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
1 1 |
s |
|
(s < 1= ) |
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
; x= ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
; |
x |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x 1e =x |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2( s) =2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Inverse Gamma |
InvGamma ( ; ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
> 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
> 2 |
|
K |
|
|
|
|
|
4 s |
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
( 1) |
2 |
( |
2) |
2 |
|
p |
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
( ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
( ) |
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
( ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
E |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||
Dirichlet |
|
Dir ( ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
xi i |
|
|
|
|
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
E |
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
P ( i) |
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i + 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i=1 i |
|
iY |
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
[Xi] (1 |
|
|
|
|
[Xi]) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(Q+ ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
P |
|
|
|
|
|
|
|
|
|
|
|
P |
|
|
|
|
|
|
|
|
|
|
|
|
|
1 k 1 |
|
|
+ r |
|
|
|
|
sk |
||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
i=1 |
|
|
|
|
|
|
|
|
|
|
|
1 + k=1 |
|
|
r=0 + + r ! k! |
||||||||||||||||||||||||||||||||||||
Beta |
Beta ( ; ) |
|
|
|
|
|
|
|
|
Ix( ; ) |
|
|
|
|
|
|
|
|
( ) ( ) x 1 (1 x) 1 |
|
|
|
|
|
+ |
|
|
|
( + )2( + + 1) |
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
X Y |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
Weibull |
Weibull( ; k) |
|
|
|
|
1 e (x= ) |
k |
|
|
|
|
|
|
|
|
|
k x |
|
|
|
k |
|
1 |
e (x= ) |
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
2 |
|
1 sn n |
|
|
1 + |
n |
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 + k |
|
|
|
2 1 + k |
|
n=0 |
|
n! |
|
k |
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
X |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
xm |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
xm |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
xm |
|
|
|
|
|
|
|
|
|
|
|
xm |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||
Pareto |
Pareto(xm; ) |
1 |
|
|
|
|
|
|
|
x xm |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x xm |
|
|
|
|
|
|
|
|
|
> 1 |
|
|
> 2 |
( xms) |
|
( ; xms) s < 0 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
x |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x +1 |
|
|
|
|
|
|
|
|
|
|
|
|
1 |
( 1)2( 2) |
|
4
Uniform (continuous)
PDFb − a |
|
1 |
|
● |
● |
●●
a |
b |
x
|
|
|
|
χ2 |
|
|
|
4 |
|
|
|
|
|
|
|
|
|
|
|
k = 1 |
|
|
|
|
|
|
k = 2 |
|
|
|
|
|
|
k = 3 |
|
|
|
|
|
|
k = 4 |
|
3 |
|
|
|
|
k = 5 |
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
0 |
|
|
|
|
|
|
0 |
2 |
|
4 |
6 |
8 |
|
|
|
|
x |
|
|
|
|
|
Inverse Gamma |
|
|
|
|
|
|
|
|
α = 1, β = 1 |
|
|
|
|
|
|
α = 2, β = 1 |
|
|
4 |
|
|
|
α = 3, β = 1 |
|
|
|
|
|
α = 3, β = 0.5 |
||
|
|
|
|
|
||
|
3 |
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
0 |
|
|
|
|
|
|
0 |
1 |
2 |
3 |
4 |
5 |
|
|
|
|
x |
|
|
|
|
Normal |
|
|
|
|
|
|
μ = 0, σ2 |
= 0.2 |
|
|
|
|
μ = 0, σ2 |
= 1 |
|
0.75 |
|
|
μ = 0, σ2 |
= 5 |
|
|
|
μ = −2 |
, σ2 = 0.5 |
||
|
|
|
|||
0.50 |
|
|
|
|
|
φ(x) |
|
|
|
|
|
0.25 |
|
|
|
|
|
0.00 |
|
|
|
|
|
−5.0 |
−2.5 |
0.0 |
2.5 |
|
5.0 |
|
|
x |
|
|
|
|
|
F |
|
|
|
3 |
|
|
|
d1 |
= 1, d2 |
= 1 |
|
|
|
|
|||||
|
|
|
|
d1 |
= 2, d2 |
= 1 |
|
|
|
|
|
d1 |
= 5, d2 |
= 2 |
|
|
|
|
|
d1 |
= 100, d2 |
= 1 |
|
|
|
|
|
d1 |
= 100, d2 |
= 100 |
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
0 |
|
|
|
|
|
0 |
1 |
2 |
3 |
4 |
5 |
|
|
|
x |
|
|
|
|
|
Beta |
|
|
5 |
|
|
α = 0.5, β = 0.5 |
|
|
|
|
|
|
|
|
|
|
|
α = 5, β = 1 |
|
|
|
|
|
α = 1, β = 3 |
|
|
4 |
|
|
α = 2, β = 2 |
|
|
|
|
α = 2, β = 5 |
|
|
|
|
|
|
|
|
|
3 |
|
|
|
|
|
2
1
0
0.00 |
0.25 |
0.50 |
0.75 |
1.00 |
x
|
|
|
Log−Normal |
|
|
|
|
1.00 |
|
|
|
μ = 0, σ2 = 3 |
|
|
|
|
|
|
μ = 2, σ2 = 2 |
|
|
|
|
|
|
μ = 0, σ2 = 1 |
|
|
|
|
|
|
μ = 0.5, σ2 = 1 |
|
|
0.75 |
|
|
|
μ = 0.25, σ2 = 1 |
|
|
|
|
|
μ = 0.125, σ2 = 1 |
||
|
|
|
|
|
||
|
0.50 |
|
|
|
|
|
|
0.25 |
|
|
|
|
|
|
0.00 |
|
|
|
|
|
|
0 |
|
1 |
2 |
|
3 |
|
|
|
|
x |
|
|
|
|
|
Exponential |
|
|
|
|
2.0 |
|
|
|
|
β = 2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
β = 1 |
|
|
|
|
|
|
β = 0.4 |
|
1.5 |
|
|
|
|
|
|
|
|
|
|
||
|
1.0 |
|
|
|
|
|
|
0.5 |
|
|
|
|
|
|
0.0 |
|
|
|
|
|
|
0 |
1 |
2 |
3 |
4 |
5 |
|
|
|
|
x |
|
|
|
|
|
Weibull |
|
|
|
|
|
|
|
|
λ = 1, k = 0.5 |
|
|
4 |
|
|
|
λ = 1, k = 1 |
|
|
|
|
|
λ = 1, k = 1.5 |
||
|
|
|
|
|
λ = 1, k = 5 |
|
|
3 |
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
0 |
|
|
|
|
|
|
0.0 |
0.5 |
1.0 |
1.5 |
2.0 |
2.5 |
|
|
|
|
x |
|
|
Student's t
0.4
ν = 1 ν = 2
ν = 5 ν = ∞
0.3
PDF 0.2
0.1 |
|
|
|
|
0.0 |
|
|
|
|
−5.0 |
−2.5 |
0.0 |
2.5 |
5.0 |
|
|
x |
|
|
|
|
Gamma |
|
|
0.5 |
|
|
|
α = 1, β = 2 |
|
|
|
|
|
|
|
|
|
α = 2, β = 2 |
|
|
|
|
α = 3, β = 2 |
0.4 |
|
|
|
α = 5, β = 1 |
|
|
|
α = 9, β = 0.5 |
|
|
|
|
|
|
0.3 |
|
|
|
|
|
|
|
|
|
0.2 |
|
|
|
|
0.1 |
|
|
|
|
0.0 |
|
|
|
|
0 |
5 |
10 |
15 |
20 |
|
|
x |
|
|
|
|
Pareto |
|
|
|
|
|
|
xm = 1, α = 1 |
|
|
|
|
xm = 1, α = 2 |
|
|
|
|
xm = 1, α = 4 |
3 |
|
|
|
|
PDF 2
1
0
0 |
1 |
2 |
3 |
4 |
5 |
x
5