- •СОДЕРЖАНИЕ
- •ЛЕКЦИЯ 1
- •Введение
- •Основные понятия
- •Аксиомы теории вероятностей
- •Непосредственный подсчет вероятностей
- •Основные комбинаторные формулы
- •ЛЕКЦИЯ 2
- •Геометрическое определение вероятностей
- •Теоремы сложения вероятностей
- •Тогда на основании второй аксиомы
- •Условная вероятность
- •Зависимые и независимые события
- •Теоремы умножения вероятностей
- •Вероятность безотказной работы сети
- •ЛЕКЦИЯ 3
- •Формула полной вероятности
- •Формула Байеса
- •Теорема о повторении опытов
- •Функция распределения
- •Ряд распределения
- •Плотность распределения
- •ЛЕКЦИЯ 5
- •Числовые характеристики случайной величины
- •ЛЕКЦИЯ 6
- •Типовые законы распределения
- •ЛЕКЦИЯ 7
- •Функции одного случайного аргумента
- •Закон распределения функции случайного аргумента
- •Числовые характеристики функции случайного аргумента
- •Характеристическая функция случайной величины
- •Двухмерная функция распределения
- •Матрица распределения
- •Двухмерная плотность распределения
- •Зависимые и независимые случайные величины
- •Условные законы распределения
- •ЛЕКЦИЯ 9
- •Числовые характеристики двухмерных величин
- •Условные числовые характеристики
- •ЛЕКЦИЯ 10
- •Нормальный закон распределения на плоскости
- •Закон распределения функции двух случайных величин
- •Многомерные случайные величины
- •Числовые характеристики суммы случайных величин
- •Числовые характеристики произведения случайных величин
- •ЛЕКЦИЯ 12
- •Закон больших чисел
- •Центральная предельная теорема
- •ЛЕКЦИЯ 13
- •Математическая статистика. Основные понятия
- •Оценка закона распределения
- •ЛЕКЦИЯ 14
- •Точечные оценки числовых характеристик
- •Оценка параметров распределения
- •Интервальные оценки числовых характеристик
- •ЛЕКЦИЯ 15
- •Проверка статистических гипотез
- •Критерии согласия
- •Статистические критерии двухмерных случайных величин
- •ЛЕКЦИЯ 17
- •Оценка регрессионных характеристик
- •Метод наименьших квадратов
- •ЛИТЕРАТУРА
ЛЕКЦИЯ 14
Точечные оценки числовых характеристик
ˆ
Статистической оценкой Q параметра Q распределения называется
приближенное значение параметра, вычисленное по результатам эксперимента (по выборке). Статистические оценки делятся на точечные и интервальные.
Точечной называется оценка, определяемая одним числом. Точечная
ˆ
оценка Q параметра Q случайной величины X в общем случае равна
ˆ |
, x2 |
,..., xn ) , |
(14.1) |
Q =ϕ(x1 |
где xi – значения выборки.
ˆ
Очевидно, что оценка Q – это случайная величина, так как она является функцией от n-мерной случайной величины (X1, X2, …, Xn), где Хi – значение
ˆ
величины Х в i-м опыте, и значения Q будут изменяться от выборки к выборке случайным образом. К оценкам предъявляется ряд требований.
ˆ
1. Оценка Q называется состоятельной, если при увеличении объема выборки n она сходится по вероятности к значению параметра Q:
ˆ |
p |
|
|
ˆ |
|
< ε)) =1, |
ε > 0 . |
(14.2) |
|
|
|
||||||
Q →Q lim(P( |
|
Q −Q |
|
|||||
|
n→∞ |
n→∞ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Состоятельность – это минимальное требование к оценкам.
ˆ
2. Оценка Q называется несмещенной, если ее математическое ожидание
точно равно параметру Q для любого объема выборки: |
|
|
|
|
|
|
M [ Qˆ ] = Q , n . |
|
|
|
|
|
(14.3) |
Несмещенная оценка является состоятельной, если |
lim |
D |
|
ˆ |
|
= 0. |
|
Q |
|
||||
|
n → ∞ |
|
|
|
3. Несмещенная оценка ˆ является эффективной, если ее дисперсия
Q
минимальна по отношению к дисперсии любой другой оценки этого параметра:
ˆ |
= min . |
(14.4) |
D Q |
Оценка математического ожидания. На основании теоремы Чебышева в качестве состоятельной оценки математического ожидания может быть использовано среднее арифметическое значений выборки x , называемое выборочным средним:
m *X |
= x = |
1 ∑n |
xi . |
|
|
n i =1 |
|
Определим числовые характеристики оценки x.
|
1 |
n |
1 |
n |
1 |
n |
|
M [x ] = M [ |
∑Xi ] = |
∑M [ Xi ] = |
∑mX |
||||
n |
n |
|
|||||
|
i=1 |
i=1 |
n i=1 |
т.е. оценка несмещенная.
|
1 |
n |
1 |
n |
1 |
n |
|
D[x ] = D[ |
∑Xi ] = |
∑D[ Xi ] = |
∑DX |
||||
|
2 |
2 |
|||||
|
n i=1 |
n |
i=1 |
n |
i=1 |
=mX ,
=1n DX .
(14.5)
(14.6)
Оценка (14.5) является эффективной, т.е. ее дисперсия минимальна, если величина X распределена по нормальному закону.
Состоятельная оценка начального момента k-го порядка определяется по формуле
|
1 |
n |
|
αˆk ( x) = |
∑(xi )k . |
(14.7) |
|
|
n |
i=1 |
|
Оценка дисперсии. В качестве состоятельной оценки дисперсии может быть использовано среднее арифметическое квадратов отклонений значений выборки от выборочного среднего:
|
1 |
n |
1 |
n |
|
S 2 = |
∑ (xi − x )2 = |
∑ xi2 − ( x )2 . |
(14.8) |
||
|
n |
i =1 |
n |
i =1 |
|
Определим математическое ожидание оценки S2. Так как дисперсия не зависит от того, где выбрать начало координат, выберем его в точке mX, т.е. перейдем к центрированным величинам:
|
|
2 |
|
|
1 |
n |
o |
2 |
|
|
1 |
|
n |
o |
|
2 |
|
|
n −1 |
n |
o 2 |
|
2 |
|
|
n |
o |
o |
|||||
M [S |
|
] = M [ |
|
∑ X i |
− |
|
∑ X i |
] = M [ |
|
|
|
2 |
∑ X i |
− |
|
|
|
|
∑ X i X j ] = |
||||||||||||||
|
n |
|
|
n |
|
n |
2 |
|
|||||||||||||||||||||||||
|
|
|
|
|
i =1 |
|
|
|
n |
|
i =1 |
|
|
|
|
|
|
|
i =1 |
|
|
|
|
|
|
i< j |
|
|
|||||
|
n −1 |
n |
|
o |
|
2 |
n |
|
|
|
o |
|
o |
|
|
1 |
n |
|
|
2 |
|
n |
|
|
|
|
|||||||
= |
∑ M [ X i2 ] − |
∑ M [ X i X j ] = |
n − |
∑ DX − |
∑ Kij = n −1 DX . |
||||||||||||||||||||||||||||
2 |
2 |
2 |
|
|
2 |
||||||||||||||||||||||||||||
|
n |
|
|
i =1 |
|
|
|
n |
|
i< j |
|
|
|
|
|
|
n |
|
|
|
i =1 |
|
|
n |
|
i< j |
|
|
|
n |
|||
|
Ковариация |
Kij =0 |
, |
так |
как |
опыты, |
а |
следовательно, |
и |
Хi |
− значение |
величины Х в i-м опыте − независимы. Таким образом, величина S 2 является смещенной оценкой дисперсии, а несмещенная состоятельная оценка дисперсии равна:
|
n |
|
|
|
1 |
|
n |
|
|
1 |
|
n |
n |
|
|
|
S02 = |
S |
2 = |
|
∑(xi −x )2 = |
|
∑xi2 − |
x2. |
|||||||||
n −1 |
n −1 |
|
|
n −1 |
||||||||||||
|
|
|
i=1 |
|
|
n −1 i=1 |
|
|||||||||
Дисперсия величины S 02 равна: |
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
D[S 02 ] |
= |
µ 4 |
− |
n − 3 |
|
D 2 . |
|
|
|
|||
|
|
|
|
n |
n(n − 1) |
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
(14.9)
(14.10)
Для нормального закона распределения величины X формула (14.10) примет вид
D [ S 02 ] = |
2 |
D 2 , |
(14.11) |
|
(n − 1) |
||||
|
|
|
для равномерного закона распределения –
D[S 02 ] ≈ |
0.8n + 1.2 |
D 2 . |
(14.12) |
|
n(n − 1) |
|
|
Состоятельная несмещенная оценка среднеквадратического отклонения определяется по формуле
S0 = S02 . |
(14.13) |
Состоятельная оценка центрального момента k-го порядка равна:
µˆk (x) = 1 |
n |
|
||
∑(xi − x )k . |
(14.14) |
|||
n |
i=1 |
|
||
Оценка вероятности. На основании теоремы Бернулли несмещенная |
||||
состоятельная и эффективная оценка вероятности случайного события A в |
||||
схеме независимых опытов равна частоте этого события: |
|
|||
p* ( A) = m , |
(14.15) |
|||
|
n |
|
||
где m – число опытов, в которых произошло событие A; |
|
|||
n – число проведенных опытов. |
|
|
|
|
Числовые характеристики оценки вероятности p* ( A) = p* равны: |
|
|||
M[p* ] = p( A) = p, D[p* ] = |
p(1 − p) |
. |
(14.16) |
|
|
||||
|
|
n |
|
Оценка параметров распределения
Для вычисления оценок параметров распределения чаще всего применяются методы моментов и максимального правдоподобия.
Метод моментов. Пусть имеется выборка {x1, ..., xn} независимых значений случайной величины с известным законом распределения f(x, Q1, ..., Qm) и m неизвестными параметрами Q1, ..., Qm. Необходимо вычислить оценки
ˆ |
, |
ˆ |
параметров Q1, ..., Qm. Последовательность вычислений следующая: |
||||
Q1 |
..., Qm |
||||||
|
|
1. Вычислить значения m начальных и/или центральных теоретических |
|||||
моментов |
|
|
|
|
|
||
|
|
|
|
k |
|
k |
(14.17) |
|
|
|
αk (x) = M X |
, |
µk (x) = M (X − mx ) |
. |
2.Определить m соответствующих выборочных начальных αˆk (x) и/или центральных µˆk (x) моментов по формулам (14.7, 14.14).
3.Составить и решить относительно неизвестных параметров Q1, ..., Qm
систему из m уравнений, в которых теоретические моменты приравниваются к
выборочным |
моментам. Каждое уравнение имеет вид |
αk (x) =αˆk (x) или |
|
ˆ |
ˆ |
µk ( x) = µˆk ( x) . Найденные корни являются оценками Q1, ..., Qm неизвестных |
||
параметров. |
|
|
Замечание. Часть уравнений может содержать начальные моменты, а |
||
оставшаяся часть – центральные. |
|
|
Метод |
максимального правдоподобия. Согласно |
данному методу |
ˆ |
ˆ |
|
оценки Q1, ..., |
Qm получаются из условия максимума по параметрам Q1, ..., Qm |
положительной функции правдоподобия L(x1,..., xn,Q1,...,Qm ) .
Если случайная величина X непрерывна, а значения xi независимы, то
n
L(x1,..., xn ,Q1,...,Qm ) = ∏ f (xi ,Q1,...,Qm ).
i=1
Если случайная величина X дискретна и принимает независимые значения xi с вероятностями p(X = xi ) = pi (xi ,Q1,...,Qm ), то функция правдоподобия равна
n
L(x1,..., xn,Q1,...,Qm ) = ∏pi (xi ,Q1,...,Qm ).
i=1
Система уравнений согласно этому методу может записываться в двух видах:
|
|
|
∂ L(x1, |
..., |
xn, Q1, ..., |
Qm ) = 0, |
|
i =1, |
2, |
..., |
m , |
|
или |
|
|
|
|
∂Qi |
|
|
|
|
|
|
|
|
|
∂ ln (L(x1, |
..., xn, Q1, |
..., Qm )) |
|
|
|
|
|
|||
|
|
|
= 0, |
i =1, |
2, |
..., |
m. |
|||||
|
|
|
|
|
∂Qi |
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
Найденные корни |
выбранной |
системы уравнений |
являются |
|||||||||
ˆ |
ˆ |
неизвестных параметров Q1, ..., Qm. |
|
|
|
|
||||||
Q1, ..., |
Qm |
|
|
|
|
(14.18)
(14.19)
оценками
Интервальные оценки числовых характеристик
Пусть для параметра Q получена из опыта несмещенная оценка ˆ .
Q
Оценим возможную ошибку, возникающую при замене параметра Q его
ˆ . Возьмем достаточно большую вероятность γ, такую, что событие с оценкой Q
вероятностью γ можно считать практически достоверным, и найдем такое значение ε, для которого
ˆ |
< ε ) = γ . |
(14.20) |
p ( Q − Q |
Тогда диапазон практически возможных значений ошибки, возникающей при
ˆ
замене Q на Q , будет ±ε; большие по абсолютной величине ошибки будут появляться только с малой вероятностью α = 1 − γ . Равенство (14.19) означает, что с вероятностью γ неизвестное значение параметра Q попадает в интервал
ˆ |
ˆ |
(14.21) |
I γ = (Q − ε ; Q − ε ) . |
Доверительным называется интервал Iγ , в который с заданной
вероятностью (надежностью) γ попадают значения параметра Q. Вероятность γ выбирается близкой к 1: 0,9; 0,95; 0,975; 0,99.
Очевидно, что для построения доверительного интервала должен быть
известен закон распределения величины ˆ . Затруднение состоит в том, что
Q
ˆ
закон распределения оценки Q зависит от закона распределения величины X и, следовательно, от его неизвестных параметров (в частности и от самого
ˆ
параметра Q ). Для решения этой проблемы воспользуемся тем, что величина Q
представляет собой, как правило, сумму n независимых одинаково распределенных случайных величин и, согласно центральной предельной теореме, при достаточно большом n (n > 20…50) ее закон распределения можно считать нормальным.
Доверительный интервал для математического ожидания. Интервал
Iγ |
для математического |
ожидания |
случайной величины |
X с неизвестным |
|||||||||||
законом распределения имеет вид |
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
x − |
S0 zγ |
< mX |
< x + |
S0 zγ |
, |
|
(14.22) |
||
|
|
zγ = arg Φ(γ |
|
n |
n |
|
|||||||||
|
|
|
|
|
|
|
|
|
|||||||
где |
|
) – значение аргумента функции Лапласа, т.е. Ф(zγ) = |
γ . |
||||||||||||
|
|
|
|
2 |
|
|
|
|
|
X |
|
|
|
|
2 |
|
|
|
Если случайная |
величина |
|
|
|
|
|
|
|||||
распределена по нормальному закону с |
|
|
|
ft (x) |
|
||||||||||
параметрами |
mx |
и |
σx , |
то величина |
|
|
|
|
|||||||
|
|
|
|
|
|||||||||||
T = |
|
( x − mX ) |
n |
распределена |
|
по |
|
|
|
|
|
||||
|
S0 |
|
|
|
|
|
γ |
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
закону Стьюдента с (n – 1) степенью |
|
|
|
|
|
||||||||||
свободы. |
|
|
|
|
|
|
k |
|
|
|
|
|
|||
|
|
|
Распределение |
Стьюдента |
с |
|
|
|
|
x |
|||||
степенями свободы имеет следующую |
|
|
|
|
|
||||||||||
|
-tγ ,k |
tγ,k |
|
||||||||||||
плотность распределения: |
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
k + 1 |
|
|
|
|
|
|
|
|
|
|
|||
|
Γ |
|
|
|
|
|
|
|
|
t |
2 |
|
− |
k +1 |
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|||||||
fk (t ) = |
2 |
|
|
|
|
1 |
+ |
|
2 |
|||||
|
|
|
|
|
|
|
|
|||||||
|
|
|
k |
k |
|
|
||||||||
|
π k Γ |
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
2 |
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
где Γ(α ) = ∞∫tα −1e−t dt – гамма-функция.
0
Доверительный интервал с надежностью γ ожидания имеет вид
x − |
S0 tγ,n−1 |
<m <x + |
S0 tγ,n−1 |
, |
|
|
|||
|
n |
X |
n |
|
|
|
|
, (14.23)
для математического
(14.24)
где tγ,n−1 – значение, взятое из таблицы распределения Стьюдента.
Доверительный интервал для дисперсии. Интервал Iγ для дисперсии случайной величины X с неизвестным законом распределения имеет вид
|
|
|
|
S02 − zγ |
2 |
|
S02 < DX < S02 + zγ |
2 |
|
S02 , |
(14.25) |
|
|
γ |
|
n −1 |
n −1 |
||||||
|
|
|
|
|
|
|
|||||
где zγ |
= arg Φ( |
) |
– значение аргумента функции Лапласа, т.е. Ф(zγ) = |
γ . |
|||||||
|
|
2 |
|
|
|
|
|
|
|
|
2 |
|
Если |
случайная |
величина X распределена |
по |
нормальному |
закону с |
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
то величинаv = |
(n −1)S 2 |
|
распределена по закону χ |
2 |
|||||||||||||||||
параметрами mx |
|
и σx , |
|
|
|
0 |
|
|
|
||||||||||||||||||||
|
|
|
2 |
|
|
|
|
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
σ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
X |
|
|
|
|
|
|
|
|
|
|
|
|
с (n – 1) степенью свободы и доверительный интервал с надежностью γ |
для |
||||||||||||||||||||||||||||
дисперсии имеет вид |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
(n − 1) S 2 |
< D X < |
(n − 1) S |
2 |
, |
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
0 |
|
(14.26) |
|
|||||||
|
|
|
|
|
|
|
|
2 |
|
|
|
|
χ |
2 |
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
χ1−γ |
, n −1 |
|
|
|
1+γ |
, n −1 |
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
где χ12−γ |
, χ12+γ |
|
|
|
– значения, взятые из таблицы распределения χ2 . |
|
|
|
|||||||||||||||||||||
|
|
,n−1 |
|
,n−1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
2 |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
Формулы (14.24, 14.26) можно использовать при любом объеме выборки |
||||||||||||||||||||||||||||
n, так |
как |
эти |
интервалы Iγ |
построены |
на основе знания точных законов |
||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ˆ |
|
|
|
|
|
|
|
|
|
||
распределения величин, связывающих Q и Q . Кроме этого, если случайная |
|||||||||||||||||||||||||||||
величина X распределена по нормальному закону и ее дисперсия σ X2 |
известна, |
||||||||||||||||||||||||||||
то точный интервал Iγ для математического ожидания при любом объеме |
|||||||||||||||||||||||||||||
выборки n определяют по формуле (14.22), заменив в ней оценку S 0 |
СКО его |
||||||||||||||||||||||||||||
точным значением σX . |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Iγ |
|
|
|||||||
|
Доверительный |
интервал |
для |
|
вероятности. Интервал |
для |
|||||||||||||||||||||||
вероятности события A в схеме независимых опытов Бернулли имеет вид |
|
|
|||||||||||||||||||||||||||
|
|
|
|
p |
* |
− zγ |
|
p* (1− p* ) |
< p( A) |
< |
p |
* |
+ zγ |
|
|
p* (1− p* ) |
, |
(14.25) |
|
||||||||||
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
n |
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
где p* = p* ( A) = mn – частота появления события A в n опытах;
m – число опытов, в которых произошло событие A; n – число проведенных опытов;
zγ = arg Φ( γ2 ) – значение аргумента функции Лапласа, т.е. Ф(zγ) = γ2 .