- •Аннотация
- •Содержание
- •Введение
- •Основные понятия
- •Аксиомы теории вероятностей
- •Непосредственный подсчет вероятностей
- •Основные комбинаторные формулы
- •ЛЕКЦИЯ 2
- •Геометрическое определение вероятностей
- •Теоремы сложения вероятностей
- •Условная вероятность
- •Зависимые и независимые события
- •Теоремы умножения вероятностей
- •Вероятность безотказной работы сети
- •ЛЕКЦИЯ 3
- •Формула полной вероятности
- •Формула Байеса
- •Теорема о повторении опытов
- •Функция распределения
- •Ряд распределения
- •Плотность распределения
- •ЛЕКЦИЯ 5
- •Числовые характеристики случайной величины
- •ЛЕКЦИЯ 6
- •Типовые законы распределения
- •ЛЕКЦИЯ 7
- •Функции одного случайного аргумента
- •Закон распределения функции случайного аргумента
- •Числовые характеристики функции случайного аргумента
- •Характеристическая функция случайной величины
- •Двухмерная функция распределения
- •Матрица распределения
- •Двухмерная плотность распределения
- •Зависимые и независимые случайные величины
- •Условные законы распределения
- •ЛЕКЦИЯ 9
- •Числовые характеристики двухмерных величин
- •Условные числовые характеристики
- •ЛЕКЦИЯ 10
- •Нормальный закон распределения на плоскости
- •Закон распределения функции двух случайных величин
- •Многомерные случайные величины
- •ЛЕКЦИЯ 11
- •Числовые характеристики функции многих переменных
- •Числовые характеристики суммы случайных величин
- •Числовые характеристики произведения случайных величин
- •ЛЕКЦИЯ 12
- •Закон больших чисел
- •Центральная предельная теорема
- •ЛЕКЦИЯ 13
- •Математическая статистика. Основные понятия
- •Оценка закона распределения
- •ЛЕКЦИЯ 14
- •Точечные оценки числовых характеристик
- •Оценка параметров распределения
- •Интервальные оценки числовых характеристик
- •ЛЕКЦИЯ 15
- •Проверка статистических гипотез
- •Критерии согласия
- •Статистические критерии двухмерных случайных величин
- •ЛЕКЦИЯ 17
- •Оценка регрессионных характеристик
- •Метод наименьших квадратов
- •ЛИТЕРАТУРА
ЛЕКЦИЯ 14
Точечные оценки числовых характеристик
Статистической оценкой ˆ параметра Q распределения называется
Q
приближенное значение параметра, вычисленное по результатам эксперимента (по выборке). Статистические оценки делятся на точечные и интервальные.
Точечной называется оценка, определяемая одним числом. Точечная
ˆ параметра Q случайной величины X в общем случае равна оценка Q
ˆ |
, x2 |
,..., xn ) , |
(14.1) |
Q =ϕ(x1 |
где xi – значения выборки.
Очевидно, что оценка ˆ – это случайная величина, так как она является
Q
функцией от n-мерной случайной величины (Х1,...,Хn), где Хi, – значение
величины Х в i-м опыте, и значения ˆ будут изменяться от выборки к выборке
Q
случайным образом. К оценкам предъявляется ряд требований.
ˆ называется состоятельной, если при увеличении объема 1. Оценка Q
выборки n она сходится по вероятности к значению параметра Q:
ˆ |
p |
|
|
ˆ |
|
< ε)) =1, |
ε > 0 . |
(14.2) |
|
|
|
||||||
Q →Q lim(P( |
|
Q −Q |
|
|||||
|
n→∞ |
n→∞ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Состоятельность – это минимальное требование к оценкам.
ˆ называется несмещенной, если ее математическое ожидание 2. Оценка Q
точно равно параметру Q для любого объема выборки: |
|
|
|
|
|
|
M [ Qˆ ] = Q , n . |
|
|
|
|
|
(14.3) |
Несмещенная оценка является состоятельной, если |
lim |
D |
|
ˆ |
|
= 0. |
|
Q |
|
||||
|
n → ∞ |
|
|
|
||
3. Несмещенная оценка ˆ является эффективной, если ее дисперсия
Q
минимальна по отношению к дисперсии любой другой оценки этого параметра:
ˆ |
= min . |
(14.4) |
D Q |
Оценка математического ожидания. На основании теоремы Чебышева в качестве состоятельной оценки математического ожидания может быть использовано среднее арифметическое значений выборки x
выборочным средним:
m *X |
= x = |
1 |
∑n |
xi . |
(14.5) |
|
|
n |
i =1 |
|
|
Определим числовые характеристики оценки x.
|
|
|
1 |
|
n |
|
1 n |
|
1 |
n |
|
|
|
|||
M [x ] = M |
[ |
|
|
Xi ] = |
|
|
M [ X i ] = |
|
|
mX = mX , |
|
|||||
n |
|
|
n |
|
||||||||||||
т.е. оценка несмещенная. |
|
∑i=1 |
|
n ∑i=1 |
|
∑i=1 |
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
1 |
|
n |
|
1 |
|
|
n |
1 |
|
n |
1 |
|
|
||
D[x ] = D[ |
∑Xi ] = |
|
∑D[ Xi ] = |
∑DX = |
DX . |
(14.6) |
||||||||||
|
2 |
|
2 |
n |
||||||||||||
|
n |
i=1 |
|
n |
|
i=1 |
n |
|
|
i=1 |
|
|
||||
65
Оценка (14.5) является эффективной, т.е. ее дисперсия минимальна, если величина X распределена по нормальному закону.
Состоятельная оценка начального момента k-го порядка определяется по формуле
|
1 |
n |
|
αˆk ( x) = |
∑(xi )k . |
(14.7) |
|
|
n |
i=1 |
|
Оценка дисперсии. В качестве состоятельной оценки дисперсии может быть использовано среднее арифметическое квадратов отклонений значений выборки от выборочного среднего:
|
1 |
n |
1 |
n |
|
S 2 = |
∑(xi − x )2 = |
∑ xi2 − ( x )2 . |
(14.8) |
||
|
n |
i =1 |
n |
i =1 |
|
Определим математическое ожидание оценки S2. Так как дисперсия не зависит от того, где выбрать начало координат, выберем его в точке mX, т.е. перейдем к центрированным величинам:
|
2 |
|
|
1 |
n |
2 |
|
1 |
n |
2 |
|
|
n −1 |
n |
2 |
|
2 |
|
n |
|
||||
M [S |
|
] = M [ |
|
∑ X i − |
∑ X i |
] = |
M [ |
|
2 |
∑ X i |
− |
|
|
|
|
∑ X i X j ] = |
||||||||
|
n |
n |
|
n |
2 |
|
||||||||||||||||||
|
|
|
|
i =1 |
|
|
|
n |
i =1 |
|
|
|
|
i =1 |
|
|
|
|
|
i< j |
|
|||
|
|
|
n |
|
|
|
2 |
n |
|
|
|
|
|
n |
|
|
2 |
|
n |
|
|
|||
= n −2 1 |
∑ M [ X i2 ] − |
|
∑ M [ X i X j ] = n −2 1 |
∑ DX − |
∑ Kij |
= n −1 DX . |
||||||||||||||||||
|
2 |
2 |
||||||||||||||||||||||
n |
|
|
i =1 |
|
|
|
n |
|
i< j |
|
|
|
n |
|
i =1 |
|
|
n |
|
i< j |
|
n |
||
|
|
Ковариация |
Kij |
=0, |
так |
как |
опыты, |
а |
следовательно, |
и Хi − значение |
||||||||||||||
величины Х в i-м опыте − независимы. Таким образом, величина S 2 смещенной оценкой дисперсии, а несмещенная состоятельная дисперсии равна:
|
n |
|
|
1 |
|
n |
1 |
n |
n |
|
|
S02 = |
S2 = |
|
∑(xi −x )2 = |
∑xi2 − |
x2. |
||||||
n −1 |
n −1 |
|
n −1 |
||||||||
|
|
i=1 |
n −1 i=1 |
|
|||||||
является
оценка
(14.9)
Дисперсия величины S 02 равна: |
|
|
|
|
|
|
|
|
|
|
||
D[ S 02 ] = |
µ 4 |
|
− |
|
n − 3 |
D 2 . |
(14.10) |
|||||
n |
|
n (n − 1) |
||||||||||
|
|
|
|
|
|
|||||||
Для нормального закона распределения величины X формула (14.10) |
||||||||||||
примет вид |
|
|
2 |
|
|
|
|
|
|
|||
D [ S 02 ] = |
|
|
|
|
D 2 |
, |
(14.11) |
|||||
|
(n − |
1) |
|
|||||||||
|
|
|
|
|
|
|
|
|
||||
для равномерного закона распределения – |
|
|
|
|
||||||||
D[S 02 ] ≈ |
0.8n + 1.2 |
D 2 . |
(14.12) |
|||||||||
|
||||||||||||
|
|
|
n(n − 1) |
|
|
среднеквадратического |
||||||
Состоятельная несмещенная |
|
|
оценка |
|||||||||
отклонения определяется по формуле: |
|
|
|
|
|
|
|
|
||||
S 0 = |
|
S 02 . |
|
|
|
(14.13) |
||||||
Состоятельная оценка центрального момента k-го порядка равна:
66
|
1 |
n |
|
|
µˆk (x) = |
∑(xi − x )k . |
(14.14) |
||
n |
||||
|
i=1 |
|
Оценка вероятности. На основании теоремы Бернулли несмещенная состоятельная и эффективная оценка вероятности случайного события A в схеме независимых опытов равна частоте этого события:
p* ( A) = |
m |
, |
(14.15) |
|
n |
||||
|
|
|
где m - число опытов, в которых произошло событие A; n - число проведенных опытов.
Числовые характеристики оценки вероятности p* ( A) = p* равны:
M[p* ] = p( A) = p, D[p* ] = |
p(1 − p) |
. |
(14.16) |
|
|||
|
n |
|
|
Оценка параметров распределения
Для вычисления оценок параметров распределения чаще всего применяются методы моментов и максимального правдоподобия.
Метод моментов. Пусть имеется выборка {x1, ..., xn} независимых значений случайной величины с известным законом распределения f(x, Q1 , ..., Qm) и m неизвестными параметрами Q1, ..., Qm. Необходимо вычислить оценки
ˆ |
, ..., |
ˆ |
параметров |
Q1, ..., Qm. Последовательность вычислений |
Q1 |
Qm |
следующая:
1. Вычислить значения m начальных и/или центральных теоретических моментов
|
k |
, |
|
k |
(14.17) |
αk (x) = M X |
|
µk (x) = M (X − mx ) . |
|||
2.Определить m соответствующих выборочных начальных αˆk (x) и/или центральных µˆk (x) моментов по формулам (14.7, 14.14).
3.Составить и решить относительно неизвестных параметров Q1, ..., Qm
систему из m уравнений, в которых теоретические моменты приравниваются к
выборочным |
моментам. Каждое уравнение имеет вид |
αk (x) =αˆk (x) или |
|
ˆ |
ˆ |
µk ( x) = µˆk ( x) . Найденные корни являются оценками Q1, ..., Qm неизвестных |
||
параметров. |
|
|
Замечание. Часть уравнений может содержать начальные моменты, а |
||
оставшаяся часть - центральные. |
|
|
Метод |
максимального правдоподобия. Согласно |
данному методу |
ˆ |
ˆ |
|
оценки Q1, ..., |
Qm получаются из условия максимума по параметрам Q1, ..., Qm |
|
положительной функции правдоподобия L(x1,..., xn ,Q1,...,Qm ) . |
||
Если случайная величина X непрерывна, а значения xi |
независимы, то |
|
67
n
L(x1,..., xn,Q1,...,Qm ) = ∏ f (xi ,Q1,...,Qm ).
i=1
Если случайная величина X дискретна и принимает независимые значения xi с вероятностями p(X = xi ) = pi (xi ,Q1,...,Qm ), то функция правдоподобия равна
n
L(x1,..., xn,Q1,...,Qm ) = ∏pi (xi ,Q1,...,Qm ).
i=1
Система уравнений согласно этому методу может записываться в двух видах:
|
|
|
∂ L(x1, |
..., |
xn, Q1, ..., Qm ) = 0, |
|
i =1, |
2, |
..., |
m |
||
или |
|
|
|
|
∂Qi |
|
|
|
|
|
|
|
|
|
∂ ln (L(x1, |
..., xn , Q1, |
..., Qm )) |
|
|
|
|
|
|||
|
|
|
= 0, |
i =1, |
2, |
..., |
m. |
|||||
|
|
|
|
|
∂Qi |
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
Найденные корни |
выбранной |
системы уравнений |
являются |
|||||||||
ˆ |
ˆ |
неизвестных параметров Q1, ..., Qm. |
|
|
|
|
||||||
Q1, ..., |
Qm |
|
|
|
|
|||||||
(14.18)
(14.19)
оценками
Интервальные оценки числовых характеристик
Пусть для параметра Q получена из опыта несмещенная оценка ˆ .
Q
Оценим возможную ошибку, возникающую при замене параметра Q его
ˆ . Возьмем достаточно большую вероятность γ, такую, что событие с оценкой Q
вероятностью γ можно считать практически достоверным, и найдем такое значение ε, для которого
ˆ |
< ε ) = γ . |
(14.20) |
p ( Q − Q |
Тогда диапазон практически возможных значении ошибки, возникающей при
замене Q на ˆ , будет ±ε; большие по абсолютной величине ошибки будут
Q
появляться только с малой вероятностью α = 1 − γ . Равенство (14.19) означает, что с вероятностью γ неизвестное значение параметра Q попадает в
интервал |
|
|
ˆ |
ˆ |
(14.21) |
I γ = (Q − ε ; Q − ε ) . |
||
Доверительным называется интервал Iγ , в который с заданной
вероятностью (надежностью) γ попадают значения параметра Q. Вероятность γ выбирается близкой к 1: 0,9; 0,95; 0,975; 0,99.
Очевидно, что для построения доверительного интервала должен быть
известен закон распределения величины ˆ . Затруднение состоит в том, что
Q
закон распределения оценки ˆ зависит от закона распределения величины X и,
Q
следовательно, от его неизвестных параметров (в частности, и от самого
параметра Q ). Для решения этой проблемы воспользуемся тем, что величина ˆ
Q
68
представляет собой, как правило, сумму n независимых одинаково распределенных случайных величин и, согласно центральной предельной теореме, при достаточно большом n ( n > 20 ÷50 ), ее закон распределения можно считать нормальным.
Доверительный интервал для математического ожидания. Интервал
Iγ для математического ожидания случайной величины X с неизвестным
законом распределения имеет вид |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
x − |
S0 zγ |
< mX |
< x + |
S0 zγ |
, |
|
(14.22) |
|||||||||||||
|
|
|
|
n |
|
|
|
|
|
|
|||||||||||||
|
|
γ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|||
где zγ = arg Φ( |
) - значение аргумента функции Лапласа, т.е. Ф(zγ) = |
γ |
|||||||||||||||||||||
|
|
2 |
|
|
|
|
|
|
X |
|
|
|
|
|
|
|
|
|
|
|
2 |
||
|
Если случайная величина |
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
распределена по нормальному закону |
|
|
|
|
|
|
|
|
|
|
ft (x) |
|
|||||||||||
с параметрами mx и σx , то величина |
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
T = |
( x − mX ) |
n |
распределена |
|
|
|
по |
|
|
|
|
|
|
|
|
|
|
|
|
||||
S0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
γ |
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
закону Стьюдента с (n - 1) степенью |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
свободы. |
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
Распределение Стьюдента |
с |
|
|
|
|
|
|
|
|
|
|
|
x |
|||||||||
степенями |
|
свободы |
|
имеет |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
-tγ ,k |
tγ,k |
|
||||||||||||
следующую плотность распределения: |
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
Γ |
k + 1 |
|
|
|
|
|
|
|
k +1 |
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
t |
2 |
|
− |
|
|
||||||
|
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
fk (t ) = |
|
2 |
|
|
|
2 |
|
|
||||||||||||
|
|
|
|
1 + |
|
|
|
|
|
, |
(14.23) |
||||||||||||
|
|
|
|
|
|
|
|
k |
k |
|
|
|
|||||||||||
|
|
|
|
|
π k |
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
Γ |
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|||
где Γ(α ) = ∞∫tα −1e−t dt - гамма-функция.
0
Доверительный интервал с надежностью γ для математического ожидания имеет вид:
x − |
S0 tγ,n−1 |
<m < x + |
S0 tγ,n−1 |
, |
(14.24) |
|
|
||||
|
n |
X |
n |
|
|
|
|
|
|
где tγ,n−1 - значение, взятое из таблицы распределения Стьюдента.
Доверительный интервал для дисперсии . Интервал Iγ для дисперсии случайной величины X с неизвестным законом распределения имеет вид
|
|
|
|
S02 − zγ |
2 |
|
S02 < DX < S02 + zγ |
2 |
|
S02 , |
(14.25) |
|
|
γ |
|
n −1 |
n −1 |
||||||
|
|
|
|
|
|
|
|||||
где zγ |
= arg Φ( |
) |
– значение аргумента функции Лапласа, т.е. Ф(zγ) = |
γ . |
|||||||
|
|
2 |
|
|
|
|
|
|
|
|
2 |
69
Если случайная величина X распределена по нормальному закону с
параметрами mx и σx , то величинаv = (n −1)2 |
S02 |
распределена по закону χ2 |
с (n- |
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
σ |
X |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
для |
|
-1) степенью свободы и доверительный |
|
интервал |
|
с надежностью γ |
||||||||||||||||||||
дисперсии имеет вид |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
(n − 1) S 2 |
|
|
(n − 1) S 2 |
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
0 |
|
< D X < |
|
|
|
0 |
|
, |
|
(14.26) |
|||
|
|
|
|
|
|
|
|
|
2 |
|
|
|
χ |
2 |
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
χ1−γ |
, n −1 |
|
|
1+γ |
, n −1 |
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
2 |
|
|
|
2 |
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
где χ12−γ |
, χ12+γ |
|
|
– значения, взятые из таблицы распределения χ2 . |
|
|
||||||||||||||||||
|
|
,n−1 |
|
|
,n−1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
Формулы (14.24, 14.26) можно использовать при любом объеме выборки |
|||||||||||||||||||||||
n, так |
как |
эти |
интервалы Iγ |
построены |
на основе знания точных законов |
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ˆ |
|
|
|
|
|
|
|
|
распределения величин, связывающих Q и Q . Кроме этого, если случайная |
||||||||||||||||||||||||
величина X распределена по нормальному закону и ее дисперсия σ X2 |
известна, |
|||||||||||||||||||||||
то точный интервал Iγ |
для математического ожидания при любом объеме |
|||||||||||||||||||||||
выборки n определяют по формуле (14.22), заменив в ней оценку S 0 |
СКО его |
|||||||||||||||||||||||
точным значением σX . |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Iγ |
|
||||||||
|
Доверительный интервал для вероятности. Интервал |
для |
||||||||||||||||||||||
вероятности события A в схеме независимых опытов Бернулли имеет вид |
|
|||||||||||||||||||||||
|
|
|
|
|
|
p* − zγ |
p* (1− p* ) |
< p(A) < p* + zγ |
|
p* (1− p* ) |
, |
(14.25) |
||||||||||||
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
где p* = p* ( A) = mn – частота появления события A в n опытах;
m – число опытов, в которых произошло событие A; n – число проведенных опытов.
zγ = arg Φ( γ2 ) – значение аргумента функции Лапласа, т.е. Ф(zγ) = γ2 .
70
