Пособие по математической статистике
.pdf
Свойство 2 Выборочная дисперсия ̃X смещённая оценка генеральной дисперсии
D[X] c отрицательной величиной смещения = -
M[̃X]= D[X]
Вследствие смещённости выборочной дисперсии возникает задача создания несмещённой оценки дисперсии. Для устранения смещения рассмотрим статистику
|
|
|
̅) ̃= |
|
p |
̃= |
∑ |
( |
̃X M[̃]=D[X]; |
̃ D[X] |
|
|
|
|
|
|
n ∞ |
Статистика ̃ называется исправленной дисперсией и является несмещённой |
|||||
оценкой для генеральной дисперсии. |
|
|
|||
Примечание:
При больших объёмах выборки разница между выборочной и исправленной дисперсией незаметна.
Если известно генеральное математическое ожидание, то рассмотрим
|
|
|
|
|
|
|
|
|
|
|
|
статистику : |
̃ |
= |
|
∑ |
|
( |
|
) |
|
; |
M[X]=m |
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
Определение
Статистика ̃ называется центрированной дисперсией и является так же
точечной оценкой генеральной дисперсии.
Эта оценка является состоятельной, несмещённой и эффективной оценкой генеральной дисперсии.
Краткий обзор основных точечных оценок для генерального математического ожидания и дисперсии.
Генеральное |
Точечная оценка |
Свойства |
При n>30 |
|
математическое |
статистика |
1)состоятельная |
||
асимптотически |
||||
ожидание |
̅= ∑ |
оценка |
||
приближается к |
||||
M[X]=m |
̅ m |
|||
Выборочное |
нормальному |
|||
|
n ∞ |
|||
|
|
|||
|
среднее |
распределению |
||
|
2)несмещённая |
|||
|
̅ N(m; /√ ) |
|||
|
|
|||
|
|
оценка |
||
|
|
2=D[X] |
||
|
|
M[̅ =m |
||
|
|
|
Стр. 41
Генеральная дисперсия |
Точечная оценка |
|
|
Свойства |
|
||||
D[X]= 2 |
|
Статистика |
1)состоятельная оценка |
||||||
|
̃X= |
∑ |
( |
̅) |
|
|
̃X D[X] |
|
|
|
Выборочная дисперсия |
|
|
n∞ |
|
||||
|
2)смещённая оценка |
||||||||
|
|
|
|
|
|||||
|
|
|
|
|
|
M[̃X]= D[X] |
|
||
|
|
|
|
|
величина смещения |
||||
|
|
|
|
|
|
|
= - |
|
|
|
Точечная оценка |
|
|
Свойства |
|
||||
|
|
Статистика |
1)состоятельная оценка |
||||||
|
̃= |
∑ |
( |
̅) |
|
|
̃ D[X] |
|
|
|
Исправленная дисперсия |
|
|
n∞ |
|
||||
|
2)несмещённая оценка |
||||||||
|
|
̃= |
|
̃X |
|||||
|
|
|
|
|
M[̃]=D[X] |
|
|||
|
Точечная оценка |
|
|
Свойства |
|
||||
|
|
Статистика |
1)состоятельная оценка |
||||||
|
̃ = ∑ |
( |
) ; |
|
|
̃ D[X] |
|
||
|
Центрированная |
|
|
n∞ |
|
||||
|
|
дисперсия |
2) |
с |
щё |
ая |
ка |
||
|
|
|
|
|
|
M[̃ |
|
|
|
Точечные оценки неизвестных параметров |
|
|
|||||||
. Основные методы нахождения оценок неизвестных параметров
Постановка задачи
Пусть Х - генеральная совокупность. Закон распределения известен, но содержит неизвестные параметры 1 , 2 ,..., k .
Пусть имеем выборку объема «n» ( x1 , x2 ,..., x n).
Необходимо найти приближенные значения параметров.
Замечание
Если под выборкой понимаем выборочную совокупность, то точечные оценки
~ ~ ~
параметров – это случайные величины 1 , 2 ,..., k .
Если выборка фиксированная, то получим числовые значения 1* , 2* ,..., k*
Стр. 42
Рассмотрим основные методы для получения оценок
1.1 Метод моментов Пирсона
Шаг 1
По выборке находим выборочные начальные моменты до «к» порядка включительно:
|
1 |
n |
|
|
|
1 |
n |
|
|
1 |
n |
|
x |
xi ; |
x 2 |
xi2 , ..., x |
k |
|
xik |
||||||
|
|
|
||||||||||
|
n i 1 |
|
|
|
n i 1 |
|
n i 1 |
|||||
Шаг 2
Находим теоретические начальные моменты k, используя задание генеральной совокупности Х.
|
|
|
|
|
|
|
|
|
|
|
|
k |
M [ X |
|
] |
x k * f (x, 1 , 2 ,..., k )дх непрерывная СВ Х |
|
k |
|
||||
|
|
|
|||
|
|
|
|
n |
|
|
|
|
|
xik * pi ( 1 , 2 ,..., k ) дискретная СВ Х |
|
|
|
|
|
i 1 |
Шаг 3
Составляем систему уравнений (если k=1, то решаем одно уравнение)
x 1 |
|
|
|
|
|
||
Решение этой системы |
~ |
~ |
~ |
- точечные оценки |
|||
|
|
|
( 1 |
, 2 |
,..., k ) |
||
x |
2 2 |
соответствующихрпараметров |
|
|
|
||
.......... |
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k |
k |
|
|
|
|
|
|
x |
|
|
|
|
|
|
|
.
Замечание: В случае конкретной выборки мы получим приближённые числовые
значения для соответствующих параметров:
≈ 
≈ 
≈ 
{к ≈ к
Примечание: В некоторых случаях удобно брать центральные выборочные и теоретические моменты.
Стр. 43
1.2. Метод максимального правдоподобия Фишера
Шаг 1
Составляем функцию правдоподобия, которая равна вероятности того, что
компоненты выборочной совокупности |
(Х1 , Х 2 ,..., Х n ) примут фиксированные |
|
значения ( x1 , x2 ,..., xn ). |
|
|
o |
Дискретный случай: |
|
o |
(Функция |
правдоподобия) |
L( 1 , 2 ,..., k ) p1 ( 1 ,..., k ) * p2 ( 1 ,..., k ) *...* pn ( 1 ,..., k )
(т.к. в дальнейшем мы будем искать максимум этой функции, а, следовательно, дифференцировать эту функцию, то удобно использовать метод логарифмического дифференцирования)
n |
|
ln L( 1 ,..., k ) ln |
pi ( 1 ,..., k ) |
i 1 |
|
o Непрерывный |
случай: |
L( 1 , 2 ,..., k ) f (x1 , 1 ,..., k ) * f (x2 , 1 ,..., k ) *...* f (xn , 1 ,..., k )
n
ln L( 1 ,..., k ) ln f (xi , 1 ,..., k )
i 1
Метод максимального правдоподобия (МП оценка) состоит в том, что в
качестве оценок неизвестных параметров 1 , |
2 ,..., k принимаются такие значения |
||
~ |
~ |
~ |
|
1 |
, 2 |
,..., k , при которых функция правдоподобия принимает максимальное значение, |
|
т.е. вероятность появления данной выборки будет максимальной.
Шаг 2
Необходимое условие экстремума:
|
ln L( 1 ,..., k |
) |
0 |
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ln L( 1 ,..., k |
) |
0 |
~ |
~ |
~ |
|
2 |
|
||||
|
|
|
Пусть ( 1 |
, 2 |
,..., k ) – решение системы |
|
............................. |
|
|
|
|||
|
ln L( 1 ,..., k |
|
|
|
|
|
|
) |
0 |
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
Шаг 3
Достаточное условие экстремума
~ ~
Дифференциал k-го порядка должен быть меньше нуля : d k ln L( 1 ,..., k ) 0
Стр. 44
Нахождение точечных оценок для параметров основных распределений.
Биномиальное распределение.
Проводится n серий по m испытаний по схеме Бернулли.
В каждом испытании событие А появляется с вероятностью р=р(А) (р неизвестный параметр, который нужно оценить)
Х число появлений события А в «m» испытаниях Х {0;1;2;…;m}
Имеем выборку объёма «n»: (X1;X2;…;Xn); Хi {0;1;2;…;m}
P{X=Xi}=
*
*( 
)
1)По методу моментов Пирсона находим точечную оценку параметра Р.
Шаг 1.
По выборке находим выборочное среднее:
̅=
∑
Шаг 2.
Находим математическое ожидание для биномиального распределения, используя формулу:
M[X]=m*p
Шаг 3.
Составляем уравнение:
̅=M[X] ̅=m*p ̃= ̅ точечная оценка параметра Р
В конкретной выборке получим числовое значение:
P*= ̅≈p
2)По методу максимального правдоподобия.
Имеем выборку объёма «n»: (X1;X2;…;Xn); Хi {0;1;2;…;m}
P{X=Xi}=
*
*( 
)
Шаг 1
Стр. 45
Составляем функцию правдоподобия, которая равна вероятности того, что
компоненты выборочной |
|
|
совокупности |
(Х1 , Х 2 ,..., Х n ) примут |
фиксированные |
|||||||||||||||||||||||||
значения ( x1 , x2 ,..., xn ). |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
L(p)=( |
∙ |
|
∙ ( |
) |
|
|
|
|
) ∙ ( |
* |
∙ ( |
) |
)∙…∙ ∙ ( ∙ |
∙ ( |
) |
) |
|||||||||||||
|
L(p)= ( |
∙∙ |
∙∙ |
∙ |
)∙ |
∑ |
∙( |
)∑ |
( |
) |
|
|
|
|
|
|
|
|
|
|
||||||||||
|
A= |
∙∙ |
|
∙∙ |
∙ |
∙(const); ∑ |
|
|
n∙̅; |
∑ |
( |
|
) n∙m- n∙̅. |
|
|
|
||||||||||||||
|
L(p)=A∙ |
∙̅∙( |
|
|
) ∙ |
∙( |
|
|
|
|
) |
|
∙̅ |
|
|
|
|
|
|
|
|
|
|
|
|
|||||
( |
) |
|
|
|
+n∙̅∙ |
n∙m∙ |
( |
) |
|
∙ ̅ ∙ |
( |
). |
|
|
|
|
|
|
|
|
||||||||||
|
Шаг 2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
Необходимое условие экстремума: |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||
|
( ) |
= |
∙̅ |
- |
|
∙ |
+ |
|
∙̅ |
=0 (разделим на n и решим уравнение относительно |
|
|
||||||||||||||||||
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||
неизвестного параметра р) |
̅ |
= |
|
̅ |
↔ ̅-p∙̅=m∙p-p∙̅↔ ̅=m∙p↔ |
̃ |
= |
|
̅ |
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
В конкретной выборке получим числовое значение:
P*= ̅≈p (оценки совпали)
Распределение Пуассона. 1)Метод моментов
Пусть Х генеральная совокупность распределена по закону Пуассона с параметром .
Имеем выборку объёма «n»: (X1;X2;…;Xn); Хi {0;1;2;…}
P{X=Xi}= |
*е- |
По методу моментов Пирсона находим точечную оценку параметра .
Шаг 1.
По выборке находим выборочное среднее:
̅=
∑
Шаг 2.
Стр. 46
Находим математическое ожидание для распределения Пуассона, используя формулу:
M[X]=
Шаг 3.
Составляем уравнение:
̅=M[X] ̅= ̃ 
̅ точечная оценка параметра
В конкретной выборке получим числовое значение:
*=̅≈
2)Метод максимального правдоподобия.
Имеем выборку объёма «n»: (X1;X2;…;Xn); Хi {0;1;2;…}
P{X=Xi}= |
*е- |
Шаг 1
Составляем функцию правдоподобия, которая равна вероятности того, что компоненты выборочной совокупности (Х1 , Х 2 ,..., Х n ) примут фиксированные
значения ( x1 , x2 ,..., xn ).
L(λ)=( ∙е- )∙( ∙е- )∙∙ ∙( ∙е- )∙
L(λ) |
|
∙ ∑ |
∙ ∙ |
|
∙∙ ∙
|
|
=B(const); ∑ |
n∙̅; |
|
∙ |
|
|||
∙ ∙ |
|
|
||
|
|
|
||
|
L(λ) B∙ |
∙̅∙ |
∙ |
|
|
( ) |
∙ ̅∙ |
-n∙λ. |
|
Шаг 2
Необходимое условие экстремума:
( )= ∙̅ - n∙λ=0↔̃ 
̅ точечная оценка параметра
В конкретной выборке получим числовое значение:
*=̅≈ (оценки совпали)
Стр. 47
Геометрическое распределение.
1)Метод моментов
Пусть проводится серия из «n» испытаний. В каждом испытании опыты проводятся до первого появления события А, вероятность которого
р(А)=р неизвестный параметр для которого нужно найти точечную оценку.
Х число опытов в каждом испытании; Х {1;2;3;…}
Имеем выборку объёма «n»: (X1;X2;…;Xn); Хi {1;2;…}
P{X=Xi}=( 
)
* p
По методу моментов Пирсона находим точечную оценку параметра Р.
Шаг 1.
По выборке находим выборочное среднее:
̅=
∑
Шаг 2.
Находим математическое ожидание для геометрического распределения , используя формулу:
M[X]=
Шаг 3.
Составляем уравнение:
̅=M[X] ̅= ̃ 
̅ точечная оценка параметра Р
В конкретной выборке получим числовое значение:
Р*=̅≈р
2)Метод максимального правдоподобия
Х число опытов в каждом испытании; Х {1;2;3;…}
Имеем выборку объёма «n»: (X1;X2;…;Xn); Хi {1;2;…}
P{X=Xi}=( 
)
* p
Шаг 1
Стр. 48
Составляем функцию правдоподобия, которая равна вероятности того, что
компоненты |
выборочной совокупности |
(Х1 , Х 2 ,..., Х n ) |
примут |
фиксированные |
|||||||||||||||
значения ( x1 , x2 ,..., xn ). |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
L(p)= (( |
) |
|
* p)∙ (( |
) |
* p)∙ |
∙ (( |
) |
* p)= |
∙( |
)∑ |
|||||||||
|
|
|
|
|
|
|
|
∑ |
n∙̅; L(p)= |
|
∙( |
) ∙̅ |
|
|
|
||||
|
|
|
|
|
|
|
|
LnL( |
) |
n∙ln |
(n̅- n)ln(1-p). |
|
|
|
|||||
Шаг 2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Необходимое условие экстремума: |
|
|
|
|
|
|
|
|
|
|
|||||||||
( |
) |
|
|
|
(∙̅ |
) |
=0↔1-p=p∙̅ -p↔ ̃ |
|
|
|
|
|
|
||||||
= |
|
– |
|
|
̅ |
|
|
точечная оценка параметра Р |
|||||||||||
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
В конкретной выборке получим числовое значение:
Р*=̅≈р(оценки совпали)
Равномерное распределение на отрезке.
Пусть генеральная совокупность Х распределена равномерно на отрезке [a;b]: X R[a;b]:
|
|
|
|
|
|
f(x) |
|
|
|
|
|
1/b-a |
|
|
|
f(x)=[ |
|
|
|
|
|
|
x |
|
|
|
|
|
|||
|
|
|
|
||||
|
|
|
а |
|
b |
||
|
̅ |
|
|
|
|
||
В этом распределении нужно оценить два параметра a;b
Имеем выборку объёма «n»: (X1;X2;…;Xn);
По методу моментов Пирсона находим точечную оценку параметров a и b.
Шаг 1
По выборке найдём два выборочных момента, т.к. оцениваем два параметра;
̅=
∑
̃X=
∑
(
̅)
Шаг 2.
Стр. 49
Находим математическое ожидание и дисперсию равномерного распределения на отрезке по соответствующим формулам:
M[X]=
; D[X]=( 
)
Шаг 3.
Составляем систему двух уравнений с двумя неизвестными:
̅ |
|
̅ |
̃ |
̅ |
√ |
̃ |
{̃ |
|
|||||
{̃ |
|
{̃ |
̅ |
√ |
̃ |
|
|
|
|
√ |
|
|
|
Для конкретной выборки получим числовые значения:
{ |
|
̅ |
|
√ |
|
|
|
|
|
|
|
; |
*= |
√ |
|
|
|
|
|
|
|
|
|
|
|
||||||
|
̅ |
|
|
|
|
|
|||||||||
|
|
√ |
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|||||
(Метод максимального правдоподобия в данном распределении не применяется)
Показательное распределение.
Пусть генеральная совокупность распределена по показательному закону с параметром а
Х ехр(а)
f(x)
a
f(x)=[
x
В этом распределении нужно оценить параметр а.
Имеем выборку объёма «n»: (X1;X2;…;Xn);
1)По методу моментов Пирсона находим точечную оценку параметра а
Шаг 1.
По выборке находим выборочное среднее:
̅=
∑
Шаг 2.
Стр. 50