семестр 1 / Пособие_по_терверу_Чекалкин.PDF
.pdfПоложим
|
|
|
|
|
|
|
|
1 |
|
n |
|
|
|
|
|
|
||
|
|
|
|
Dn* |
xi mn* |
2 |
|
|||||||||||
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
n i 1 |
|
|
|
|
|
|
||||
- есть оценка дисперсии D |
|
|
|
|
|
|
|
|||||||||||
Для доказательства состоятельности представим Dn* в виде: |
||||||||||||||||||
|
|
|
1 |
n |
|
|
1 |
n |
|
|
|
1 |
n |
mn* 2 |
||||
Dn* |
xi2 2 |
mn* xi |
|
|
|
|||||||||||||
|
|
|
||||||||||||||||
|
|
|
n i 1 |
|
|
n |
i 1 |
|
|
|
n i 1 |
|
||||||
|
1 |
n |
|
|
|
|
|
1 |
|
n |
|
|||||||
|
xi2 2 mn* 2 mn* 2 |
|
xi2 mn* 2 , |
|||||||||||||||
|
|
|
|
|||||||||||||||
|
n 1 |
|
|
|
|
|
|
n |
1 |
|
||||||||
по теореме Чебышева |
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
1 |
|
n |
p |
|
|
|
|
|
|
||||
|
|
|
|
|
xi2 |
M 2 |
|
, |
|
|||||||||
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
n |
1 |
|
|
|
n |
|
|
|
|
|
|
||
а |
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
m* |
p |
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
m , |
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
n n |
|
|
|
|
|
|
|||
как было доказано, следовательно: |
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
p |
|
|
|
|
|
|
|
||||
|
|
|
|
D* |
M 2 m2 |
|
||||||||||||
|
|
|
|
|
n n |
|
|
|
|
|
|
|
||||||
или |
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
D* |
p |
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
D . |
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
n n |
|
|
|
|
|
|
|||
То есть эта оценка состоятельна. Для проверки несмещенности |
||||||||||||||||||||||
оценки, найдем M D* . Преобразуем: |
|
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
1 |
n |
|
|
|
|
|
|
|
1 |
|
n |
|
|
|
|
|
|
|
|
|
|
Dn* |
|
xi mn* 2 |
|
xi |
m mn* m 2 |
|||||||||||||
|
|
|||||||||||||||||||||
|
|
|
|
|
n i 1 |
|
|
|
|
|
|
|
n |
1 |
|
|
|
|
|
|||
|
|
|
1 |
n |
|
|
|
1 |
|
n |
|
|
|
|
|
|
|
1 |
n |
|||
|
|
|
xi |
m 2 2 |
xi m mn* m |
mn* m 2 . |
||||||||||||||||
|
|
|
||||||||||||||||||||
|
|
|
n 1 |
|
|
|
n |
1 |
|
|
|
|
|
|
|
|
n 1 |
|||||
Учитывая, что: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
1 n |
* |
|
|
1 |
|
n |
|
1 n |
* |
* 2 |
|||||||||||
|
|
xi m mn |
|
|
|
|
|
x1 |
|
|
|
|
m mn m , |
|||||||||
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
m |
|
|
|
|
m mn |
|||||||||||||||
|
n 1 |
|
|
|
n |
1 |
|
|
|
n 1 |
|
|
|
|||||||||
91
получим:
|
|
|
|
|
1 |
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Dn* |
|
xi m 2 mn* m 2 , |
|
|
|
|
|
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
n 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
следовательно: |
|
|
M D* D D m* |
, |
|
|
|
|
|
|
|
|
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
||
* |
|
* |
2 |
|
1 |
|
|
n |
|
|
|
1 |
|
|
n |
|
|
|
1 |
|
D |
|
||||||||
D mn |
M mn |
m |
D |
|
|
xi |
|
|
|
|
|
D |
|
|
|
nD |
|
, |
||||||||||||
|
|
n |
2 |
|
n |
2 |
n |
|||||||||||||||||||||||
|
|
|
|
|
n 1 |
|
|
|
|
|
|
i 1 |
|
|
|
|
|
|||||||||||||
то есть оценка не является несмещенной M D* |
D |
, а |
|
|
||||||||||||||||||||||||||
|
|
|
|
|
M D* D |
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
1 |
|
|
, |
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
чтобы получить несмещенную оценку |
D** выберем λ из условия: |
|||||||||||||||||||||||||||||
|
|
D** D . Получим: |
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
||||||||||||||
D** D* и M |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
n |
n |
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
||
|
|
|
M D** M |
D* 1 |
|
D |
|
|
|
|
|
|
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
n |
|
|
|
|
|
|
n |
|
|
|
|
|
n |
|
|
|
|
|
|
||||||||
|
|
|
при |
n |
|
|
|
, M D** D . |
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|
n |
1 |
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
То есть |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n 1 |
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
Dn** |
|
xi |
mn* 2 |
|
|
|
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
n 1 n i 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
- будет несмещенной. При n 1 Dn* Dn**.
Замечание: Когда члены генеральной совокупности сгруппированы по разрядам, то в качестве значения случайной величины рассматривают
|
1 |
|
|
|
~* |
|
mi |
|
|
|
||
yicp |
|
|
yi 1 |
yi с pi |
|
|
. |
|
|
|||
2 |
n |
|||||||||||
|
|
|
|
|
|
|
|
|
||||
И |
|
|
|
|
|
yicp mn* 2 |
|
|
||||
n |
|
mi |
|
n |
mi |
|
||||||
M n* yicp |
; Dn* |
. |
||||||||||
|
|
|||||||||||
i 1 |
|
|
n |
i 1 |
|
|
|
|
n |
|||
Эффективность оценок будет рассмотрена в лекции №15.
92
ЛЕКЦИЯ 15 ФУНКЦИЯ МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
УРАВНЕНИЯ МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ, ПОНЯТИЕ О КРИТЕРИЯХ СОГЛАСИЯ
Пусть ξ - дискретная случайная величина, распределена по
известному закону в зависимости от параметра
α : P ξ xi P xi , α
Определение:
n
φ x1, x2 ,...,xn , α p xi , α , где
i 1
xi - генеральная совокупность i 1,...,n . Называется функцией максимального правдоподобия дискретной случайной величины. Пусть, далее, ξ - непрерывная случайная величина с fξ x, α -
плотностью распределения. Определение:
n
φ x1, x2 ,...,xn , α f xi , α
i 1
- называется функцией максимального правдоподобия непрерывной случайной величины.
Теорема. Если существует эффективная оценка параметра α и имеется единственное решение уравнения максимального правдоподобия:
0 ,
то это решение является эффективной оценкой параметра α . Пример 1. Пусть ξ распределена по закону Пуассона с
параметром
λ : P ξ k e λ λk . k!
Получим:
93
|
|
|
|
|
|
|
n |
|
|
n |
λ |
xi |
|
|
nλ |
xi |
|
||
|
e |
i 1 |
|
||||||
φ x1, x2 ,...,xn , α |
e |
|
λ |
|
|
λ |
|
; |
|
|
xi! |
x1!x2!...xn! |
|||||||
1 |
|
|
|
||||||
|
|
|
n |
|
|
|
n |
|
|
ln φn x1, x2 ,...,xn , λ nλ xi ln λ ln xi! . |
|||||||||
|
|
|
i 1 |
|
|
|
i 1 |
|
|
Получим уравнение максимального правдоподобия:
ln φ |
|
1 |
n |
|
1 |
n |
λ |
n |
|
xi 0 |
λ |
|
xi mn* . |
|
|
|||||
|
λ i 1 |
|
n i 1 |
|||
Следовательно, точечная оценка математического является эффективной для этого распределения.
Пример 2. Пусть ξ распределена нормально
ξ : N m, σ .
Составим функцию максимального правдоподобия:
|
|
|
|
|
|
|
|
|
x m 2 |
|
|
||
|
n |
1 |
|
|
i |
|
|
|
|
||||
x1, x2 ,...,xn , m, |
|
|
|
e |
2 |
2 |
, |
||||||
|
|
|
|
|
|
|
|
||||||
|
2 |
|
|
|
|||||||||
|
i 1 |
|
|
|
|
|
|
|
|
||||
ln x1, x2 |
,...,xn , m, n ln |
n |
|
|
|
|
|
1 |
|
n |
|
xi |
|
ln 2 |
|
|
|||||||||||
|
|
|
|||||||||||
|
2 |
|
|
|
|
|
2 2 i 1 |
|
|||||
Уравнение максимального правдоподобия:
|
ln |
|
2 |
n |
xi m 1 0 |
|||
|
|
|
||||||
|
m |
|
||||||
|
|
2σ 2 i 1 |
|
|
|
|||
|
n |
n |
|
|
1 |
n |
||
xi m |
m |
xi , то есть |
||||||
|
||||||||
|
i 1 |
i 1 |
|
|
n i 1 |
|||
ожидания
m 2 .
точечная оценка для математического ожидания является эффективной.
Уравнение:
ln φ |
|
n |
|
1 |
n |
xi m 2 0 |
|
|
|
|
|||||
σ |
|
|
|||||
|
σ |
|
σ3 i 1 |
|
|||
имеет также решение:
94
1 |
n |
xi m 2 |
|
|
1 |
n |
xi m 2 |
|
|
n 2 |
|
|
|||||
|
|
|||||||
2 i 1 |
|
|
|
n i 1 |
|
|||
- оценка дисперсии эффективная, хотя и не является несмещенной.
Критерии согласия Байеса и Пирсона
Задача о выборе одного из предположений H0 или H1 H 0 ( H0 и H1 назовем гипотезами) по поводу какого либо условия состоит в том, что по опытным данным {x1, x2 ,...,xn} требуется определить множество значений из {x1}, которые соответствуют H0 - допустимая область и множество значений из {xi }, которые соответствуют противоположной гипотезе H1 - критическая область. При этом требуется минимизировать вероятность ошибки при принятии решения в пользу одной из гипотез. Обозначим через Γ0 - допустимую область, то есть, если опытные данные попали в Γ0 , то принимается гипотеза H0 , соответственно Γ1 - критическая область и если результат измерений Γ1, то гипотеза H0 отвергается. Пусть событие B - наблюдаемые значения попали в область Γ0 . Всего возможно 4
варианта:
1. Верна гипотеза H0 , но и xi Γ0 - то есть произошло событие:
H0 B.
2. Верна гипотеза H0 , но xi Γ1 - то есть произошло событие
H0 B .
3. Гипотеза H0 неверна, но xi Γ0 - произошло событие
H 0 B .
4. Гипотеза H0 неверна и xi Γ1 - произошло событие H 0 B .
Очевидно, что в первом и четвертом случае будет принято правильное решение.
Ошибки будут во втором случае, когда отвергается правильная гипотеза - эта ошибка называется ошибкой первого рода. И в третьем случае, когда принимается неправильная гипотеза
95
ошибка - второго рода. Следовательно, вероятность ошибки равна:
pош P H0 B H 0 B .
Рассмотрим две случайные величины: ξ0 - соответствует |
|||||||
гипотезе H0 и ξ1 соответствует гипотезе H1. Пусть известны |
|||||||
плотности распределения этих случайных величин fξ |
0 |
x и |
|||||
fξ x -соответственно. Обозначим через h - пороговое значение, |
|||||||
1 |
|
|
|
|
|
|
|
разделяющее области Γ0 |
и Γ1. Тогда: |
|
|
|
|
||
|
|
|
|
h |
|
|
|
pош P H0 |
fξ |
0 |
x dx P H1 |
|
fξ x dx. |
|
|
|
|
|
|
1 |
|
|
|
|
h |
|
|
|
|
|
|
Порог h , обеспечивающий минимум ошибки найдем из условия:
|
dpош |
P H |
o |
f |
ξ |
|
|
h P H |
f |
ξ |
h 0 |
, |
||||||||
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
0 |
|
|
|
|
|
|
1 |
|
|
|||||
|
dh |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
или h удовлетворяет уравнению: |
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
f |
0 |
h |
|
|
P H |
1 |
|
. |
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
f |
1 |
h |
|
P H0 |
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Определить оптимальный порог можно только при условии, что априорные вероятности P H0 и P H1 известны. Критерий
принятия той или иной гипотезы в этом случае называется критерием Байеса (или критерием идеального наблюдателя).
Пример 3. На вход радиоприемного устройства в некоторый фиксированный момент t воздействует случайное напряжениеt , которое либо является суммой известного сигнала S t и случайной помехи n t , либо одной помехой n t . По полученному числовому значению t нужно решить
присутствовал ли на входе сигнал |
|
s s 0 |
или нет. В качестве |
||||
H0 примем гипотезу об отсутствии сигнала, |
H1 - о его наличии в |
||||||
момент t . Пусть известно, что |
|
|
|
|
|
||
P H |
|
P H |
|
|
1 |
, |
|
0 |
1 |
|
|
||||
2
а помеха n - распределена нормально с : N 0, . Имеем:
96
|
|
|
|
|
|
|
|
|
|
|
|
e |
x 2 |
|
|
|
|
|
|
e |
x s 2 |
||||
|
|
|
|
x |
|
|
1 |
|
|
|
|
x |
|
1 |
|
|
|
|
|
||||||
|
|
f |
|
|
|
|
|
2 2 , f |
|
|
|
2 2 , |
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|||
|
|
|
|
|
0 |
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
полагая, что 0 n , |
1 |
n s в фиксированный момент |
|||||||||||||||||||||||
измерения t . Получаем: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
f 0 |
h |
e |
1 |
h2 h s 2 1 h2 h s 2 0 и h |
s |
. |
||||||||||||||||||
|
2 2 |
||||||||||||||||||||||||
|
f |
h |
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
||||||
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
На рисунке 31 а) изображены нормальные плотности распределений, пороговые значения и ошибки первого и второго рода (соответственно и ).
Однако во многих случаях априорные вероятности P H0 и P H1 неизвестны. Тогда рассматриваются только такие
разбиения на 0 и 1 , для которых ошибка первого рода
f 0 x dx .
1
Очевидно, что это условие не определяет однозначно порог h . Тогда выбирают порог таким образом, чтобы при этом ошибка второго рода, то есть
0
был бы минимальным, этим требования удовлетворяет условие
fξ0 x dx α .
Γ1
97
Величина называется уровнем значимости. Таким образом, при заданном уровне значимости вероятности ошибки первого рода минимизируется вероятность ошибки второго рода
(см. рис. 31 b)). Очевидно, невозможно минимизировать обе ошибки в этом случае. Выбор оптимального порога по уровню значимости называется выбором по критерию Пирсона. Выбор значения - вероятности ошибки первого рода определяется на практике (насколько важна для исследования возможность отвергнуть истинную гипотезу). Обычно
10% , 1% , 0,1%.
ЛЕКЦИЯ 16 КРИТЕРИЙ 2 . ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ ДЛЯ
ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЯ
Критерий согласия χ 2 применяется в случае если надо оптимально (при заданном уровне значимости) оценить меру расхождения между предполагаемым теоретическим распределением f x и опытными данными. Пусть по виду построенной гистограммы предположили, что случайная величина ξ распределена с плотностью f x . Рассмотрим меру
расхождения между |
p* |
mi |
- вероятностью попадания в |
|||
|
||||||
|
i |
|
|
n |
|
|
|
|
|
|
|
|
|
интервал xi , yi 1 , определенную по опытным данным и |
||||||
|
|
|
|
|
yi 1 |
|
|
|
piT fξ x dx . |
||||
|
|
|
|
|
yi |
|
Обозначим: |
|
|
|
|
μ p* pT . |
|
|
|
μ |
nr |
|||
|
|
|
|
i |
i |
|
положим
μ r c p* pT 2 ,
nr i i i i 1
если
98
c |
|
n |
, |
|
|
|
|||
i |
|
pT |
|
|
|
|
|
|
|
|
|
i |
|
|
то |
m npT 2 |
|
||
r |
|
|||
μnr |
|
i |
i |
, |
|
npiT |
|||
i 1 |
|
|
||
где mi - число элементов генеральной совокупности, |
|||||||||||||||
принадлежащее интервалу yi , yi 1 , |
i 1,2,...,r . |
|
|||||||||||||
Можно показать, что распределение случайной |
величины μnr |
||||||||||||||
асимптотически |
(при |
|
n ) |
стремится |
к известному |
||||||||||
распределению |
χ 2 , где |
f |
|
2 |
x - |
|
плотность распределения имеет |
||||||||
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
χk |
|
|
|
|
|
|
|
|
|
|
|
вид: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k |
1 |
x |
|
|
|
||
|
|
|
|
|
|
|
x |
2 |
2 |
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
e |
|
|
, x 0 |
|
|
|
|
|
x |
|
|
|
|
|
|
k |
|
|
|||
|
f |
2 |
|
|
k |
|
. |
|
|||||||
|
|
2 |
|
||||||||||||
|
|
χk |
|
|
|
|
Γ |
|
|
2 |
|
|
|
||
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0, x 0 |
|
|
|
||||||
k - число степеней свободы, равное r m 1, где r - число разрядов в гистограмме, m - число связей (параметров в теоретическом распределении). По заданной вероятности α -
уровню значимости: P χk2 hα α определяем из таблиц распределения χ 2 порог hα и если наблюдаемое значение μnr hα , то гипотеза о предполагаемом распределении отвергается, при μnr hα - принимается (см. рис. 32).
99
Таблица значений χk2 имеет два входа
|
α |
0.01 |
0.05 |
0.1 |
k |
|
|||
|
|
|
|
|
|
1 |
|
|
|
2
3
4
5 15.1
В верхней строке заданные вероятности α , в вертикальном столбце - k - число степеней свободыв клетках находятся значения порога hα . Например, как показано в таблице,
P ξ χ52 15,1 0,01,
то есть hα 15,1 и при вычисленном μnr 15,1 гипотеза о предполагаемом распределении должна быть отвергнута.
Доверительные интервалы параметров распределения
Истинные значения параметров распределения, как правило, неизвестны, но можно построить доверительную область для параметра α , то есть такой интервал a,b , для которого
100
