Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

семестр 1 / Пособие_по_терверу_Чекалкин.PDF

.pdf
Скачиваний:
0
Добавлен:
13.05.2026
Размер:
1.95 Mб
Скачать

Положим

 

 

 

 

 

 

 

 

1

 

n

 

 

 

 

 

 

 

 

 

 

Dn*

xi mn*

2

 

 

 

 

 

 

 

 

 

 

 

 

n i 1

 

 

 

 

 

 

- есть оценка дисперсии D

 

 

 

 

 

 

 

Для доказательства состоятельности представим Dn* в виде:

 

 

 

1

n

 

 

1

n

 

 

 

1

n

mn* 2

Dn*

xi2 2

mn* xi

 

 

 

 

 

 

 

 

 

n i 1

 

 

n

i 1

 

 

 

n i 1

 

 

1

n

 

 

 

 

 

1

 

n

 

 

xi2 2 mn* 2 mn* 2

 

xi2 mn* 2 ,

 

 

 

 

 

n 1

 

 

 

 

 

 

n

1

 

по теореме Чебышева

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

n

p

 

 

 

 

 

 

 

 

 

 

 

xi2

M 2

 

,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

1

 

 

 

n

 

 

 

 

 

 

а

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

m*

p

 

 

 

 

 

 

 

 

 

 

 

 

 

m ,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n n

 

 

 

 

 

 

как было доказано, следовательно:

 

 

 

 

 

 

 

 

 

 

 

 

 

p

 

 

 

 

 

 

 

 

 

 

 

D*

M 2 m2

 

 

 

 

 

 

n n

 

 

 

 

 

 

 

или

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

D*

p

 

 

 

 

 

 

 

 

 

 

 

 

 

D .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n n

 

 

 

 

 

 

То есть эта оценка состоятельна. Для проверки несмещенности

оценки, найдем M D* . Преобразуем:

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

n

 

 

 

 

 

 

 

1

 

n

 

 

 

 

 

 

 

 

 

Dn*

 

xi mn* 2

 

xi

m mn* m 2

 

 

 

 

 

 

 

n i 1

 

 

 

 

 

 

 

n

1

 

 

 

 

 

 

 

 

1

n

 

 

 

1

 

n

 

 

 

 

 

 

 

1

n

 

 

 

xi

m 2 2

xi m mn* m

mn* m 2 .

 

 

 

 

 

 

n 1

 

 

 

n

1

 

 

 

 

 

 

 

 

n 1

Учитывая, что:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1 n

*

 

 

1

 

n

 

1 n

*

* 2

 

 

xi m mn

 

 

 

 

 

x1

 

 

 

 

m mn m ,

 

 

 

 

 

 

 

 

 

 

m

 

 

 

 

m mn

 

n 1

 

 

 

n

1

 

 

 

n 1

 

 

 

91

получим:

 

 

 

 

 

1

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Dn*

 

xi m 2 mn* m 2 ,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n 1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

следовательно:

 

 

M D* D D m*

,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

*

 

*

2

 

1

 

 

n

 

 

 

1

 

 

n

 

 

 

1

 

D

 

D mn

M mn

m

D

 

 

xi

 

 

 

 

 

D

 

 

 

nD

 

,

 

 

n

2

 

n

2

n

 

 

 

 

 

n 1

 

 

 

 

 

 

i 1

 

 

 

 

 

то есть оценка не является несмещенной M D*

D

, а

 

 

 

 

 

 

 

M D* D

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

чтобы получить несмещенную оценку

D** выберем λ из условия:

 

 

D** D . Получим:

 

 

 

n

 

 

 

 

 

 

 

 

 

 

D** D* и M

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

n

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

M D** M

D* 1

 

D

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

n

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

при

n

 

 

 

, M D** D .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

1

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

То есть

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n 1

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Dn**

 

xi

mn* 2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n 1 n i 1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

- будет несмещенной. При n 1 Dn* Dn**.

Замечание: Когда члены генеральной совокупности сгруппированы по разрядам, то в качестве значения случайной величины рассматривают

 

1

 

 

 

~*

 

mi

 

 

 

yicp

 

 

yi 1

yi с pi

 

 

.

 

 

2

n

 

 

 

 

 

 

 

 

 

И

 

 

 

 

 

yicp mn* 2

 

 

n

 

mi

 

n

mi

 

M n* yicp

; Dn*

.

 

 

i 1

 

 

n

i 1

 

 

 

 

n

Эффективность оценок будет рассмотрена в лекции №15.

92

α
ln φ x1,...,xn , α

ЛЕКЦИЯ 15 ФУНКЦИЯ МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ

УРАВНЕНИЯ МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ, ПОНЯТИЕ О КРИТЕРИЯХ СОГЛАСИЯ

Пусть ξ - дискретная случайная величина, распределена по

известному закону в зависимости от параметра

α : P ξ xi P xi , α

Определение:

n

φ x1, x2 ,...,xn , α p xi , α , где

i 1

xi - генеральная совокупность i 1,...,n . Называется функцией максимального правдоподобия дискретной случайной величины. Пусть, далее, ξ - непрерывная случайная величина с fξ x, α -

плотностью распределения. Определение:

n

φ x1, x2 ,...,xn , α f xi , α

i 1

- называется функцией максимального правдоподобия непрерывной случайной величины.

Теорема. Если существует эффективная оценка параметра α и имеется единственное решение уравнения максимального правдоподобия:

0 ,

то это решение является эффективной оценкой параметра α . Пример 1. Пусть ξ распределена по закону Пуассона с

параметром

λ : P ξ k e λ λk . k!

Получим:

93

 

 

 

 

 

 

 

n

 

n

λ

xi

 

 

xi

 

 

e

i 1

 

φ x1, x2 ,...,xn , α

e

 

λ

 

 

λ

 

;

 

xi!

x1!x2!...xn!

1

 

 

 

 

 

 

n

 

 

 

n

 

ln φn x1, x2 ,...,xn , λ nλ xi ln λ ln xi! .

 

 

 

i 1

 

 

 

i 1

 

Получим уравнение максимального правдоподобия:

ln φ

 

1

n

 

1

n

λ

n

 

xi 0

λ

 

xi mn* .

 

 

 

λ i 1

 

n i 1

Следовательно, точечная оценка математического является эффективной для этого распределения.

Пример 2. Пусть ξ распределена нормально

ξ : N m, σ .

Составим функцию максимального правдоподобия:

 

 

 

 

 

 

 

 

 

x m 2

 

 

 

n

1

 

 

i

 

 

 

 

x1, x2 ,...,xn , m,

 

 

 

e

2

2

,

 

 

 

 

 

 

 

 

 

2

 

 

 

 

i 1

 

 

 

 

 

 

 

 

ln x1, x2

,...,xn , m, n ln

n

 

 

 

 

 

1

 

n

 

xi

ln 2

 

 

 

 

 

 

2

 

 

 

 

 

2 2 i 1

 

Уравнение максимального правдоподобия:

 

ln

 

2

n

xi m 1 0

 

 

 

 

m

 

 

 

2σ 2 i 1

 

 

 

 

n

n

 

 

1

n

xi m

m

xi , то есть

 

 

i 1

i 1

 

 

n i 1

ожидания

m 2 .

точечная оценка для математического ожидания является эффективной.

Уравнение:

ln φ

 

n

 

1

n

xi m 2 0

 

 

 

σ

 

 

 

σ

 

σ3 i 1

 

имеет также решение:

94

1

n

xi m 2

 

 

1

n

xi m 2

 

n 2

 

 

 

 

2 i 1

 

 

 

n i 1

 

- оценка дисперсии эффективная, хотя и не является несмещенной.

Критерии согласия Байеса и Пирсона

Задача о выборе одного из предположений H0 или H1 H 0 ( H0 и H1 назовем гипотезами) по поводу какого либо условия состоит в том, что по опытным данным {x1, x2 ,...,xn} требуется определить множество значений из {x1}, которые соответствуют H0 - допустимая область и множество значений из {xi }, которые соответствуют противоположной гипотезе H1 - критическая область. При этом требуется минимизировать вероятность ошибки при принятии решения в пользу одной из гипотез. Обозначим через Γ0 - допустимую область, то есть, если опытные данные попали в Γ0 , то принимается гипотеза H0 , соответственно Γ1 - критическая область и если результат измерений Γ1, то гипотеза H0 отвергается. Пусть событие B - наблюдаемые значения попали в область Γ0 . Всего возможно 4

варианта:

1. Верна гипотеза H0 , но и xi Γ0 - то есть произошло событие:

H0 B.

2. Верна гипотеза H0 , но xi Γ1 - то есть произошло событие

H0 B .

3. Гипотеза H0 неверна, но xi Γ0 - произошло событие

H 0 B .

4. Гипотеза H0 неверна и xi Γ1 - произошло событие H 0 B .

Очевидно, что в первом и четвертом случае будет принято правильное решение.

Ошибки будут во втором случае, когда отвергается правильная гипотеза - эта ошибка называется ошибкой первого рода. И в третьем случае, когда принимается неправильная гипотеза

95

ошибка - второго рода. Следовательно, вероятность ошибки равна:

pош P H0 B H 0 B .

Рассмотрим две случайные величины: ξ0 - соответствует

гипотезе H0 и ξ1 соответствует гипотезе H1. Пусть известны

плотности распределения этих случайных величин fξ

0

x и

fξ x -соответственно. Обозначим через h - пороговое значение,

1

 

 

 

 

 

 

 

разделяющее области Γ0

и Γ1. Тогда:

 

 

 

 

 

 

 

 

h

 

 

 

pош P H0

fξ

0

x dx P H1

 

fξ x dx.

 

 

 

 

 

 

1

 

 

 

h

 

 

 

 

 

Порог h , обеспечивающий минимум ошибки найдем из условия:

 

dpош

P H

o

f

ξ

 

 

h P H

f

ξ

h 0

,

 

 

 

 

 

 

 

 

 

 

0

 

 

 

 

 

 

1

 

 

 

dh

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

или h удовлетворяет уравнению:

 

 

 

 

 

 

 

 

 

 

 

 

f

0

h

 

 

P H

1

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

f

1

h

 

P H0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Определить оптимальный порог можно только при условии, что априорные вероятности P H0 и P H1 известны. Критерий

принятия той или иной гипотезы в этом случае называется критерием Байеса (или критерием идеального наблюдателя).

Пример 3. На вход радиоприемного устройства в некоторый фиксированный момент t воздействует случайное напряжениеt , которое либо является суммой известного сигнала S t и случайной помехи n t , либо одной помехой n t . По полученному числовому значению t нужно решить

присутствовал ли на входе сигнал

 

s s 0

или нет. В качестве

H0 примем гипотезу об отсутствии сигнала,

H1 - о его наличии в

момент t . Пусть известно, что

 

 

 

 

 

P H

 

P H

 

 

1

,

 

0

1

 

 

2

а помеха n - распределена нормально с : N 0, . Имеем:

96

f 1 x dx ,

 

 

 

 

 

 

 

 

 

 

 

 

e

x 2

 

 

 

 

 

 

e

x s 2

 

 

 

 

x

 

 

1

 

 

 

 

x

 

1

 

 

 

 

 

 

 

f

 

 

 

 

 

2 2 , f

 

 

 

2 2 ,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

0

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

полагая, что 0 n ,

1

n s в фиксированный момент

измерения t . Получаем:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

f 0

h

e

1

h2 h s 2 1 h2 h s 2 0 и h

s

.

 

2 2

 

f

h

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

На рисунке 31 а) изображены нормальные плотности распределений, пороговые значения и ошибки первого и второго рода (соответственно и ).

Однако во многих случаях априорные вероятности P H0 и P H1 неизвестны. Тогда рассматриваются только такие

разбиения на 0 и 1 , для которых ошибка первого рода

f 0 x dx .

1

Очевидно, что это условие не определяет однозначно порог h . Тогда выбирают порог таким образом, чтобы при этом ошибка второго рода, то есть

0

был бы минимальным, этим требования удовлетворяет условие

fξ0 x dx α .

Γ1

97

Величина называется уровнем значимости. Таким образом, при заданном уровне значимости вероятности ошибки первого рода минимизируется вероятность ошибки второго рода

(см. рис. 31 b)). Очевидно, невозможно минимизировать обе ошибки в этом случае. Выбор оптимального порога по уровню значимости называется выбором по критерию Пирсона. Выбор значения - вероятности ошибки первого рода определяется на практике (насколько важна для исследования возможность отвергнуть истинную гипотезу). Обычно

10% , 1% , 0,1%.

ЛЕКЦИЯ 16 КРИТЕРИЙ 2 . ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ ДЛЯ

ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЯ

Критерий согласия χ 2 применяется в случае если надо оптимально (при заданном уровне значимости) оценить меру расхождения между предполагаемым теоретическим распределением f x и опытными данными. Пусть по виду построенной гистограммы предположили, что случайная величина ξ распределена с плотностью f x . Рассмотрим меру

расхождения между

p*

mi

- вероятностью попадания в

 

 

i

 

 

n

 

 

 

 

 

 

 

 

интервал xi , yi 1 , определенную по опытным данным и

 

 

 

 

 

yi 1

 

 

 

piT fξ x dx .

 

 

 

 

 

yi

 

Обозначим:

 

 

 

 

μ p* pT .

 

 

μ

nr

 

 

 

 

i

i

положим

μ r c p* pT 2 ,

nr i i i i 1

если

98

c

 

n

,

 

 

 

i

 

pT

 

 

 

 

 

 

 

 

i

 

 

то

m npT 2

 

r

 

μnr

 

i

i

,

 

npiT

i 1

 

 

где mi - число элементов генеральной совокупности,

принадлежащее интервалу yi , yi 1 ,

i 1,2,...,r .

 

Можно показать, что распределение случайной

величины μnr

асимптотически

(при

 

n )

стремится

к известному

распределению

χ 2 , где

f

 

2

x -

 

плотность распределения имеет

 

k

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

χk

 

 

 

 

 

 

 

 

 

 

вид:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

k

1

x

 

 

 

 

 

 

 

 

 

 

x

2

2

 

 

 

 

 

 

 

 

 

 

 

 

 

e

 

 

, x 0

 

 

 

 

x

 

 

 

 

 

 

k

 

 

 

f

2

 

 

k

 

.

 

 

 

2

 

 

 

χk

 

 

 

 

Γ

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0, x 0

 

 

 

k - число степеней свободы, равное r m 1, где r - число разрядов в гистограмме, m - число связей (параметров в теоретическом распределении). По заданной вероятности α -

уровню значимости: P χk2 hα α определяем из таблиц распределения χ 2 порог hα и если наблюдаемое значение μnr hα , то гипотеза о предполагаемом распределении отвергается, при μnr hα - принимается (см. рис. 32).

99

Таблица значений χk2 имеет два входа

 

α

0.01

0.05

0.1

k

 

 

 

 

 

 

1

 

 

 

2

3

4

5 15.1

В верхней строке заданные вероятности α , в вертикальном столбце - k - число степеней свободыв клетках находятся значения порога hα . Например, как показано в таблице,

P ξ χ52 15,1 0,01,

то есть hα 15,1 и при вычисленном μnr 15,1 гипотеза о предполагаемом распределении должна быть отвергнута.

Доверительные интервалы параметров распределения

Истинные значения параметров распределения, как правило, неизвестны, но можно построить доверительную область для параметра α , то есть такой интервал a,b , для которого

100