Высшая математика IV. Теория вероятностей

в качестве оценки математического ожидания X. В данном

случае m˜ = T (x1, x2, x3) = x1 + x2 + x3 .

3

Не любая функция T (x1, x2, . . . , xn) годится в качестве

оценки. Для практического использования она должна удовле-

творять ряду требований.

˜

1. Состоятельность оценки. Оценка Θ = T (x1, x2, . . . , xn)

называется состоятельной, если при неограниченном увеличе-

˜

нии n величина Θ сходится по вероятности к оцениваемому

параметру. Первое требование к оценке: оценка должна быть состоятельной.

2. Несмещенность оценки. Оценка не должна содержать систематических ошибок, т.е. математическое ожидание долж-

Если условие (4.6) выполнено, то оценка называется несме-

˜

щённой. Разность bn(Θ) = M [Θ] − Θ называется смещением

оценки. Если lim bn(Θ) = 0, то оценка называется асимптоти-

n→∞

чески несмещённой.

Второе требование: оценка должна быть несмещённой или хотя бы асимптотически несмещённой.

3. Эффективность оценки. В качестве одной из характеристик точности оценки вводят понятие вариации V оценки:

˜

V = M [(Θ − Θ)2].

В частности, если оценка несмещённая, т.е. если M ˜ , то

[Θ] = Θ

вариация оценки совпадает с её дисперсией V D ˜ . Идеаль-

= [Θ]

ной была бы оценка V = 0, но, оказывается, этого добиться нельзя. Существует некоторое значение Vmin, которого можно достигнуть, но меньшего значения получить невозможно. Величину Vmin называют потенциальной точностью или потенциальной помехоустойчивостью оценки. Приведём без доказательства формулу для отыскания Vmin для несмещённой оценки. Если ρ(x, Θ) — плотность распределения величины X, а (x1, x2, . . . , xn) — выборка, то в силу независимости случайных величин x1, x2, . . . , xn плотностью распределения выборки является функция

ρ(x1, x2, . . . , xn, Θ) = ρ(x1, Θ)ρ(x2, Θ) · . . . · ρ(xn, Θ).

101

Неравенство (4.7) называют неравенством Рао—Крамера. Из него следует, что

102

Матрицу ||Jij || называют информационной матрицей Фишера.

В случае, когда матрица Фишера диагональна, т.е. когда Jij = 0 при i = j, можно пользоваться формулами (4.8) или (4.9).

4.2.2. Методы отыскания оценки неизвестных параметров

Мы рассмотрели основные требования, предъявляемые к оценкам неизвестных параметров. Эти оценки выражаются одним числом или одной точкой на числовой оси, поэтому их называют точечными. Существуют многие способы получения точечных оценок. Приведём два из них.

Нам дана плотность ρ(x, Θ1, Θ2, . . . , Θk) с неизвестными па-

раметрами Θ1, Θ2, . . . , Θk . Требуется на основании выборки

˜

x1, x2, . . . , xn найти оценки Θs = Ts(x1, x2, . . . , xn), s = 1, 2, . . . , k неизвестных параметров.

˜

К. Пирсоном предложен метод моментов отыскания Θs, за-

ключающийся в приравнивании теоретических моментов вы-

Пример 1. Найти методом моментов оценку параметра λ показательного закона распределения по выборке (x1, x2, . . . , xn).

максимума правдоподобия.

103

Рассматривая выборку x1, x2, . . . , xn как систему независимых случайных величин, распределённых по тому же закону, что и случайная величина X, находим плотность распределения системы x1, x2, . . . , xn:

L = ρ(x1, x2, . . . , xn, Θ1, Θ2, . . . , Θk ) = &n ρ(xi, Θ1, Θ2, . . . , Θk ).

i=1

Функцию L называют функцией правдоподобия, считая величины x1, x2, . . . , xn фиксированными и рассматривая L как функцию от Θ1, Θ2, . . . , Θk . По методу максимума правдоподобия за оценки параметров Θ1, Θ2, . . . , Θk принимаются те их значения, при которых функция правдоподобия принимает максимальное значение, т.е. те, при которых вероятность получения данной фиксированной выборки максимальна. Вместо функции L удобнее исследовать функцию ln L. Оценки являются ре-

зависят только от x1, x2, . . . , xn и не зависят от оцениваемых параметров.

Оценки, полученные методом максимального правдоподобия для широкого класса функций L, состоятельны, асимп-

принимает наибольшее значение (поскольку точка экстремума единственная).

104

4.3.Оценка математического ожидания

идисперсии нормальной случайной величины

Предположим, что изучается нормальная случайная величина X, параметры которой a = mx и σ2 = Dx неизвестны. Требуется на основании выборки x1, x2, . . . , xn оценить эти параметры.

4.3.1. Построение оценок

Найдём оценки a˜ и σ˜ методом максимального правдоподо-

поэтому функцию правдоподобия можно записать в виде:

ρ(x1, x2, . . . , xn, a, σ2) =

лученную систему уравнений относительно a и σ2, получаем

i=1

Как видим, оценки дисперсии и математического ожидания, полученные методом максимума правдоподобия, совпадают с выборочным математическим ожиданием и выборочной дисперсией, а потому состоятельны.

105

4.3.2. Проверка качества оценок математического ожидания и дисперсии

потому для подсчёта Vmin оценок a˜ и σ˜2 можно пользоваться

106

ка σ˜2 является смещённой, но асимптотически не смещённой. В данном случае смещение легко устранить, взяв в качестве

=1 − n1 , то оценка s2 асимптотически эффективна.

4.3.3.Понятие о доверительном интервале. Построение доверительного интервала для оценки математического ожидания при известном σ нормальной случайной величины

Мы получили приближённые значения параметров распределения. Чтобы охарактеризовать погрешность этих значений, нужно указать границы a и b, за пределы которых не выходит оцениваемый параметр. Поскольку все расчёты производятся на основании случайных результатов опыта, то и границы a и b также случайные величины. Таким образом, речь идёт о

107

построении интервала со случайными границами, который с заданной вероятностью γ содержал бы неизвестное значение параметра Θ.

Интервал со случайными границами, полностью определяемый результатами опытов и не зависящий от неизвестных характеристик, который с заданной вероятностью γ содержит неизвестный параметр Θ, называется доверительным интервалом для этого параметра.

Величина γ называется доверительной вероятностью. Число α = 1 − γ называют уровнем значимости, оно определяет вероятность того, что оцениваемый параметр не попадёт в доверительный интервал. При построении доверительных интервалов используется принцип невозможности маловероятных событий. Уровень значимости отделяет события практически невозможные от возможных. Если P (A) ≤ 1−γ, то событие A считается практически невозможным. Выбор конкретного значения γ зависит от характера решаемой задачи и определяется степенью опасности тех последствий, которые может вызвать наступление событий, отнесённых этим выбором к практически невозможным. Обычно, γ = 0,95; 0,99; 0,999.

Построим доверительный интервал для a = mx нор-

функция Лапласа. Для отыскания δ мы получили уравнение

2Φ(t) = γ. По таблице для функции Лапласа находим то зна-

√

чение t, для которого Φ(t) = γ/2, а затем из условия t = δ n

σ

108

Пример. Найти доверительный интервал для оценки с надёжностью γ = 0,99 неизвестного математического ожидания a нормальной случайной величины X, если a˜ = 10,2; σ[X] = 4,4; n = 36.

Решение. В нашем случае Φ(t) = 0,99 = 0,495. По таблице

для функции Лапласа (приложение C)2находим t = 2,58. Сле-

2,58 · 4,4

6= 1,89. Теперь из (4.14) следует, что

свероятностью 0,99 справедливо неравенство 8,31 < a < 12,09.довательно, δ =

4.3.4. Построение доверительного интервала для математического ожидания нормальной случайной величины при неизвестном σ

Введём в рассмотрение случайную величину T = a˜ − a √n, s

где s2 — исправленная дисперсия. Оказывается, что величина T распределена по закону, не зависящему от параметров a и σ. Доказано, что плотность распределения S(t, n) величины T

Распределение вероятностей по закону (4.15) называется

распределением Стьюдента с k = n − 1 степенями свободы. Функция S(t, n) чётна относительно t, поэтому

где γ — заданное значение доверительной вероятности.

109

Имеются таблицы, позволяющие по заданным n и γ най-

содержащий параметр a с вероятностью γ.

Пример. По данным 16 независимых равноточных измерений, случайные ошибки которых распределены по нормальному закону, найдены a˜ = 42,8; s = 8. Найти доверительный интервал измеряемой величины a с доверительной вероятностью

справедливо неравенство 36,7 < a < 48,7.

4.3.5. Построение доверительного интервала для оценки σ нормального распределения

По данным n независимых наблюдений вычисляем исправленную дисперсию s2 и принимаем её в качестве оценки σ2. Зададим доверительную вероятность γ. Требуется найти такое δ, чтобы выполнялось условие P (|σ − s| < δ) = γ или

σ

Доказано, что плотность распределения ρ(χ, n) не зависит

ни от s, ни от σ, а зависит только от n. Неравенство (4.17) преобразуем так, чтобы свести его к величине χ.

110