10.3Метод моментов получения оценок параметров генерального распределения

Пусть известен вид генерального закона распределения, а параметры θ1, θ2, ..., θn, в него входящие, неизвестны. Возникает задача их статистического оценивания. Один из методов получения таких оценок - метод моментов.

Предполагается, что имеется выборка (x1, . . . , xn) из исследуемой генеральной совокупности. На ее основе вычисляются m начальных моментов a1, . . . , am. Так как вид генерального закона известен, то, следовательно, можно найти m первых начальных генеральных моментов α1(θ1, . . . , θm), ..., αm(θ1, . . . , θm), которые выражаются через неизвестные параметры. Выборочные и генеральные моменты одинакового порядка сравниваются:

α1(θ1, . . . , θm) = a1,

...

Среднее значение такой оценки отличается от истинного значения параметра на величину порядка 1/n. В общем случае они - смещенные и не являются эффективными.

Замечание. Вместо начальных моментов можно использовать центральные. Пример. Для показательного закона с плотностью

Пример. Для нормального закона N(m, σ) известно, что α1 = MX = m; µ2 = M[(X − mX )2] = Для этого случая удобно взять первый начальный и второй центральный моменты. Получаем систему из двух уравнений:

Находим оценки двух параметров по методу моментов:

m¯ = x¯; σ¯ = σB.

72

10.4Метод максимального правдоподобия получения оценок параметров генерального распределения

Метод максимального правдоподобия является достаточно универсальным и плодотворным методом оценивания.

Пусть имеется выборка (x1, . . . , xn) из генеральной совокупности с плотностью вероятности f(x, θ), содержащей один неизвестный параметр θ.

Выборка является n-мерной случайной величиной, компоненты xi которой взаимно независимы, одинаково распределены с плотностью f(x, θ). Тогда плотность распределения n-мерной случайной величины (x1, x2, . . . , xn) будет равна

L(x1, x2, . . . , xn; θ) = f(x1, θ)f(x2, θ) . . . f(xn, θ).

Эта функция называется функцией правдоподобия для рассматриваемой выборки. Будем считать θ переменной неслучайной величиной, а элементы x1, x2, ..., xn выборки

фиксированными, так как выборка фактически осуществлена. Если придавать θ различные значения, то естественно ожидать, что плотность L(x1, x2, . . . , xn; θ) примет максимальное значение в случае, когда θ окажется равным истинному его значению, так как при других значениях θ менее вероятно за один раз получить именно данную выборку.

Эти интуитивные соображения приводят к тому, что за оценку θ берут такое значение

¯, при котором функция правдоподобия достигает максимума.

θ

Технически (так как L состоит из произведений) удобнее искать max ln L (точка, даю-

щая максимум , дает и максимум ). Итак, для отыскания ˆ имеем уравнение ln L L θ

∂ln L = 0, ∂θ

При выполнении достаточно общих условий оценки максимального правдоподобия являются состоятельными и асимптотически эффективными. В общем случае они являются смещенными.

В случае, когда генеральная плотность вероятности f(x, θ1, . . . , θk) содержит k параметров, вместо одного уравнения правдоподобия решается система уравнений

73

Оценка максимального правдоподобия и метода моментов параметра показательного закона совпадают.

Пример. Для нормального закона N(m, σ) плотность вероятности имеет вид

Удобно считать, что здесь два параметра m и σ2. Следовательно, функция правдоподобия равна

Далее, дифференцируя ln L по m и σ2, получаем систему уравнений правдоподобия

i=1

Эти оценки были получены ранее методом моментов.

Замечание. В случае дискретного закона распределения P (X = xi) = p(xi, θ) функция правдоподобия определяется формулой

n

Y

L = p(xi, θ).

i=1

Замечание. Существуют и другие методы получения оценок генеральной совокупности, например, методы квантилей, минимум хи-квадрат, наименьших квадратов, наименьших абсолютных отклонений, минимакса.

74