6.Оценка параметров распределения

В общем случае ни при каком числе реализаций случайной величины (как угодно большом) по выборке нельзя определить точное значение неизвестного параметра распределения, а можно найти лишь приближённое значение, которое и называют оценкой по выборке неизвестного параметра распределения.

При выборе метода получения оценки стремятся выбрать более простой метод, в то же время желательно, чтобы выбранный метод обеспечивал получение несмещённой, эффективной и состоятельной оценки.

Для получения оценок используют ряд методов.

6.1.Метод моментов.

Метод моментов – один из самых распространённых и простых методов, который заключается в приравнивании теоретических моментов распределения к эмпирическим моментам соответствующего порядка и в определении параметров из полученных уравнений. Уравнений составляют столько, сколько имеется неизвестных параметров распределения. Так, для экспоненциального распределения достаточно одного уравнения, для гауссовского (нормального) распределения и гамма распределения необходимы два уравнения.

Для гамма-распределения, используя зависимости

f(x) =[ λ^α/Γ(α] x^α– e^–λх; M[x] = α/λ; σ²[x] = α/λ²

и приравнивая эмпирические значения среднего х и дисперсии s² к вычисленным значениям М[x] и σ²[x], получают

λ = x/s²; α = x²/s².

В общем случае оценки, полученные по методу моментов, не являются асимптотически эффективными и не обладают наименьшей дисперсией.

Для некоторых законов распределения (экспоненциального, нормального, логарифмически-нормального) оценки параметров распределения, полученные методом моментов, совпадают с оценками, найденными другим методом – методом максимального правдоподобия.

Метод моментов можно использовать только для оценки параметров по завершённым испытаниям, так как эмпирические моменты определяют только по полным выборкам. Для усечённых и многократно усечённых выборок метод моментов не применяют.

6.2.Метод максимального правдоподобия (метод наибольшего правдоподобия, метод максимума правдоподобия).

Этот метод является более точным, но и более сложным методом,

позволяющим получить оценки параметров распределения не только для полных, но и для усечённых и многократно усечённых выборок.

Оценки по этому методу состоятельны, асимптотически эффективны, но иногда смещённые.

Для получения оценки неизвестного параметра α по методу максимального правдоподобия ищут такое значение α, при котором вероятность реализации полученной выборки х₁, х₂,…,х_n была бы максимальной. Функцию

R(x₁,x₂,…, x_n, α₁,…,α_n)

называют функцией максимального правдоподобия. Для получения оценки максимального правдоподобия надо взять частные производные по определяемым параметрам от функции правдоподобия и приравнять их нулю. Так как максимумы функции правдоподобия и её логарифма совпадают, а y = ln x – строго возрастающая функция, то для удобства частные производные берут от логарифма функции максимального правдоподобия.

Например, для двухпараметрического распределения

_n

∑ [ ∂ ln f (x_i , α₁, α₂)] / ∂α₁ = 0;

ⁱ⁼¹ } (41)

_n

∑ [ ∂ ln f (x_i , α₁, α₂)] / ∂α₂ = 0;

ⁱ⁼¹

где α₁,α₂–параметры распределения; х_i – реализации случайной величины;

n – число реализаций.

Например, оценивая по методу максимума правдоподобия неизвестные параметры a и σ нормального распределения, имеем

_n

f(x₁, x₂,…, x_n, a, σ ) = [ 1 / (σ√2π)ⁿ ] exp [ – (1 / 2σ²) ∑( x_i – a )² ];

ⁱ⁼¹

_n

ln f = –(n/2) ln(2π) – (n/2) ln σ² – (1/2σ²)∑( x_i – a )².

ⁱ⁼¹

Берём частные производные ln f по a и σ

_n

(1/σ²) ∑ ( x_i – a ) = 0;

ⁱ⁼¹

_n

–n/2σ² + (1/2σ⁴) ∑(x_i – a )² = 0,

ⁱ⁼¹

откуда получаем a(х₁, х₂,…, х_n) = x

_n

σ²(x₁, x₂, …, x_n) = (1/n) ∑( x_i – x )² = s².

ⁱ⁼¹

Эти оценки состоятельны, первая из них несмещённая, а вторая смещённая.