2 МЕТОДЫ НАХОЖДЕНИЯ ТОЧЕЧНЫХ ОЦЕНОК ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЙ

Задача получения точечных оценок параметров распределений является одной из центральных в математической статистике. Она формулируется следующим образом. Известна плотность вероятности генеральной совокупности fξ (x,θ ) с точностью до вектора параметров θ = (θ1,...,θm ) . Требуется по вы-

борке x1 ,..., xn из этой совокупности найти оценку θ = (θ)1 ,...,θ)m ) параметра θ .

Перейдем к изложению методов решения этой задачи.

2.1 Метод моментов

Метод моментов заключается в следующем. Находим m начальных теоретических моментов

∞

ν j = E(ξ j ) = ∫x j fξ ( x,θ )dx , j =1,m .

−∞

Из этой формулы видно, что теоретические моменты являются функциями не-

известных параметров, то есть ν j =ν j (θ ) . Далее находим m выборочных на-

чальных моментов

Приравнивая соответствующие теоретические и выборочные моменты, получим систему m уравнений

Решая эту систему, получаем оценки θ = (θˆ1 ,...,θˆm ) .

32

Достоинством метода является его простота. Недостатком является то, что в общем случае не доказано, что такие оценки обладают какими-либо хорошими свойствами. Этот вопрос придется решать отдельно.

Метод моментов рекомендуется применять для получения оценок небольшого числа параметров (порядка двух-трех).

Пример 2.1. Найти оценки параметров a и σ 2 нормальной генеральной со-

вокупности N (a,σ 2 ) методом моментов.

Решение. Теоретические моменты равны ν1 = E(ξ) = a , μ2 = D(ξ) =σ 2 .

Приравнивая их к соответствующим выборочным моментам, получим в качестве оценок известные нам выборочное среднее и выборочную дисперсию:

Пример 2.2. Найти оценки параметров a , b равномерного в ( a,b ) распреде-

ления методом моментов.

Решение. Теоретические моменты равномерного в ( a,b ) распределения рав-

щим выборочным моментам, получим систему уравнений a +2 b = x ,

( b − a )2 = s 2 . 12

Переписав эту систему в виде

b + a = 2x , b − a = 2 3 s ,

получаем оценки

33

a) = x − 3 s , b = x + 3 s .

2.2 Метод максимума правдоподобия

Это основной метод нахождения оценок. Он использует понятие функции правдоподобия. Функцией правдоподобия называется совместная плотность вероятности выборочных значений, рассматриваемых как случайные величины. Функция правдоподобия зависит как от переменных x1 , x2 ,..., xn , так и от неиз-

вестных параметров θ1 ,...,θm . Обычно она обозначается зависящей только от неизвестных параметров в виде L(θ1,...,θn ). Функция правдоподобия рассчиты-

вается по формуле

i=1

где fξ (x,θ1 ,...θm ) – плотность вероятности генеральной совокупности. Метод максимума правдоподобия заключается в том, что оценки отыскиваются из условия максимума функции правдоподобия:

Полученные при этом оценки называются максимально правдоподобными, или МП-оценками. Чтобы найти МП-оценки, необходимо приравнять частные производные функции правдоподобия к нулю и решить полученную систему уравнений:

Часто эта система упрощается с помощью следующего приема. Поскольку любая функция и ее логарифм достигают экстремума на одних и тех же значениях аргументов, то часто максимизируют не функцию правдоподобия, а ее натуральный логарифм, то есть логарифмическую функцию правдоподобия

34

ln L(θ1,...,θm ) . В этом случае для получения оценок необходимо решать сле-

дующую систему уравнений:

Если учесть, что для простого случайного выбора функция правдоподобия представляется в виде произведения, то ее логарифм представляется в виде суммы

n

ln L(θ1 ,...,θm ) = ∑ fξ (xi ,θ1 ,...,θm ) ,

i=1

исистема уравнений преобразуется к виду

Достоинством метода является то, что МП-оценки имеют хорошие свойства. Доказано, что они состоятельны, асимптотически несмещены и асимптотически эффективны. Вместе с тем система уравнений для получения оценок часто оказывается нелинейной, что не позволяет получать оценки в конечном виде.

Пример 2.3. Найти оценки параметров a и σ 2 нормальной генеральной со-

вокупности N (a,σ 2 ) методом максимума правдоподобия.

Решение. Нам известна плотность вероятности генеральной совокупности с точностью до двух параметров a , σ 2 :

Будем максимизировать логарифмическую функцию правдоподобия, для че-

Найдем частные производные по оцениваемым параметрам

35

Для получения оценок необходимо решать систему уравнений (2.3), которая имеет вид

Из первого уравнения находим

a) = 1 ∑n xi = x . n i=1

Подставляя x вместо a во второе уравнение, получим

σ)2 = 1 ∑n (xi − x)2 = s 2 . n i=1

Мы видим, что максимально правдоподобными оценками параметров a и

σ2 нормального распределения являются известные нам выборочное среднее x

ивыборочная дисперсия s 2 .

Обратим внимание на структуру оценки параметра a :

a) = ∑n 1 xi .

i=1 n

Это линейная функция выборочных значений, взятых с одинаковыми весовыми коэффициентами 1n . Такая структура оценки вполне понятна, поскольку все

выборочные значения имеют одну и ту же дисперсию, и нет оснований присваивать им различные весовые коэффициенты.

Пример 2.4. Найти оценки параметров a , b равномерного в ( a,b ) распреде-

ления методом максимума правдоподобия.

36