§ 22. Метод наибольшего правдоподобия

Кроме метода моментов, который изложен в пре­дыдущем параграфе, существуют и другие методы точеч­ной оценки неизвестных параметров распределения. К ним относится метод наибольшего правдоподобия, предложен­ный Р. Фишером.

А. Дискретные случайные величины. Пусть X—диск­ретная случайная величина, которая в результате п ис­пытаний приняла значения х_г, х₂, . .., х_п. Допустим, что ^вид закона распределения величины X задан, но неиз­вестен параметр 9, которым определяется этот закон. Требуется найти его точечную оценку.

Обозначим вероятность того, что в результате испы­тания величина X примет значение х,(/= 1, 2, ..., п), через ^р(хг, 6).

функцией правдоподобия дискретной случайной вели-^ины X называют функцию аргумента 0:

^L(*x, х₂ х_а; в) = р(х₁; Q)p(x₂; Q)...p(x_n; 9),

^^е *i, аг₂, ..., х„—фиксированные числа.

229

В качестве точечной оценки параметра 9 принимают _Та кое его значение 6* = 9*(х₁, х_а, . . ., х„), при котором фу_н" кция правдоподобия достигает максимума. Оценку 9* _н ~ зывают оценкой наибольшего правдоподобия.

Функции L и lnL достигают максимума при одц_0м и том же значении 6, поэтому вместо отыскания максиму^ функции L ищут (что удобнее) максимум функции 1п£

Логарифмической функцией правдоподобия называю^ функцию lnL. Как известно, точку максимума функди_и lnZ, аргумента 9 можно искать, например, так:

1. найти производную—jk—;

2. приравнять производную нулю и найти критическую точку — корень полученного уравнения (его называют уравнением правдоподобия);

3) найти вторую производную —^-; если вторая

производная при 9 = 9* отрицательна, то 9* — точка мак­симума.

Найденную точку максимума 9* принимают в качестве оценки наибольшего правдоподобия параметра 9.

Метод наибольшего правдоподобия имеет ряд досто­инств: оценки наибольшего правдоподобия, вообще говоря, состоятельны (но они могут быть смещенными), распреде­лены асимптотически нормально (при больших значениях л приближенно нормальны) и имеют наименьшую дисперсию по сравнению с другими асимптотически нормальными оценками; если для оцениваемого параметра 9 существует эффективная оценка 9*, то уравнение правдоподобия имеет единственное решение 9*; этот метод наиболее полно ис­пользует данные выборки об оцениваемом параметре, поэтому он особенно полезен в случае малых выборок.

Недостаток метода состоит в том, что он часто требует сложных вычислений.

Замечание 1. Функция правдоподобия — функция от аргу­мента 6; оценка наибольшего правдоподобия —функция от независи­мых аргументов х_ъ х₂, ..., х_п.

Замечание 2. Оценка наибольшего правдоподобия не всегда совпадает с оценкой, найденной методом моментов.

Пример 1. Найти методом наибольшего правдоподобия параметра % распределения Пуассона

* т \ -Л ⁼⁼ *> il ~

;

где т — число произведенных испытаний; Х; — число появлений со о тия в i-м (t = 1, 2 п) опыте (опыт состоит из т испытал^и ''

230

решение. Составим функцию правдоподобия, учитывая, что

_Й=3Я:

L = p(x₁; к>р(х₂; Я) ... р (х„\ Я) =

^'■е-^ Я*'-е-* }*"-^е~^К _ *2*'- е-"*¹

~" *i! " *₂! *'" *„! х_г\х₂\ . .. х_п\

Найдем логарифмическую функцию правдоподобия: lnL = (2*i)ln A,— пк — ]n(_Xl!x₂\ ... х_п\). Найдем первую производную по Я:

d In L ~E ^X;

Напишем уравнение правдоподобия, для чего приравняем пер­вую производную нулю:

(2 **/*)-«=о.

Найдем критическую точку, для чего решим полученное уравне­ ние относительно Я: ' _

*.=2 *<7^п=^в-

Найдем вторую производную по Я:

d²\nL 2^^

ЙЯ² ~ Я² •

Легко видеть, что при к = х_в вторая производная отрицательна; следовательно, Я = л:_в — точка максимума и, значит, в качестве оценки наибольшого правдоподобия параметра Я распределения Пуассона надо принять выборочную среднюю к* — х_в.

Пример 2., Найти методом наибольшего правдоподобия оценку параметра р биномиального распределения

если d /ti независимых испытаниях событие А появилось дс₁ = т₁ раз

^и в п₂ независимых испытаниях событие А появилось х₂ = т₂ раз.

Решение. Составим функцию правдоподобия, учитывая,

Найдем логарифмическую функцию правдоподобия: Найдем первую производную по р:

dp p \—p

. пишем уравн

Роизводную нулю:

. Напишем уравнение правдоподобия, для чего приравняем первую Роизводн

1-р

2 31

Найдем критическую точку, для чего решим полученное ур_а нение относительно р: ^в-

Найдем вторую производную по р: d²\nL

dp* ~~ p² """ (1—P)²

Легко убедиться, что при р = (т₁ + т₂)/(п₁ + п₂) вторая пр_0Из водная отрицательна; следовательно, P = (rn_l-\-m₂)l(n₁-\-n₂)—точк' максимума и, значит, ее надо принять в качестве оценки наибод_ь^а шего правдоподобия неизвестной вероятности р биномиального р_ас" пределения:

Б. Непрерывные случайные величины. Пусть X— не­прерывная случайная величина, которая в р_е.

зультате п испытаний приняла значения x_lt х_{2 х}

Допустим, что вид плотности распределения / (х) задан, но не известен параметр 9, которым определяется эта функция.

Функцией правдоподобия непрерывной случайной вели­чины X называют функцию аргумента 9:

L (x_lt х₂, ..., х_п; 9) = / (х_х; 9) / (*,; 9) ... / (х_п; 9),

где х₁, х₂, ..., х_п—фиксированные числа.

Оценку наибольшего правдоподобия неизвестного па­раметра распределения непрерывной случайной величины ищут так же, как в случае дискретной величины.

Пример 3. Найти методом наибольшего правдоподобия оценку параметра X показательного распределения

ke-^u (0<ж<оо),

если в результате п испытаний случайная величина X, распределен­ ная по показательному закону, приняла значения х_ь х₂ *«•

Решение. Составим функцию правдоподобия, учитывая, что 0 = Я,:

L=f(x₁; k)f(x₂; К) ... /(*„; X) = (Xe~^u ^ **)

Отсюда

Найдем логарифмическую функцию правдоподобия:

In L = nln X, — X У Xj. Найдем первую производную по К: dlnL n

232

Запишем уравнение правдоподобия, для чего приравняем первую нулю:

Найдем критическую точку, для чего решим полученное уравне-_йе относительно К:

^н x

Найдем вторую производную по X:

/t

Л егко видеть, что при А,= 1/л:_в вторая производная отрицательна; ледовательно, Л. == 1 /лг_в — точка максимума и, значит, в качестве ценки наибольшего правдоподобия параметра Я, показательного рас­пределения надо принять величину, обратную выборочной средней:

1*=1/*_в.

Замечание. Если плотность распределения /(х) непрерывной случайной величины X определяется двумя неизвестными парамет­рами 6i и 0₂, то функция правдоподобия является функцией двух независимых аргументов 9_Х и Э₂:

L=f(x_i; е_ь е,)/(*₂; е_ь в,) ... f(x_Hi в_ь е₂),

где x-i, х₂ х_п — наблюдавшиеся значения X. Далее находят ло­ гарифмическую функцию правдоподобия и для отыскания ее макси­ мума составляют и решают систему

^d]aL__=zQt

П ример 4. Найти методом наибольшего правдоподобия оценки параметров а и о нормального распределения

о у 2л

если в результате п испытаний величина X приняла значения

*ь *• *п-

Решение. Составим функцию правдоподобия, учитывая, что ^ui = o и 9₂=о:

V2n "

-<*_B-^g)V^lg>

Отсюда

233

Найдем логарифмическую функцию правдоподобия:

lnL = — п In а-4-In . , . о'о •

(К 2л)" 2о2

Найдем частные производные по а и по а:

а² ' da ~ a

Приравняв частные производные нулю и решив полученную си стему двух уравнений относительно а и о², получим:

Итак, искомые оценки наибольшего правдоподобия: a*="J . a*= V^Ob. Заметим, что первая оценка несмещенная, а вторая сме'

щенная.