8.2.Случай непрерывных распределений

Если случайная величина X имеет непрерывную плотность распределения, где- параметр распределения, который нужно оценить по выборке реализаций этой случайной величины ,то в этом случае функция правдоподобия

.(8.2.1)

Согласно методу наибольшего правдоподобия наилучшей оценкой параметра является значение, для которого функция правдоподобия (8.2.1) достигает максимума.

Если функция дифференцируема по , то это значение находится из уравнения

.

Практически удобнее пользоваться логарифмической формой этого уравнения

. (8.2.2)

Это уравнение называется уравнением правдоподобия.

Если плотность распределения случайной величины Xимеет два параметраи, то есть имеет вид, то оценки наибольшего правдоподобия находятся из системы двух уравнений

(8.2.3)

Если распределение имеет больше двух параметров, например, , то составляется система изkуравнений правдоподобия:

К сожалению, эти уравнения не всегда дают явные выражения для оценок параметров и их приходится решать численными методами.

Если область определения плотности зависит от параметров, то максимум функции правдоподобия может достигаться на границе этой области. В этом случае надо анализировать непосредственно функцию правдоподобия (8.2.1).

Если уравнение правдоподобия имеет несколько корней, то надо брать то решение, при котором функция правдоподобия максимальна.

Пример 1. Оценим данным методом параметр показательного распределения случайной величиныT по выборке ее реализаций.

В этом случае , а функция правдоподобия

.

Уравнение правдоподобия в этом случае имеет вид:

.

В результате решения этого уравнения получаем, что оценка наибольшего правдоподобия

. (8.2.4)

Интересно отметить, что метод моментов в данном случае дал такое же выражение для оценки параметра .

Пример 2. Оценим параметрыслучайной величиныХ, распределенной по нормальному закону с плотностью

по выборке реализаций .

Функция правдоподобия в этом случае равна

,

а уравнения правдоподобия:

Из первого уравнения получаем, что

. (8.2.5)

Из второго уравнения получаем, что

. (8.2.6)

В данном случае оценки наибольшего правдоподобия совпали с ранее выведенными оценками по методу моментов.

Пример 3. Оценим параметры a иdлогарифмически нормального распределения случайной величиныT , имеющей плотность распределения

по выборке .

Функция правдоподобия

.

Уравнения правдоподобия в данном случае имеют вид:

.

Из первого уравнения получаем, что

,

откуда получаем оценку для а:

. (8.2.7)

Из второго уравнения получаем:

. (8.2.8)

Из выражения (8.2.7) видно, что оценкой для параметра аявляется среднее геометрическое выборки, а оценкой дляd²– выборочная дисперсия для. Эти оценки отличаются от оценок, ранее полученных по методу моментов.

Пример 4.Оценим параметрыислучайной величиныT,имеющей гамма распределение, плотность которого имеет вид:

.

Оценку произведем по выборке .

Функция правдоподобия

.

Уравнения правдоподобия имеют вид:

После упрощающих преобразований получаем следующую систему уравнений:

(8.2.9)

Эта система уравнений решается численными методами. Если из первого уравнения определить и подставить во второе уравнение, то получим уравнение только для:

.

Если учесть, что

, -

среднее арифметическое и среднее геометрическое соответственно, то получим из предыдущего следующее уравнение:

, (8.2.10)

Это уравнение может быт решено численно или графически.

Пример 5.Оценим параметры равномерного распределения случайной величиныXпо выборке.

Плотность равномерного распределения задается следующим образом:

В этом случае функция правдоподобия имеет вид:

Максимум этой функции достигается если

, (8.2.11)

то есть, в качестве оценки для а следует брать наименьшее значение из выборки, а в качестве оценки дляbследует брать наибольшее значение из выборки. Интересно отметить, что формулы для оценок существенно отличаются от полученных ранее по методу моментов.

Пример 6.Оценим параметрыираспределения Коши, имеющего плотность

,

по выборке .

Функция правдоподобия

.

Уравнения наибольшего правдоподобия получаются как и прежде в соответствии с (8.2.3):

После упрощающих преобразований получаем для определения параметров иследующую систему из двух уравнений:

;

.

Эта система имеет только численное решение. Если этих решений окажется несколько, то следует выбрать только то, для которого функция правдоподобия максимальна. Практически может оказаться проще вместо решения отмеченной системы искать максимум функции правдоподобия прямым перебором с малым шагом возможных значений искомых параметров. На практике обычно бывает известна область возможных значений параметров распределения. В простейшем случае, исходя из требуемой точности расчета, задается шаг изменения параметров и затем в цикле по значениям параметров в отмеченной области рассчитывается функция правдоподобия и выбирается то значение параметров, при котором эта функция максимальна.

Особенность распределения Коши, как уже отмечалось раньше, состоит в том, что для него все моменты, включая и математическое ожидание, бесконечны. Поэтому метод моментов к этому распределению не применим.

Пример 7.Применим метод наибольшего правдоподобия для оценки параметров распределения Фреше, для которого, как уже отмечалось, не все моменты конечны и метод моментов может дать ошибочное решение из-за того, что выборочные моменты всегда конечны. Плотность распределения

.

Оценим параметры aиbпо выборке.

Функция правдоподобия

.

Логарифм функции правдоподобия

.

Уравнения правдоподобия:

.

.

После упрощающих преобразований получаем для определения параметров aиb следующую систему из двух уравнений:

;

,

которая решается численно.