29. Метод максимального правдоподобия. Функция правдоподобия в непрерывном и дискретном случаях. Оценка максимального правдоподобия и их основные свойства.
Метод наибольшего правдоподобия.
Пусть Х – дискретная случайная величина, которая в результате п испытаний приняла значения х1, х2, …, хп. Предположим, что нам известен закон распределения этой величины, определяемый параметром Θ, но неизвестно численное значение этого параметра. Найдем его точечную оценку.
Пусть р(хi, Θ) – вероятность того, что в результате испытания величина Х примет значение хi. Назовем функцией правдоподобия дискретной случайной величины Х функцию аргумента Θ, определяемую по формуле:
L (х1, х2, …, хп; Θ) = p(x1,Θ)p(x2,Θ)…p(xn,Θ).
Тогда в качестве точечной оценки параметра Θ принимают такое его значение Θ* = Θ(х1, х2, …, хп), при котором функция правдоподобия достигает максимума. Оценку Θ* называют оценкой наибольшего правдоподобия.
Поскольку функции
L
и lnL
достигают максимума при одном и том же
значении Θ, удобнее искать максимум ln
L
– логарифмической
функции правдоподобия.
Для этого нужно:
1)найти производную
;
2)приравнять ее нулю (получим так называемое уравнение правдоподобия) и найти критическую точку;
3)найти вторую
производную
;
если она отрицательна в критической
точке, то это – точка максимума.
Достоинства метода наибольшего правдоподобия: полученные оценки состоятельны (хотя могут быть смещенными), распределены асимптотически нормально при больших значениях п и имеют наименьшую дисперсию по сравнению с другими асимптотически нормальными оценками; если для оцениваемого параметра Θ существует эффективная оценка Θ*, то уравнение правдоподобия имеет единственное решение Θ*; метод наиболее полно использует данные выборки и поэтому особенно полезен в случае малых выборок.
Недостаток метода наибольшего правдоподобия: сложность вычислений.
Для непрерывной случайной величины с известным видом плотности распределения f(x) и неизвестным параметром Θ функция правдоподобия имеет вид:
L (х1, х2, …, хп; Θ) = f(x1,Θ)f(x2,Θ)…f(xn,Θ).
Оценка наибольшего правдоподобия неизвестного параметра проводится так же, как для дискретной случайной величины.
17. Условные законы распределения. Математическое ожидание и дисперсии я случайных величин. Условное математическое ожидание.
дискретной случайной величины называ-ется сумма произведений ее возможных значений на соответствующие им вероятности:
М(Х) = х1р1 + х2р2 + … + хпрп . (7.1)
Если число возможных
значений случайной величины бесконечно,
то
, если полученный ряд сходится абсолютно.
Замечание 1. Математическое ожидание называют иногда взвешенным средним, так как оно приближенно равно среднему арифметическому наблюдаемых значений случайной величины при большом числе опытов.
Замечание 2. Из определения математического ожидания следует, что его значение не меньше наименьшего возможного значения случайной величины и не больше наибольше-го.
Замечание 3. Математическое ожидание дискретной случайной величины есть неслучай-ная (постоянная) величина. В дальнейшем увидим, что это же справедливо и для непре-рывных случайных величин.
Дисперсией (рассеянием) случайной величины называется математи-ческое ожидание квадрата ее отклонения от ее математического ожидания: D(X) = M (X – M(X))²
Замечание 1. В определении дисперсии оценивается не само отклонение от среднего, а его квадрат. Это сделано для того, чтобы отклонения разных знаков не компенсировали друг друга.
Замечание 2. Из определения дисперсии следует, что эта величина принимает только неотрицательные значения.
Замечание 3. Существует более удобная для расчетов формула для вычисления дисперсии, справедливость которой доказывается в следующей теореме:
Теорема. D(X) = M(X ²) – M ²(X).
Доказательство.
Используя то, что М(Х) – постоянная величина, и свойства математического ожидания, преобразуем формулу (7.6) к виду:
D(X) = M(X – M(X))² = M(X² - 2X·M(X) + M²(X)) = M(X²) – 2M(X)·M(X) + M²(X) =
= M(X²) – 2M²(X) + M²(X) = M(X²) – M²(X),
что и требовалось доказать.вв