41. Метод максимального правдоподобия
Основным способом получения оценок параметров генеральной совокупности по данным выборке является метод максимального правдоподобия. Основная идея метода заключается в следующем.
Пусть
-
результаты независимых наблюдений над
случайной величиной Х,
которая может быть как дискретной, так
и непрерывной;
-
вероятность значения (если случайная
величина дискретна) и плотность
вероятности (если случайная величина
непрерывна). Функция
зависит от неизвестного параметра
,
который требуется оценить по выборке.
Если
-
независимые случайные величины, то
функцией правдоподобия называется
выражение
.
В качестве оценки неизвестного параметра
берется такое значение
,
при подстановке которого вместо параметра
получаем максимальное значение функции
.
Оценку
обычно называют оценкой
максимального правдоподобия.
Оценка
зависит от количества и числовых значений
случайных величин
,
следовательно, сама является случайной
величиной.
При
максимизации функции
подразумевается, что значения
фиксированы, а переменной является
параметр
(иными словами, максимум отыскивается
в предположении, что
заменены их числовыми значениями). Если
дифференцируема
относительно параметра
,
то для отыскания максимума надо решить
уравнение
.
В качестве оценки
выбрать решение, которое обращает
функцию
в максимум. Иногда удобно рассматривать
уравнение
.
Согласно методу максимального правдоподобия для нормально распределенной генеральной совокупности в качестве оценок математического ожидания и дисперсии нужно брать соответственно среднюю арифметическую и эмпирическую дисперсию .
Пример
40. Найти
методом максимального правдоподобия
по выборке
точечную оценку неизвестного параметра
показательного распределения, плотность
которого
.
Решение.
Составим функцию правдоподобия
.
Найдём логарифмическую функцию
правдоподобия
.
Найдём первую производную по
.
Отсюда
или
.
Так как
в силу положительности
то оценкой метода максимального
правдоподобия параметра
является величина, обратная среднему
арифметическому.
42. Метод наименьших квадратов
Изложенный ранее метод максимального правдоподобия всегда приводит к состоятельным оценкам, хотя иногда смещённым. Известно, что этот метод использует наилучшим образом всю информацию о неизвестном параметре, содержащуюся в выборке. Однако часто его применение связано с необходимостью решения сложных систем уравнений.
Другим способом, имеющим большое практическое применение в задачах оценивания неизвестных параметров генеральной совокупности по выборке и часто приводящим к более простым выкладкам, является метод наименьших квадратов.
Пусть, как и прежде, Х- случайная величина (дискретная или непрерывная) с законом распределения , (где - неизвестный параметр генеральной совокупности, который нужно оценить по выборке). - независимые наблюдения, - оценка параметра , зависящая от количества наблюдений и их числовых значений.
Основная
идея метода наименьших квадратов в
приложении к оцениванию параметров
сводится к тому, чтобы в качестве оценки
неизвестного параметра принимать
значение, которое минимизирует сумму
квадратов отклонений между оценкой и
параметром для всех наблюдений. То есть
находится минимум функции
.
Если исходная случайная величина имеет нормальный закон распределения, то метод максимального правдоподобия и метод наименьших квадратов дают одинаковые результаты.
Особенно
часто метод наименьших квадратов
применяется в задачах выравнивания или
сглаживания. Пусть в результате наблюдений
получен ряд точек с координатами
.
Если заранее известно, что зависимость
между переменными имеет вид
,
то необходимо определить числовые
параметры
,
которые наилучшим образом, в смысле
наименьших квадратов, описывали бы
зависимость, полученную при наблюдении.
То есть найти минимум функции
.
Для этого нужно решить систему уравнений
Пример
41. Найти
методом наименьших квадратов коэффициенты
линейной зависимости
по полученным эмпирическим точкам с
координатами
.
Решение.
Функция
имеет вид
система уравнений
или
Выражая
из второго уравнения
имеем
,
подставляя в первое получим
.
Отсюда
,
подставляя полученное в выражение для
,
находим его. Используя понятие средней
арифметической результат можно записать
гораздо компактней
и
.