Метод максимального правдоподобия
Идея метода заключается в следующем. Имеется объект с n входами.
|
|
-
случайные величины, имеющие какое-то
распределение.
-
плотность распределения.
Поскольку источником распределения случайных величин является наличие случайной величины e(t), то законы распределения совпадают с законом распределения e(t).
Параметры распределения разные, причем математическое ожидание разное, а дисперсии при стационарном случайном процессе e(t) одинаковы.
Зная плотности распределения, можно вычислить функцию правдоподобия:
В
частном случае, если измерения независимы,
n-мерная плотность распределения равна
произведению
.
Функция правдоподобия зависит от известных параметров.
-
это оценка максимального правдоподобия.
Оценка максимального правдоподобия максимизирует нашу функцию.
Для упрощения вычислений обычно максимизируют не исходную функцию правдоподобия, а логарифмическую функцию правдоподобия:
Рассмотрим
пример.
Есть модель y=au+e,
измерения входа 
,
измерения выхода 
.
Найти 
.
Предположим,
что закон распределения случайной
величины нормальный: 
.
-нормально
- распределенная величина.
Найдем 
.
,
так как
Полученная оценка 
совпадает с МНК оценкой при нормальном
законе распределения. Недостатком
метода максимального правдоподобия
является необходимость знания закона
распределения случайной величины e(t).
Тема 4. Статистический анализ уравнений регрессии
4.1. Цель и этапы статистического анализа уравнений регрессии
4.2. Проверка значимости
4.3. Проверка адекватности
4.4. Расчет доверительных интервалов
Цель и этапы статистического анализа уравнений регрессии
-уравнение
регрессии
Статистический анализ уравнения регрессии включает в себя три этапа:
I- проверка значимости оценок неизвестных коэффициентов модели.
II- проверка адекватности представления результатов эксперимента полученным у авнениям регрессии.
III- расчет доверительных интервалов для истинных значений входов.
Целью статистического анализа является уточнение структуры модели с обоснованием правильности ее выбора и оценка точности предсказания по модели.
Проверка значимости.
Имеем 
- оценки соответствующих коэффициентов.
Мы
должны проверить (оценить) коэффициенты 
на их отличие от нуля.
Проверка
значимости i-ого коэффициента модели
эквивалентна проверке гипотезы о том,
что 
(нуль-гипотеза).
Исходными данными этой гипотезы являются
оценка коэффициентов и дисперсия
(точность) оценки. Проверка гипотезы
сводится к использованию статистики с
известным законом распределения.
Статистикой называют некоторое выражение, построенное на известных оценочных характеристиках.
Известно, что отношение модуля оценки к корню квадратному из оценки дисперсии называется t-распределением (Стьюдента).
Нуль-гипотеза
принимается, если отношение 
меньше некоторого критического
значения 
.
Если неравенство не выполняется, то
нуль-гипотеза отвергается.
-
это квантиль распределения Стьюдента,
соответствующий уровню значимости
и числу степеней свободы 
.
.
Квантиль - это значение случайной величины, соответствующее заданной вероятности.
,
где Р-
доверительная вероятность, то есть
вероятность, с которой принимается
нуль-гипотеза при выполнении нашего
неравенства 
.
Обычно 
Квантили определяются по справочнику следующим образом:
После проверки значимости все незначащие коэффициенты исключаются из модели. Таким образом осуществляется корректировка структуры модели.