56. Метод наибольшего правдоподобия: принципы и целесообразность использования

Метод наибольшего правдоподобия -- метод поиска модели, наилучшим в каком-то смысле образом описывающей обучающую выборку, полученную с некоторым неизвестным распределением.

Описание метода Пусть на вход подается некоторая величина x, а на выходе имеется величина y. Также существует условная вероятность , описывающая вероятность получить на выходе величинуy, если на вход была подана величина x. Если множество величин не дискретно, то условная вероятность заменяется на условную плотность распределения. Считается, что эта условная вероятность нам неизвестна. Пусть имеется некоторое множество моделей, описываемых различными условными вероятностями , гдеиграет роль индекса, приписываемого конкретной модели, и может вообще говоря иметь любую природу. Пусть также существует обучающая выборкапорождённая с неизвестной условной вероятностью. Причем, считается, что все пары порождаются независимо. Требуется на основании обучающей выборки выделить из множества моделей (то есть выбрать) ту, что наилучшим образом подходит к обучающей выборке.Функцией правдоподобия называется функция вида . Метод наибольшего правдоподобия состоит в том, что из множества моделей выбирается та, что максимизирует значение функции правдоподобия, т.е. выбирается значение параметра

Обоснование метода Заметим, что в силу независимости элементов обучающей выборки вероятность получить набор выходных значений при поданных на вход значенияхравняется. Из эвристических соображений понятно, что, чем ближе модель к истинной, тем больше должна быть эта величина. Функция правдоподобия является логарифмом этой величины. Можно также показать, что если среди множества моделей есть истинная, то максимумматематического ожидания функции правдоподобия действительно достигается на истинной модели.

57. Этапы исследования модели множественной регрессии с.74-79.

1. Построить корреляционную матрицу по всем переменным, включая время. Построить графики всех переменных в зависимости от времени. Выбрать вид модели.

2. Выбрать мультипликативную модель и линеаризовать её логарифмированием:

Ln Ŷ = Ln b0+ b1*LnX1+b2*LnX2+b3*LnX3+b4*LnX4

после переобозначения

Z^ = a + b1V1 + b2V2 +b3V3 + b4V4

3. Построить корреляционную матрицу

t V1 V2 V3 V4 Z

t 1

V1 0,995 1

V2 0,879 0,882 1

V3 0,926 0,932 0,968 1

V4 0,983 0,973 0,898 0,938 1

Z 0,924 0,912 0,661 0,774 0,877 1