Ковариационная матрица

Симметричная диагональная матрица, на диагонали у которой стоят дисперсии; _{- выборки объема Т.}

Также можно построить корреляционную матрицу, на диагонали которой 1 – диагональная симметричная матрица, у которой остальные элементы – это соответствующие коэффициенты корреляции, характеризующие силу связи и изменяющиеся от [-1;1]

Замечание: Таким образом, используя корреляционную матрицу для построения регрессии, мы выбираем тот Х, коррелированность с Y которого по модулю наибольшая, т.е. мы выбираем тот параметр Х для получения наилучших результатов, сила связи которого с Y наибольшая, т.е. коэффициент по модулю наибольший.

Дисперсионный анализ

Попробуем разложить дисперсию изменчивости явления на две составляющие – объясненную регрессией и необъясненную.

_{I II III}

ESS – дисперсия, необъясненная уравнением, та, которая осталась неизвестной в остатке.

RSS – та часть дисперсии, которая объяснена регрессионным уравнением.

На основании этого вводится – коэффициент детерминации, характеризующий долю объясненной дисперсии с помощью данного регрессионного уравнения в общей дисперсии.

Этот коэффициент используется для выбора наилучшей модели из множества построенных.

Если , то мы ничего не объяснили с помощью построенной регрессии

Если , то мы учли всю изменчивость признака.

Из двух моделей выбирается та, у которой:

1. все коэффициенты значимы

2. максимально простая (т.е. как можно меньше параметров)

3. как можно больше

4. экономическая интерпретируемость коэффициентов (объясняемость)

5. как можно более точный прогноз (при работе с выборкой отсекаются 5-10 значений, на которые и строится прогноз)

Модель множественной регрессии

Обобщением двумерной или парной линейной регрессии служит многомерная линейная регрессия

_{-уравнение многомерной линейной регрессии,}

_где

Основные гипотезы:

1)

спецификация модели - вид, линейный по параметрам

2. - не зависит от t

3. _{- независимые параметры; y – зависимый}

4. 

Запишем это уравнение в матричной форме

Построить такое уравнение регрессии означает найти оценку параметра, т.е. оценку вектора а.

По теореме Маркова-Гаусса если выполняются основные гипотезы 1,2,3,4, то можно применить метод наименьших квадратов, с помощью которого получится следующее уравнение:

_{, где - икс транспонированный}

Т.к. мы находим оценки коэффициентов, а не их истинное значение, то нам хотелось бы оценить точность оценивания.

Она связана с вариацией оценки, т.е. с дисперсией: чем больше дисперсия, тем меньше точность и больше вариация. Тогда:

_(**)

Используя правила перемножения матриц, получаем:

Замечание: из формулы (**) видно, что чем больше параметров, тем больше дисперсия. Поэтому мы выбираем максимально простую модель.

Оценивание качества многомерной линейной регрессии осуществляется так же, как и двумерной, но следует помнить, что растет с увеличением параметров, поэтому с помощью можно сравнивать только модели с одинаковым количеством зависимых параметров.