29. Линейная модель множественной регрессии

Линейная модель множественной регрессии – это метод характеристики аналитической формы связи между результативной (зависимой) переменной и несколькими факторными (независимыми) переменными. Построение модели множественной регрессии целесообразно в том случае, если с помощью коэффициента множественной корреляции было доказано наличие линейной связи между исследуемыми переменными.

При построении линейной модели множественной регрессии учитываются следующие условия :

1) величины х1i … xki являются неслучайными и независимыми переменными;

2) математическое ожидание случайной ошибки регрессионной модели Е( εi ) равно нулю во всех / наблюдениях, т. е. Е(εi) = 0 при i = 1,n;

3) дисперсия случайной ошибки регрессионной модели D(e) постоянна для всех наблюдений,т. е. D(εi) = Е(εi) = G2 = const;

4) случайные ошибки регрессионной модели не коррелированы между собой, т. е. ковариация случайных ошибок любых двух разных наблюдений равна нулю: Cov(εiεj) = E(εiεj) = 0, где i ≠ j.

Ковариацией называется показатель тесноты связи между переменными:

где ху – среднее арифметическое значение произведения факторной и результативной переменных:

х – среднее арифметическое факторной переменной;

у – среднее арифметическое результативной переменной.

Четвертое условие выполняется в том случае, если изучаемые данные не являются временными рядами;

5) исходя из третьего и четвертого условий, можно добавить пятое условие о том, что случайная ошибка регрессионной модели является случайной величиной, подчиняющейся нормальному закону распределения с нулевым математическим ожиданием и дисперсией G2: εi~N(0, G2). На основании перечисленных условий линейная модель множественной регрессии записывается следующим образом:

y i= β0+ β1 x 1k+… + βn x ik+ εi,

где уi – значение /‑ой результативной переменной, i = 1,n; х 1i …х ki ,– значения факторных переменных, i = 1,n;

β0… βn – неизвестные параметры регрессионной модели;

εi – случайные ошибки модели множественной регрессии.

Добавление в модель множественной регрессии такого компонента, как вектор случайных ошибок, необходимо в связи с практической невозможностью оценить связь между переменными с абсолютной точностью.

Линейная модель множественной регрессии также может быть записана в матричном виде:

Y = βX + ε,

где

 – вектор значений результативной переменной размерности п×1

30. Классический метод наименьших квадратов для модели множественной регрессии

Неизвестные параметры в0… вn линейной модели множественной регрессии определяются с помощью классического метода наименьших квадратов, или МНК.

Общий вид линейной модели множественной регрессии:

y i= β0+ β1 x 1k+… + βn x ik+ εi,

где уi – значение /‑ой результативной переменной, i = 1,n; х 1i …х ki ,– значения факторных переменных, i = 1,n;

β0… βn – неизвестные параметры регрессионной модели;

εi – случайные ошибки модели множественной регрессии.

В соответствии с методом наименьших квадратов в качестве метода оценки неизвестных параметров регрессионной модели будет выступать сумма квадратов отклонений наблюдаемых значений результативного признака у от теоретических значений у (рассчитанных с помощью регрессионной модели):

Для нахождения оптимальных значений неизвестных параметров β0… βn необходимо минимизировать функционал F по данным параметрам, т. е. необходимо рассчитать такой вектор оценки параметра β, который бы доставлял минимум функции, т. е. минимизировал бы сумму квадратов отклонений наблюдаемых значений результативной переменной у от теоретических значений y (значений, рассчитанных с помощью регрессионной модели).

Матричная форма функционала F метода наименьших квадратов:

где Y – вектор значений результативной переменной;

X – вектор значений факторной переменной.

Для определения минимума функционала (1) необходимо вычислить частные производные этой функции по каждому из оцениваемых параметров и приравнять их к нулю.

Общий вид стационарной системы уравнений для функции (1):

В результате решения системы нормальных уравнений получим следующие МНК‑оценки неизвестных параметров регрессионной модели:

Предположим, что в ходе исследований была доказана линейная зависимость между результативной и двумя факторными переменными, выражающаяся равенством вида:

где i= 1,n.