2. Уравнение линейной регрессии

Это означает построение уравнения

y = b₀ + b₁x₁ + b₂x₂ + ... + b_mx_m, (2)

которое называется уравнением линейной регрессии. При подстановке в это уравнение значений факторных переменных i-го наблюдения получим величину

y_i = b₀ + b₁x_i1 + b₂x_i2 +... + b_mx_im, (3)

которая не будет совпадать с наблюдаемым значением y_i. Разность между наблюдаемым значением y_i и значением, рассчитанным по уравнению регрессии, называется остатком в наблюдении i и обозначается e_i:

e_i=y_i – . (4)

Используя соотношение (4), наблюдаемые значения y_i можно представить как

y_i = + e_i = b₀ + b₁x_i1 + b₂x_i2 + ... + b_mx_m + e_i. (5)

При построении нормальной линейной модели множественной регрессии учитываются пять условий:

1) факторные переменные x_1i…x_mi  – неслучайные или детерминированные величины, которые не зависят от распределения случайной ошибки модели регрессии b_i;

2) математическое ожидание случайной ошибки модели регрессии равно нулю во всех наблюдениях: , ;

3) дисперсия случайной ошибки модели регрессии постоянна для всех наблюдений: ;

4) между значениями случайных ошибок модели регрессии в любых двух наблюдениях отсутствует систематическая взаимосвязь, т.е. случайные ошибки модели регрессии не коррелированны между собой (ковариация случайных ошибок любых двух разных наблюдений равна нулю):

, (i ≠ j);

5) на основании третьего и четвёртого условий часто добавляется пятое условие, заключающееся в том, что случайная ошибка модели регрессии – это случайная величина, подчиняющейся нормальному закону распределения с нулевым математическим ожиданием и дисперсией.

3. Матричный вид уравнения линейной регрессии

Представим выборочные данные в виде матрицы-столбца Y значений зависимой переменной и матрицы X значений объясняющих переменных, коэффициенты уравнения регрессии – в виде матрицы-столбца B, а остатки наблюдений – в виде матрицы-столбца E:

, , ,

Используя введенные обозначения, соотношение (5) можно записать в матричном виде:

Y = XB + E. (6)

Для определения коэффициентов регрессии b₀, b₁, ..., b_m используется метод наименьших квадратов (МНК).

Условия построения нормальной линейной модели множественной регрессии, записанные в матричной форме:

1) факторные переменные x_1j…x_mj – неслучайные или детерминированные величины, которые не зависят от распределения случайной ошибки модели регрессии e_i;

2) математическое ожидание случайной ошибки модели регрессии равно нулю во всех наблюдениях: , ;

3) предположения о том, что дисперсия случайной ошибки модели регрессии является постоянной для всех наблюдений и ковариация случайных ошибок любых двух разных наблюдений равна нулю, записываются с помощью ковариационной матрицы случайных ошибок нормальной линейной модели множественной регрессии:

,

где G² – дисперсия случайной ошибки модели регрессии е;

In – единичная матрица размерности (n*n).

4) случайная ошибка модели регрессии ε является независимой и независящей от матрицы Х случайной величиной, подчиняющейся многомерному нормальному закону распределения с нулевым математическим ожиданием и дисперсией G²: е→N(0;G²In).

В нормальную линейную модель множественной регрессии должны входить факторные переменные, удовлетворяющие следующим условиям:

1) данные переменные должны быть количественно измеримыми;

2) каждая факторная переменная должна достаточно тесно коррелировать с результативной переменной;

3) факторные переменные не должны сильно коррелировать друг с другом или находиться в строгой функциональной зависимости.