3.4. Оценка параметров уравнения линейной множественной регрессии

Рассмотрим уравнение линейной множественной регрессии

. (3.6)

Для оценки параметров уравнения множественной регрессии обычно применяется метод наименьших квадратов (МНК), согласно которому следует выбирать такие значения параметров а и b_i, при которых сумма квадратов отклонений фактических значений результативного признака y_i от теоретических значений ŷ = f (x_1i,x_2i,...,x_pi) (при тех же значениях факторов x_ij) минимальна, т. е.

.

С учетом (3.6) величина S является функцией неизвестных параметров а и b_i

. (3.7)

Оптимальные значения параметров а и b_i удовлетворяют условиям

(3.8)

Выполняя соответствующие вычисления, получим для определения параметров а и b_i следующую систему уравнений

(3.9)

откуда после некоторых преобразований получается система нормальных уравнений метода наименьших квадратов

(3.10)

Решение системы (3.10) удобно записать с помощью матричных обозначений. Обозначим

, (3.11)

где B  матрица-столбец (p+1×1) из коэффициентов а и b_i;

Y  матрица-столбец (n×1) исходных значений зависимой переменной y;

X  матрица (p+1×n) исходных значений независимых переменных x_i, в которой первый столбец из единиц можно рассматривать как значения «фиктивной» переменной, соответствующей коэффициенту а.

В этих обозначениях система (3.10) примет вид

, (3.12)

где X'  транспонированная матрица X. Матрица является неособенной квадратной размерности (p+1×p+1) при условии, что столбцы матрицы X линейно независимы.

Решение системы (3.12) определяется соотношением

. (3.13)

Независимые переменные x_i имеют различный экономический смысл, разные единицы измерения и масштаб. Если нужно определить степень относительного влияния отдельных факторов x_i на изменение результативной переменной y, то переменные x_i следует привести к сопоставимому виду. Это можно осуществить, вводя, так называемые, «стандартизованные» переменные с помощью соотношений

, , (i = 1, 2, …, p) (3.14)

где  средние значения,  средние квадратические отклонения переменных y и x_i.

Стандартизованные переменные обладают следующими свойствами: 1) средние значения равны нулю ; 2) средние квадратические отклонения равны единице .

Уравнения множественной регрессии в стандартизованных переменных принимает вид

. (3.15)

Величины β_i называются стандарти­зованными коэффициентами. Их связь коэффициентами множественной регрессии b_i определяется соотношениями

или (i = 1, 2, …, p). (3.16)

Параметр а уравнения (3.6) можно определить из соотношения

(3.17)

Стандартизованные коэффициенты регрессии β_i показывают, на сколько сигм (средних квадратических отклонений) изменится в среднем результативный признак y за счет изменения соот­ветствующего фактора на одну сигму при неизмененном значении других факторов, закрепленных на среднем уровне.

Система нормальных уравнений МНК (3.10) в стандартизованных переменных принимает вид:

(3.18)

Стандартизо­ванные коэффициенты регрессии β_i сравнимы между собой, что позволяет ранжировать факторы по си­ле их воздействия на результат. Большее относительное влияние на изменение результативной переменной y оказывает тот фактор, которому соответствует большее по модулю значение коэффициента β_i.

Отметим, что в случае парной линейной регрессии стандартизованный коэффициент рег­рессии β совпадает с линейным коэффициентом корреляции r_yx.

Для оценки параметров нелинейных уравнений множественной регрессии предварительно осуществляется преобразование последних в линейную форму (с помощью замены переменных) и МНК применяется для нахождения параметров линейного уравнения множественной регрессии в преобразованных переменных.

В случае внутренне нелинейных зависимостей (которые невозможно привести к линейному виду) для оценки параметров по методу наименьших квадратов приходится применять методы нелинейной оптимизации (п. 2.4).