5.3. Построение множественной линейной регрессии в ms excel

Построение множественной линейной регрессии в MS EXCEL выполняется так же, как и в случае парной регрессии двумя способами: с помощью функции ЛИНЕЙН и через Сервис, Анализ данных, Регрессия.

В первом случае мы выделяли на определённом шаге 5 строк и 2 столбца для того, чтобы поместить туда выходные параметры (массивы) регрессии. Если для множественной регрессии количество факторов равно m, то нужно соответственно выделять для выходных значений 5 строк и (m+1) столбцов. Заметим, что в первой строке вычисленные коэффициенты регрессии стоят в следующей очерёдности: b_k, b_k-1, …, b₂, b₁, b₀.

Для второго способа через Сервис, Анализ данных, Регрессия всё делается так же, как в случае парной регрессии. Только в качестве входного интервала X, нужно выделить весь массив данных соответствующих факторам X₁, X₂, …, X_k.

5.4. Матричное представление метода наименьших квадратов при оценке параметров

Обозначим i-е наблюдение зависимой переменной как y_i, а объясняющих переменных через x_1i, x_2i, ..., х_pi. Тогда модель множественной линейной регрессии можно представить в виде:

y_i = ₀ + ₁x_1i + ₂x_2i +…+ _px_pi+ _i, (5.4)

где i = 1,2,..., n;

_i удовлетворяет приведенным ниже предпосылкам 1-5 пункта 5.2.

Модель (5.4), в которой зависимая переменная y_i, возмущения _i и объясняющие переменные x_i1, x_i2, ..., х_ip удовлетворяют приведенным ниже (пункт 5.2) предпосылкам 1-5 регрессионного анализа и, кроме того, предпосылке 6 о невырожденности матрицы (независимости столбцов) значений объясняющих переменных (см. далее), называется классической нормальной линейной моделью множественной регрессии (Classic Normal Linear Multiple Regression model).

Включение в регрессионную модель новых объясняющих переменных усложняет получаемые формулы и вычисления. Это приводит к целесообразности использования матричных обозначений. Матричное описание регрессии облегчает как теоретические концепции анализа, так и необходимые расчетные процедуры.

Введем обозначения:

Y=(y₁, y₂,…,y_n)' — матрица-столбец, или вектор, значений зависимой переменной размера n (знаком «'» обозначается операция транспонирования матриц);

— матрица значений объясняющих переменных, или матрица плана размера nх(p+1) (обращаем внимание на то, что в матрицу X дополнительно введен столбец, все элементы которого равны 1, т.е. условно полагается, что в модели (5.4) свободный член ₀ умножается на фиктивную переменную х_i0, принимающую значение 1 для всех i: х_i0 = 1, (i = 1,2,..., n);

 = (₁, ₂,…,_n)' — матрица-столбец, или вектор параметров размера (р+1);

 = (₁, ₂,... _n)' — матрица-столбец, или вектор возмущений (случайных ошибок, остатков) размера n.

Тогда в матричной форме модель регрессии по генеральной совокупности (5.4) примет вид:

Y= X+. (5.5)

Оценкой (приближением) этой модели по выборке является уравнение

Y=Xb+e, (5.5')

где b = (b₀, b₁,...,b_p), е = (е₁, е₂,...,. е_n)'.

Для оценки вектора неизвестных параметров  применим метод наименьших квадратов. Так как произведение транспонированного вектора е' на сам вектор е равно

,

то условие минимизации остаточной суммы квадратов запишется в виде:

(5.6)

Учитывая, что при транспонировании произведения матриц получается произведение транспонированных матриц, взятых в обратном порядке, т.е. (Xb)'=b'X' после раскрытия скобок получим:

.

Произведение Y'Xb есть матрица размера (1хn)[nх(p+1)]х [(p+l)xl]=(lxl), т.е. величина скалярная, следовательно, оно не меняется при транспонировании, т.е. Y'Xb = (Y'Xb)' = b'X'Y. Поэтому условие минимизации (5.6) примет вид:

. (5.7)

На основании необходимого условия экстремума функции нескольких переменных S(b₀, b₁,..., b_p), представляющей (5.6), необходимо приравнять нулю частные производные по этим переменным или в матричной форме — вектор частных производных

.

Для вектора частных производных в курсе высшей математики доказаны следующие формулы :

,

где b и с — вектор-столбцы; А — симметрическая матрица, в которой элементы, расположенные симметрично относительно главной диагонали, равны.

Справедливость приведенных формул проиллюстрируем на примере.

Пример 1. Пусть

.

Так как

.

,

то

,

и

.

Поэтому, полагая с = X'Y, а матрицу А = X'∙X (она является симметрической), найдем

,

откуда получаем систему нормальных уравнений в матричной форме для определения вектора b:

. (5.8)

Найдем матрицы, входящие в это уравнение. (Здесь под знаком  подразумевается ). Матрица А = Х'Х представляет матрицу сумм первых степеней, квадратов и попарных произведенийn наблюдений объясняющих переменных:

. (5.9)

Матрица X'Y есть вектор произведений n наблюдений объясняющих и зависимой переменных:

.(5.10)

В частном случае из рассматриваемого матричного уравнения (5.8) с учетом (5.9) и (5.10) для одной объясняющей переменной (р = 1) нетрудно получить уже рассмотренную в теме 3 систему нормальных уравнений. Действительно, в этом случае матричное уравнение (5.8) принимает вид:

,

откуда непосредственно следует система нормальных уравнений для парной линейной регрессии.