Глава III. Множественный регрессионный анализ

3.1. Постановка задачи

Будем постулировать выполнение основной предпосылки эконометрического анализа (1.1) – (1.6).

Пусть имеется выборка пространственного типа, т.е. кортежи наблюдений:

1). Требуется получить уравнение регрессии, для объясненной части M_x(Y) случайной величины Y, т.е. получить параметрическую оценку:

– общем случае нелинейная функция.

2). Требуется также, провести статистический анализ остатков {е_i}, т.е. установить: адекватна ли модель, и оценить ее погрешность.

Замечание 1: Всю теорию регрессионного анализа мы будем излагать для аддитивной формы (структуры) модели которая более наглядно интерпретируется. В случае линейного уравнения регрессии виден отдельный вклад каждого входного фактора:

(3.1)

В частном случае, когда в структуре модели на каждый входной фактор выделена одна базисная функция имеем:

f_a(x_j)ºf_j(x_j); aºj; q=n; f₀º1.

Пример:

=b₀f₀(x₀) + b₁x₁ + b₂lnx₂; f₀(x₀)º1; f₁=x₁¹; f₂ºlnx₂.

Здесь каждый член отражает вклад своего фактора, в общем случае нелинейный.

Замечание 2: Вид координатных функций f_a(x_j) выбирается в соответствии с особенностями моделируемого объекта. Это могут быть функции:

• степенные;

• показательные;

• экспотенциальные;

• логарифмические;

• тригонометрические и др.

Для колебательных процессов, например сезонных колебаний, хорошо подходят гармонические функции. Удобно подбирать вид базисных функций f_a(x_j) с помощью инструмента МS Excel «Мастер диаграмм».

3.2. Метод наименьших квадратов (мнк) в скалярной форме

Используя уравнение регрессии (3.1), запишем функцию цели Ф, характеризующую качество аппроксимации объясненной части Y_e=M_x(Y) уравнением регрессии:

(3.2)

Это задача безусловной оптимизации, т.е требуется найти такие оптимальные значения вектора параметров уравнения регрессии, которые доставляют минимум функции цели Ф.

Замечание 3: Для простоты далее считаем, что в уравнении регрессии каждый входной фактор x_j предоставлен одним членом суммы со своей базисной функцией f_j(x_j), т.е. aºj.

В теории регрессионного анализа показано, что функция Ф непрерывна и строго выпукла по аргументам b_j. Тогда ее минимум обеспечивается условием

(3.3)

Система (3.3) называется системой нормальных уравнений. Если вектор входит в модель линейно, то эта система представляет собой линейные алгебраические уравнения относительно искомых параметров {bj}, j= .

Замечание 4: Под линейным вхождением {bj}, в модель понимается, что сами координаторные функции {f_j(x_j)} могут быть нелинейными, но они не должны содержать ни одного оцениваемого параметра bj.

Пример:

Здесь обе модели нелинейны по независимой переменной х. Однако вторая модель линейна по искомому параметру b₀ , в тоже время как в первой модели параметр b₁ входит в структуру модели нелинейно. Такие модели называются иногда «криволинейными» [11].

Если система нормальных уравнений есть система линейных алгебраических уравнений, то для ее решения можно использовать аппарат линейной алгебры и, соответственно, матричную форму метода наименьших квадратов [5].