3.3. Матричная форма метода наименьших квадратов.

3.3.1.Уравнение наблюдений в матричной форме

Запишем наблюдения в каждой точке i с учетом (3.1):

(3.4)

Введем в рассмотрение матрицу плана наблюдений или матрицу базисных функций (не путать с вектором ).

(3.5)

Тогда при условии линейного вхождения вектора параметров в модель, получим:

(3.6)

Справедливость уравнения (3.6) проверяется переводом уравнения (3.6) в скалярную форму по правилу умножения матрицы X на вектор .

В уравнении наблюдений (3.6)

= (b₀,b₁,….,b_j,….b_n) - n – мерный вектор оцениваемых параметров;

= (e₀,e₁,….,e_j,….e_n); - N – мерный вектор остатков;

= (y₀,y₁,….,y_j,….y_n); - N – мерный вектор наблюдений.

Замечание: Если структура модели нелинейна по , т.е. входит в базисную функцию, то записать уравнение (3.6) невозможно и классический метод наименьших квадратов непримерим.

3.3.2.Нормальные уравнения регрессии и формула для параметров уравнения

Используем известную формулу из матричной алгебры:

(3.7)

Тогда, опуская стрелки с учетом того, что получаем:

(3.8)

(3.9)

Система нормальных уравнений запишется в виде:

(3.10)

где (X^TX) – матрица нормальных уравнений.

Пусть обратная матрица (X^TX)^-1 существует (она называется информационной матрицей Фишера). Тогда получим явную матричную формулу для оценки коэффициентов (параметров) уравнения регрессии:

Если det(X^TX)^-1=0, то матрица нормальных уравнений необратима и вычислить вектор параметров нельзя.

Если det(X^TX)^-1¹0, но очень мал, то обращаемая матрица плохо обусловлена. Возникает вычислительные проблемы обращения матриц большей размерности.

3.4. Предпосылки метода наименьших квадратов

Классический метод наименьших квадратов, лежащий в основе регрессионного анализа, предъявляет довольно жесткие требования к данным и свойствам полученных случайных остатков

Должны выполняться ряд условий (предпосылок) метода наименьших квадратов.

Пусть выполнена основная предпосылка эконометрического анализа, т.е. моделируемую случайную величину Y можно разбить на две части объясненную и случайную:

Перечислим предпосылки классического метода наименьших квадратов.

1). Зависимая переменная Y_i и возмущения E_i – это случайные величины, а вектор объясняющих переменных Х_i – неслучайный (детерминированный).

2). Математическое ожидание возмущений E_i равно 0:

M[E_i]=0

3). Дисперсия возмущений E_i (дисперсия зависимой переменной Y_i) постоянна:

(3.12)

Это условие называется гомоскедастичностью или равноизменчивостью возмущения E_i (зависимой переменной Y_i). На рисунке 3.1. показан случай нарушения свойства гомоскедастичности: , т.е. для разных диапазонов изменения х дисперсия существенно изменяется (зависит от х).

4). Возмущения E_i и E_j (или наблюдение Y_i и Y_j) не корректированы:

M(E_i·E_j)= 0 ; i¹j (3.13)

5). Ранг матрицы планирования опытов X_[Nxn] должен быть не более числа опытов N:

r=k < N,

где k – число членов регрессии. Ранг r равен числу линейно независимых столбцов матрицы X. На практике для получения модели хорошего качества N должно превышать k в несколько раз.

6). Возмущения E_i (или зависимая переменная Y_i) есть нормально распределенная случайная величина

E~N(0;s²E_N). (3.14)

При выполнении всех предпосылок 1…6 модель называется классической нормальной регрессионной моделью.

Замечание 1: Формально уравнение регрессии можно построить и без выполнения предпосылки s о нормальном ЗР? возмущений E_i. Однако при этом модель не имеет практического смысла, поскольку невозможно оценить:

• адекватность;

• доверительные интервалы оценок коэффициентов и Y.

В этих операциях используется НЗР ? (критерий Стьюдента)

Замечание 2: Для получения адекватного, хорошо интерпретируемого (с возможностью раздельной оценки вклада каждого фактора) уравнения регрессии с необходимой точностью требуется выполнение еще одной, седьмой предпосылки.

7). Отсутствие мультиколлинеарности.

Мультиколлениарность – это наличие линейной корреляции объясняющих переменных между собой.

Предпосылки метода наименьших квадратов проверяются как соответствующие статистические гипотезы (см. ниже).