18. Система нормальных уравнений и явный вид ее решения при оценивании методом наименьших квадратов линейной модели множественной регрессии

Основная спецификация математической модели: Yt = a₀ +a₁X_1t +...+a_kX_kt +ἐ_t

X_1t... X_kt - экзогенная независимая переменная, Yt - эндогенная зависимая переменная, a_0... a_k - неизвестные коэффициенты регрессии, подлежащие оценки, ἐ_t - последовательность случайных величин, удовлетворяющие условиям теоремы Гаусса-Маркова. _, ; ; ;

Y^= XA=*;

В соответствии с МНК найдем minESS: min(поА) (Y-XA)^T(Y-XA)=min(Y^TY-2A^TX^TY+A^TX^TXA), = -2X^TY+2X^TXA=0. Откуда получим систему нормальных уравнений: X^TXA= X^TY, то A = (X*X^T)^-1X^TY

19. Модель парной регрессии. Границы доверительных интервалов

Наша задача – подобрать функцию так, чтобы она проходила на наименьшем расстоянии от всех точек сразу. Для этого необходимо минимизировать выражение Необходимые условия экстремума: Возьмем соответствующие производные и приравняем их к нулю: ;.

Раскроем скобки и получим стандартную форму нормальных уравнений:

Решая систему уравнений относительно получаем их оценки:

Из последнего уравнения получаем: . Это равенство указывает на то, что уравнение регрессии проходит через точку . Обозначим. Подберем линейную функцию минимизирующую функционал . Это будет та же прямая, только в новых координатах, центр которых переместится в точку . Так как и .

Регрессионное уравнение имеет вид , где Xt – случайная величина, не коррелированная с ε. εt – случайная величина. Yt – объясняемая (зависимая) переменная, Xt – объясняющая (независимая) переменная. Поскольку Yt является суммой случайной переменной Xt и случайной переменной ε t , то она сама является случайной величиной. Основные гипотезы относительно модели:

1. - спецификация модели

2. Xt – случайная величина, не коррелированная с ε.

3. М(ε)=0

4. М(ε2)=σ2 = const - не зависит от t

5. M(εt, εs ) = 0 при t ≠ s – некоррелированность значений случайной составляющей в различные моменты времени

Условия 3, 4, 5 называются условиями Гаусса-Маркова

Прогноз будущего (или пропущенного) значения эндогенной переменной определяется по уравнению регрессии. Найдем доверительный интервал, который с доверительной вероятностью Р = 1 – α будет накрывать значение зависимой переменной Y^{^}:.

Доверительный интервал определяется разбросом случайной компоненты относительно уравнения регрессии. Причин этого разброса две:

• Оценки коэффициентов регрессии являются величинами случайными и они сами по себе создают разброс относительно истинного уравнения регрессии.

• Случайная составляющая ε_t

Ошибка предсказания равна

; ;

Тогда границы интервала будут задаваться так: (Y^ - tα*S∆p; Y^ + tα*S∆p), где tα - статистика Стьюдента.

20. Гетероскедастичность случайной компоненты. Тесты на наличие гетероскедастичности

Одно из требований теоремы Гаусса-Маркова - дисперсия случайной компоненты

D() = = const,

т.е. предположение о постоянстве дисперсии случайной составляющей для всех наблюдений. Если это условие соблюдается, процесс e_t называется гомоскедастичным. Если это не так, то процесс называется гетероскедастичным. Для обнаружения гетероскедастичности используется метод Голдфельда-Квадта. При проведении проверки по этому тесту предполагается сначала, что стандартное отклонение σ является случайной составляющей пропорционально значению одной из независимых переменных: X_1t или Х_2t .

Для того, чтобы осуществить проверку на гомоскедастичность, необходимо для начала сортировать имеющиеся данные по возрастанию одной из переменных X_1t или Х_2t. Важное условие такой сортировки – неразрывность троек (X_1t,X_2t,Y_t), они могут перемещаться только вместе. В результате получаем новую таблицу, в верхней части которой сосредоточены меньшие значения Х_1t, а в нижней – большие.

Далее делим получившийся массив данных на две (по возможности) равные части. Для каждой из частей определяем регрессию с помощью функции ЛИНЕЙН и выделяем значения ESS1 и ESS2.

Следующий шаг – вычисление статистик (статистика Голдфельда-Квадта) и 1/GQ=ESS2/ESS1.

Статистика GQ является случайной величиной, распределенной по закону Фишера со степенями свободы числителя и степенями свободы знаменателя , где М – количество пар чисел в первой, а L – количество пар чисел во второй части выборки.

Далее находим значение F-статистики Фишера, используя уровень значимости α (обычно равен 0,05), а также количество степеней свободы первой и второй части списка; проверяем условия

Если оба этих условия выполняются, то гипотеза о равенстве дисперсий в обеих половинах выборки принимается с вероятностью p=1-α. Если хотя бы одно из неравенств не выполняется, то гипотеза отвергается с той же вероятностью.