Раздел 1. Модель линейной регрессии.

В общем виде модель линейной регрессии записывается в виде

(1)

Здесь

y_i – наблюдаемые значения зависимой/эндогенной переменной, i=1,…,n

x_iJ – наблюдаемое значение j-го регрессора/фактора/экзогенной переменной , j=1,…,k

β_j - неизвестные параметры модели

ε_j - ненаблюдаемые остатки

Соотношение (1) предполагается справедливым для всех возможных наблюдений, но мы наблюдаем только выборку из n наблюдений.

Y – n-мерный вектор, X –матрица размерности nxk (по строкам – значения каждого из факторов в i-м наблюдении, по столбцам – значения j-го фактора в каждом из наблюдений).

Предпосылки регрессионной модели с нестохастическими регрессорами

(А.1) Модель линейна по параметрам и правильно специфицирована

Примеры линейных по параметрам моделей:

y=α+βx+ε

ln(y)= α+βln(x)+ε

y=α+β/x+ε

(А.2) Матрица X –матрица размерности nxk имеет ранг k < n (отсутствие совершенной мультиколлинеарности)

Математически это означает, что для X^TX имеется обратная матрица

Для простой (парной) регрессии это условие означает, что объясняющая переменная в выборке имеет ненулевую вариацию

Ловушка фиктивных переменных

(A.3) E(ε) = 0 – математическое ожидание регрессионного остатка равно нулю и в среднем линия регрессии должна быть истинной

(A.4) E(εε^T)=σ²I – регрессионные остатки гомоскедастичны и нет автокорреляции

Т.е. ковариационная матрица пропорциональна единичной матрице, а значит Var(ε_i)=Const и

Предпосылки регрессионной модели с стохастическими регрессорами

Предположение (A.3) принимает вид E(ε|X) = 0  независимость распределения регрессионных остатков и факторов (факторы и остатки некоррелируют )

Метод наименьших квадратов (МНК, OLS)

Оценка уравнения записывается в виде

Остаток в i-м наблюдении

• Требование: сумма квадратов остатков àmin



Свойства МНК – оценки

Согласно предположениям (A.1) –(A.4) МНК – оценка b для вектора неизвестных параметров β является BLUE:

Наилучшей (best)

Линейной (linear )

Несмещенной (unbiased)

Проверка статистических гипотез

Согласно предположениям (A.1) – (A.4) и дополнительному предположению о нормальности регрессионных остатков (A.5) МНК – оценка b имеет нормальное распределение.

(A.5)

В этом случае корректно применение статистики Стьюдента для проверки гипотез о значениях коэффициентов и Фишера о значимости уравнения и совокупности ограничений.

Асимптотические свойства МНК-оценок

1. Состоятельность

2. Асимптотическая нормальность

Читать.М.Вербик «Путеводитель по современной эконометрике». Гл.2

Раздел 2. Спецификация модели множественной регрессии

Значимость параметров проверяется с помощью статистических методов проверки гипотез.

Выдвигается основная гипотеза (Н₀) о незначительном отличии от нуля «истинного» параметра регрессии. Конкурирующая гипотеза (Н₁) обратная, т.е. о неравенстве нулю «истинного» параметра регрессии. Для опровержения основной гипотезы используется t-статистика Стьюдента.

Если фактическое значение t-статистики, взятое по модулю, больше критического на уровне значимости γ, то основную гипотезу отвергают и считают, что с вероятностью (1 - γ) параметр регрессии в генеральной совокупности значимо отличается от нуля

Если это условие выполняется, то нулевую гипотезу отвергают, т.е. коэффициент уравнения регрессии значим. В левой части неравенства рассчитывается фактическое (наблюдаемое) значение t-статистики.

Критическое значение t-статистики определяется в зависимости от уровня значимости γ (вероятности реализации основной гипотезы) и числа степеней свободы (n – k), где n – число наблюдений, k - число оцениваемых параметров в уравнении регрессии, по таблицам распределения Стьюдента.

Специализированные программы для проведения эконометрических исследований (в том числе Eviews) указывают величину P-значения (p-value, Prob.) - вероятность того, что случайная величина, имеющая распределение Стьюдента с n - k степенями свободы, примет значение, не меньшее по абсолютной величине, чем фактическое значение t-статистики.

В отношении полученного при анализе Р-значения возможны следующие варианты.

Если указываемое P-значение меньше выбранного уровня значимости γ, то это равносильно тому, что значение t-статистики попало в область отвержения гипотезы , т. е. коэффициент статистически значим. В этом случае гипотеза отвергается.

Если указываемое P-значение больше выбранного уровня значимости γ, то это равносильно тому, что значение t-статистики не попало в область отвержения гипотезы. В этом случае гипотеза не отвергается, коэффициент статистически незначим.

Если (в пределах округления) указываемое P-значение равно выбранному уровню значимости γ, то в отношении гипотезы можно принять любое из двух возможных решений.

Для статистического оценивания коэффициента корреляции проверяют нулевую гипотезу H₀: ρ_x,y=0, где ρ_x,y – коэффициент корреляции в генеральной совокупности

Если это условие выполняется, то нулевую гипотезу отвергают, т.е. коэффициент корреляции r_x,y значим. Границу значимости (t_кр) устанавливают по критерию Стьюдента.

Для проверки значимости полученного уравнения регрессии используют критерий Фишера

.

F_кр находится по справочным таблицам распределения Фишера при k-1 числе степеней свободы для факторной дисперсии и n-k для остаточной дисперсии.

F-статистика Фишера позволяет проверить гипотезу, что все параметры линейной регрессии в генеральной совокупности = 0.

Если F _стат >= F _кр, ,то нулевая гипотеза отвергается. Уравнение регрессии адекватно описывает статистические данные.

Прикладные пакеты рассчитывают соответствующее P-значение для проверки гипотезы о значимости уравнения в целом.

Для тестирования линейного ограничения на коэффициенты регрессии в случае ограничения более чем на один коэффициент использую обобщение t-критерия на многомерный случай. Самая общая линейная нулевая гипотеза является комбинацией предыдущих случаев и включает множество J линейных ограничений на коэффициенты. Для проверки нулевой гипотезы в этом случае используют тест Вальда. Тестовая статистика имеет Хи-квадрат распределение. Альтернативой является построение статистики, имеющей F-распределение.

При построении уравнений регрессии может возникнуть необходимость включить в модель качественные признаки. В этом случае в модели используются фиктивные переменные, которым обычно присваиваются бинарные значения: 0 и 1.

На качестве модели отрицательно сказывается как отсутствие значимой переменной (фактора), так и наличие избыточной незначимой переменной. Для выбора модели оптимальной сложности используются критерии Акайке(AIC) и Шварца (SIC).

Модели с более низкими значениями AIC и SIC, как правило, более предпочтительны.

Для сравнения двух невложенных моделей, можно использовать R², AIC, SIC. Альтернативным и более формальным критерием является тест Девидсона и МакКиннона (Davidson, MacKinnon, 1993).

При наличии двух альтернативных невложенных моделей другим важным частным случаем является выбор функциональной формы, например, между линейной и логарифмической. В этом случае нельзя использовать R², AIC, SIC. Один из способов тестирование – преобразование Бокса-Кокса и их сравнение против более общей альтернативы. Тестирование функциональной формы можно проводить и с помощью вспомогательных регрессий PE-тест. (MacKinnon, White, Davidson)

Нелинейная множественная регрессия (линеаризуемая модель) –пример.

• Двухфакторная степенная модель производственной функции Кобба-Дугласа

• Спецификация экономико-математической модели

Y_t – уровень выпуска продукции за период времени t,

K_t - уровень основного капитала, который использован в периоде t для выпуска продукции Y_t

L_t - уровень живого труда, который использован в периоде t для выпуска продукции Y_t

• Каждый из факторов производства необходим: если К=0, то и L=0 (линейная спецификация не подходит)

• Уровень выпуска возрастает с ростом каждого фактора (параметры положительны)

• Если один из факторов фиксирован, а другой возрастает, то каждая дополнительная (предельная) единица возрастающего фактора менее полезна ( в смысле прироста выпуска продукции), чем предыдущая единица (закон Госсена об убывании предельной полезности факторов) (степенная модель)

• Имеет место постоянство отдачи от масштаба, т.е. при увеличении каждого из факторов производства в m раз выпуск тоже возрастает в m раз (параметры степенной функции связаны)

Линеаризация:

Линеаризация производственной функции (эконометрическая модель)

Читать.М.Вербик «Путеводитель по современной эконометрике». Гл.3