Глоссарий

1. Уравнение Y _t =  ₀ +  ₁ X _t +  _t , t = 1,….,n,

где

X _t -неслучайная (детерминированная) величина, Y _t ,  ₀ и  ₁ – неизвестные параметры,  _t -случайные величины, называется линейным регрессионным уравнением.

Y _t называется объясняемой ( зависимой) переменной, а X _t -объясняющей (независимой) переменной или регрессором

2. Основные гипотезы:

1. Y _t =  ₀ +  ₁ X _t +  _t , t = 1,….,n, - спецификация модели.

2. X _t - детерминированная величина;

3.  _i - случайная величина, удовлетворяющая следующим предпосылкам

3а). E _t = 0, ( ЕY _t = ₀ +  ₁ X _t ), E ( _t²) = V( _t) =  ² , (V(Y _t ) =  ²) - не зависит от t.

3б). E( _t  _s) = 0 (Cov (Y _t , Y _s)=0), t  s - некоррелированность ошибок для разных наблюдений.

Часто добавляется условие:

3в).  _t  N( 0,  ²), т.е.  _t - нормально распределенная случайная величина со средним 0 и дисперсией  ² .

Условие независимости дисперсии ошибки от номера наблюдений E ( _t²) =  ², t = 1,….,n , называется гомоскедастичностью ( а); случай, когда условие гомоскедастичности не выполняется , называется гетероскедастичностью (б).

Теорема Гаусса - Маркова.

Для модели 1 -3ab:

оценки b ₀, b ₁ параметров регрессии, полученные по методу наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещенных оценок  ² .

3. Коэффициентом детерминации R ² или долей объясненной дисперсии называется

R ² = 1 - =.

Q - вся дисперсия , Q _e - остаточная дисперсия, Q _R - объясненная часть всей дисперсии.

4.Классическая нормальная линейная модель множественной регрессии.

Модель множественной регрессии:

y _i =  ₀ +  ₁ x _i1 +  ₂ x _i3 +  _p x _{i p} +  _i i = 1,2, … n;

где х _tp - значения регрессора х _p в наблюдении t.

Основные гипотезы, лежащие в основе модели множественной регрессии, являются естественным обобщением модели парной регрессии:

1. y _i =  ₀ +  ₁ x _i1 +  ₂ x _i3 +  _p x _{i p} +  _i i = 1,2, … n;

- спецификация модели.

2. x _{i 1}, x _{i 2},…. x _{i p} -детерминированные величины. Векторы х _s = (x _1s, …. x _{n s})', s = 1,….p линейно независимы в R ⁿ.

3.  _i - случайная величина, удовлетворяющая следующим предпосылкам:

3a) Е( _i ) = 0; D ( _i ) =  ² для любого i ;

3б)  _i и  _j не коррелированы: Е( _i,  _j) = 0 при i  j ; выводится из условия некоррелированности Cov ( _i ,  _j) = 0; (Cov ( _i ,  _j) = Е[( _i - 0) (( _j - 0)]) = Е( _i,  _j) = 0).

Часто добавляется условие:

3в).  _t ~ N(0,  ²), т.е.  _t - нормально распределенная случайная величина со средним 0 и дисперсией  ².

В этом случае модель называется нормальной линейной регрессионной.

Все эти условия удобно записать в матричной форме:

У = Х   +  или

у _i =  ₀ + +  _i , i = 1,2,….n.

где У = (у ₁,…у _n) ' - вектор значений зависимой переменной ;

- матрица значений объясняющих переменных, в которую дополнительно введен столбец, все элементы которого равны 1, т.е. условно полагается, что модели (МР1) свободный член  ₀ умножается на фиктивную переменную х _{i 0}, принимающую значение 1 для всех i :

х _{i 0} =1 (i = 1,2,….n);

 = ( ₀ ,  ₁ , ……  _p)' - вектор параметров размера (р + 1);  = ( ₁, ₂,….  _n) - вектор возмущений (случайных ошибок) размера n.

Теорема Гаусса - Маркова.

Предположим, что:

1. у = Х  +  ;

2. Х - детерминированная n  (p+1) матрица, имеет максимальный ранг (p+1) ;

3. Е( ) = 0; Е(  ') =  ² 1 _n.

4.  - нормально распределенный случайный вектор  ~ N(0,  ²1 _n);

5. r (X) = p + 1 < n

Тогда при выполнении предпосылок (1-3, 5) оценка МНК b = (X ' X) ^{- 1} X ' y является наиболее эффективной ( в смысле наименьшей дисперсии) оценкой в классе линейных (по у ) несмещенных оценок.

5. Ковариационная матрица и ее выборочная оценка.

Вариации оценок параметров будут определять точность уравнения множественной регрессии. Для их вычисления используют ковариационную матрицу вектора оценок параметров  _b .

 _b = ,

где  _ij ² - ковариации (корреляционные моменты) оценок параметров  _i и  _j .

 _ij ² = Е[ (b _i - Е(b _i))(b _j - Е(b _j))]. (МР7)

Ковариация характеризует как степень рассеяния значений двух переменных относительно их математических ожиданий, так и взаимосвязь этих переменных.

Оценка дисперсии ошибок  ². Распределение s ².

S ² = =

является несмещенной оценкой дисперсии ошибок (возмущений)  ², т.е. Еs ² =  ².

6. Оценка значимости коэффициентов регрессии b _j .

Значимость коэффициентов регрессии b _j можно проверить, если учесть, что статистика (b _j -  _j0 )/ s _{b j} имеет t - распределение Стьюдента с к = n - p - 1 степенями свободы. Поэтому b _j значимо отличается от нуля ( т.е. гипотеза Н ₀ о равенстве параметра b _j нулю Н ₀ :  _j0 = 0, отвергается) на уровне значимости  , если , где t _{1 - ; n - p -1} - табличное значение t - критерия Стьюдента, определенное на уровне значимости  при числе степеней свободы к = n - p - 1.

7. Доверительный интервал для параметра  _j есть

b _j - t _{1 - ; n - p -1} s _{b j}   _j  b _j + t _{1 - ; n - p -1} s _b

8. Доверительный интервал для функции регрессии или для условного математического ожидания зависимой переменной Е _х(У):

- t _{1 - ; k} <Е(Y) < + t _{1 - ; k}

где - групповая средняя, определяемая по уравнению регрессии,

= - ее стандартная ошибка.

9. Доверительный интервал для индивидуальных значений зависимой переменной у *₀ примет вид:

- t _{1 - ; n - p -1} < у *₀ < +t _{1 - ; n - p - 1} ,

где = .

10. Доверительный интервал для параметра  ² в множественной регрессии:

.

11.Оценка значимости уравнения регрессии.

Проверить значимость уравнения регрессии - значит установить, соответствует ли математическая модель, выражающая зависимость между переменными и достаточно ли включенных в уравнение объясняющих переменных для описания зависимой переменной.

При отсутствии линейной зависимости между зависимой переменной и объясняющей переменными несмещенные оценки дисперсий s²_R = Q_R/(m - 1) и s²_e = Q_e/(n - m) имеют  ² -распределение с соответственно к = m - 1 и к = n - m степенями свободы, а их отношение - F -распределение с теми же степенями свободы. Поэтому уравнение регрессии значимо на уровне  , если фактически наблюдаемое значение статистики

F = > F_{; k1;k2} ,

где F_{; k1;k2} - табличное значение F - критерия Фишера - Снедекера, определенное на уровне значимости  при к ₁ = m - 1 и к ₂ = n - m степенях свободы.

Значение F показывает, в какой мере регрессия лучше оценивает значение зависимой переменной по сравнению с ее средней.

12.Оценка значимости коэффициента корреляции при отсутствии корреляционной связи статистика t = имеет распределение Стьюдента с (n - 2) степенями свободы. Коэффициент корреляции r значим на уровне  (т.е. гипотеза Н ₀ о равенстве генерального коэффициента корреляции  = 0 отвергается ), если

 t = > t _{1 - ; n - 2} .

13. Под мультиколлинеарностью понимается высокая взаимная коррелированность объясняющих переменных.

14. Автокорреляции ошибок, если E( _t  _s) =   0,

15.Стандартизированные коэффициенты регрессии b'_j и коэффициенты эластичности Е _j (j = 1,….p):

b'_j = ;

E _j = .

Стандартизированный коэффициент регрессии b'_j показывает, на сколько величин s _y изменится в среднем зависимая переменная У при увеличении только j -ой объясняющей переменной на s _{x j} , а коэффициент эластичности Е _j - на сколько процентов (от средней) изменится в среднем У при увеличении только Х _j на 1 %.

16. Временным рядом (динамическим рядом или рядом динамики) в экономике называется последовательность наблюдений некоторого признака (случайной величины) У в последовательные моменты времени. Отдельные наблюдения называются уровнями ряда, которые обозначаются у _t (t = 1,2,….n), где n - число уровней.

В общем виде при исследовании экономического временного ряда у _t выделяются несколько составляющих:

у _t = u _t +  _t + c _t +  _t t = 1,2,….n,

где u _t - тренд,

 _t - сезонная компонента,

c _t - циклическая компонента,

 _t - случайная компонента,

u _t,  _t , c _t - закономерные, неслучайные составляющие.

17. Стационарные временные ряды.

Временной ряд у _t (t=1,2,…,n) называется строго стационарным, если совместное распределение вероятностей n наблюдений у ₁, у ₂,…..у_n такое же, как и n наблюдений у _{1 + } , у _{2 + } ,…у _{n + } при любых n, t и  , т.е. свойства строго стационарных рядов у _t (закон распределения и его числовые характеристики) не зависят от момента t .

18. Степень тесноты связи между последовательностями наблюдений временного ряда у ₁, у ₂,…у _n и у _{1 + } , у _{2 + } ,….у _{n + } (сдвинутых относительно друг друга на  единиц, т.е. с лагом  ) может быть определена с помощью коэффициента корреляции

так как Е(у _t) = Е(у _{t + }) = a,  _y(t) =  _y(t + ) = .

Так как коэффициент () измеряет корреляцию между членами одного и того же ряда, его называют коэффициентом автокорреляции, а зависимость () - автокорреляционной функцией. В силу стационарности временного ряда у _t автокорреляционная функция () зависит от лага  , причем ( - ) = (), т.е. при () можно ограничиться рассмотрением только положительных значений .

19. Статистической оценкой () является выборочный коэффициент автокорреляции r() , определяемый по формуле

r() = .

Функцию r() называют выборочной автокорреляционной функцией, а ее график - коррелограммой.