5. Условия Гаусса-Маркова. Классическая линейная регрессионная модель

Регрессионный анализ позволяет определить оценки коэффициентов регрессии. Однако они являются лишь оценками. Поэтому возникает вопрос о том, насколько они надежны, насколько точно эмпирическое уравнение регрессии соответствует уравнению для всей генеральной совокупности, насколько близки оценки b₀ и b₁ коэффициентов регрессии к своим теоретическим прототипам ₀ и ₁, как близко оцененное значение к условному математическому ожиданию . Для ответа на эти вопросы необходимы определенные дополнительные исследования.

Как следует из равенства (5.6), значения y_i зависят от значений x_i и случайных отклонений _i. Следовательно, переменная Y является случайной величиной, напрямую связанной с _i. Можно показать, что оценки коэффициентов регрессии – случайные величины, также зависящие от случайного отклонения.

Рассмотрим модель простой линейной регрессии

. (5.19)

Пусть на основе выборки из n наблюдений оценивается регрессия:

. (5.20)

Будем также полагать, что X – это не случайная экзогенная переменная. Иными словами, ее значения во всех наблюдениях можно считать заранее заданными и никак не связанными с исследуемой зависимостью.

В соответствии с формулой (5.14)

. (5.21)

Это означает, что коэффициент b₁ также является случайной величиной. Теоретически коэффициент b₁ можно разложить на неслучайную и случайную составляющие.

.

Здесь использованы следующие правила вычисления ковариации:

, так как ; .

Следовательно,

. (5.22)

Аналогичный результат можно получить и для коэффициента b₀. Учитывая, что

.

В результате получим

. (5.23)

Таким образом, коэффициенты регрессии b₁ и b₀, полученные по любой выборке, представляется в виде суммы двух слагаемых: 1) постоянной величины, равной истинному значению коэффициента; 2) случайной составляющей, зависящей от случайного фактора .

Отметим, что на практике такое разложение осуществить невозможно, поскольку неизвестны истинные значения ₀ и ₁, а также значения отклонений для всей генеральной совокупности. Они интересуют нас потому, что при определенных предположениях позволяют получить некоторую информацию о теоретических свойствах b₀ и b₁.

Итак, мы видим, что свойства коэффициентов регрессии существенным образом зависят от свойств случайной составляющей . Это означает, что до тех пор, пока не будет определенности о вероятностном поведении , мы не можем ничего сказать о статистических свойствах этих оценок.

Для того чтобы регрессионный анализ, основанный на обычном МНК, давал наилучшие из всех возможных результаты, случайное отклонение  должно удовлетворять определенным условиям, которые известны как условия Гаусса-Маркова.

1⁰. Математическое ожидание случайного отклонения _i равно нулю: для всех наблюдений.

Данное условие означает, что случайное отклонение в среднем не оказывает влияния на зависимую переменную. В каждом конкретном наблюдении случайное отклонение может быть либо положительным, либо отрицательным, но оно не должно иметь систематического смещения. Фактически если уравнение регрессии включает постоянное слагаемое ₀, то это условие практически выполняется автоматически; если постоянное слагаемое ₀ отсутствует, то это условие может и не выполняться.

2⁰. Дисперсия случайных отклонений _i постоянна: для всех наблюдений.

Данное условие подразумевает, что несмотря на то, при каждом конкретном наблюдении случайное отклонение может больше или меньше, не должно быть некой априорной причины, которая вызывает большую ошибку в одних наблюдениях, чем в других. Постоянная дисперсия обычно обозначается или, более кратко, . Величина , конечно, неизвестна. Одна из задач регрессионного анализа состоит в оценке этой величины.

Если рассматриваемое условие не выполняется, то коэффициенты регрессии, найденные по обычному МНК, будут не эффективными, и можно получить более надежные результаты путем применения модифицированного МНК.

3⁰. Случайные отклонения _i и _j являются коррелированными: для ij.

Это условие предполагает отсутствие систематической связи между значениями случайного отклонения в любых двух наблюдениях. Например, если случайное отклонение велико и положительно в одном наблюдении, то это не должно обуславливать систематическую тенденцию к тому, что он будет большим и положительным в следующем наблюдении. Отметим, что с учетом выполнимости условия 1⁰, данное условие можно переписать в виде: (ij).

Если это условие не выполняется, то регрессия, оцененная по обычному МНК, вновь даст не эффективные результаты. Более надежные результаты можно получить также при помощи применения модифицированного МНК.

При выполнении условий 1⁰-3⁰ модель (5.19) называется классической линейной регрессионной моделью.

Наряду с выполнимостью указанных условий при построении регрессионных моделей делаются еще некоторые предположения.

4⁰. Объясняющая переменная x_i есть величина неслучайная

Если это условие не выполняется, то оценки коэффициентов регрессии могут оказаться смещенными и несостоятельными. Нарушение этого условия может быть связано с ошибками измерения объясняющих переменных или с использованием лаговых переменных.

В регрессионном анализе часто вместо условия о неслучайности объясняющей переменной используется более слабое условие о независимости (некоррелированности) распределений случайного отклонения и объясняющей переменной. Данное условие предполагает выполнение следующего условия

.

Следовательно, данное условие можно записать в виде . Обычно это условие выполняется автоматически, если объясняющие переменные не являются случайными в данной модели. Получаемые при этом оценки коэффициентов регрессии обладают теми же свойствами, что и оценки, полученные при использовании условия о неслучайности объясняющей переменной.

Отметим, что выполнимость данного условия не столь критичны для эконометрических моделей. В дальнейшем мы рассмотрим некоторые случаи, в которых данное условие нарушается и последствия этого.

5⁰. Случайное отклонение имеет нормальное распределение: .

Дело в том, что если случайное отклонение имеет нормальное распределение, то такое же распределение будут иметь и коэффициенты регрессии. Это условие удобно для проведения проверки гипотез и построения доверительных интервалов. Предположение о нормальности основывается на центральной предельной теореме, в соответствие с которой, если случайная величина является общим результатом взаимодействия большого числа других случайных величин, ни одна из которых не является доминирующей, т она будет иметь приблизительно нормальное распределение, даже если отдельные составляющие не имеют нормального распределения. Случайное отклонение  определяется многими факторами, которые не входят в явной форме в уравнение регрессии. Поэтому даже если мы не знаем о распределении этих факторов, у нас есть все основания предположить, что оно нормально распределено. В большинстве случаев это не приводит к большим проблемам.

При выполнении условий 1⁰-5⁰ модель (5.19) называется нормальной классической линейной регрессионной моделью (НКЛРМ).