2.2. Предпосылки мнк. Теорема Гаусса-Маркова

Будем полагать, что в генеральной совокупности зависимость между переменными и имеет вид (2.1). Для любого наблюдения , , можно записать: . МНК решает задачу «наилучшей» аппроксимации данных наблюдений линейной зависимостью. Он позволяет определить оценки и теоретических коэффициентов линейной регрессии и . Так как эти оценки вычисляют по значениям , попавшим в выборку, то они меняются от выборки к выборке. МНК-оценки и – величины случайные; поведение их существенным образом зависит от поведения случайной компоненты . Какие требования следует наложить на , чтобы получить статистически надежные оценки истинных коэффициентов регрессии? Ответ на этот вопрос дают четыре условия Гаусса-Маркова, называемые предпосылками МНК.

Условия Гаусса-Маркова, или предпосылки МНК

1. , т.е. математическое ожидание случайной компоненты в каждом наблюдении должно быть равно 0.

Данное условие означает, что в любом -ом наблюдении случайная компонента может быть как положительной, так и отрицательной, но она не должна иметь систематического смещения ни влево, ни вправо от 0.

2. , т.е. теоретическая дисперсия случайной компоненты должна быть постоянна для всех наблюдений.

3. , т.е. теоретическая ковариация между значениями случайной компоненты в любых двух наблюдениях должна быть равна 0, что гарантирует отсутствие систематической связи между значениями случайной компоненты в соседних наблюдениях. Иначе говоря, случайные компоненты должны быть абсолютно независимы друг от друга в любых двух наблюдениях.

4. . Данное условие состоит в том, что случайная компонента должна быть распределена абсолютно независимо от объясняющей переменной. Это условие выполняется автоматически, если объясняющая переменная не является стохастической.

Замечание. Наряду с условиями Гаусса-Маркова обычно предполагают, что случайная составляющая имеет нормальное распределение; в таком случае оценки и также будут иметь нормальное распределение.

Теорема Гаусса-Маркова. Для того чтобы оценки и коэффициентов парной линейной регрессии, полученные по МНК, имели наименьшую дисперсию в классе всех линейных несмещенных и состоятельных оценок, случайная компонента должна удовлетворять четырем условиям Гаусса-Маркова.

Из теоремы Гаусса-Маркова следует, что, если все условия Гаусса-Маркова выполняются, то МНК-оценки и обладают следующими свойствами:

а) оценки и являются несмещенными оценками истинных коэффициентов регрессии, т.е. и ;

б) оценки являются состоятельными, т.е. с увеличением объема выборки можно считать практически достоверным, что оценка становится близка к , а – к ;

в) оценки являются эффективными, т.е. они имеют наименьшую дисперсию по сравнению с любыми другими оценками коэффициентов и , линейными относительно величин .

Можно считать, что первое условие Гаусса-Маркова выполняется автоматически, так как свободный член отражает ту систематическую тенденцию в , которую не учитывает объясняющая переменная .

Выполнение второго условия Гаусса-Маркова называют гомоскедастичностью (постоянством дисперсии отклонений), а его нарушение – гетероскедастичностью (непостоянством дисперсии отклонений).

Если выполняется третье условие Гаусса-Маркова, то говорят об отсутствии автокорреляции.

Если второе и (или) третье условие Гаусса-Маркова нарушаются, то МНК-оценки и остаются несмещенными и состоятельными, но перестают быть эффективными.