6. Свойства мнк-оценок. Теорема Гаусса-Маркова

Естественно возникает вопрос: как соотносятся полученные значения b₀ и b₁ с истинными значениями ₀ и ₁ или, другими словами, каково качество МНК-оценок b₀ и b₁. Для ответа на этот вопрос рассмотрим некоторые свойства этих оценок в рамках классической модели.

1. Полученные по МНК оценки b₀ и b₁ являются несмещенными, т.е.

и .

 Для доказательства этого утверждения потребуются первое и четвертое условия Гаусса-Маркова. Действительно,

,

поскольку величины x₁, …, x_n и не случайны и содержащие только их выражения можно вынести из-под знака математического ожидания. Далее, поскольку и , то

.

Подставляя это выражение в предыдущую формулу, найдем, что .

Аналогично находим

. 

2. Полученные по МНК оценки b₀ и b₁ состоятельные.

 Докажем, что МНК-оценки состоятельные, т.е. сходятся по вероятности к истинным значениям:

.

Для несмещённых оценок достаточным условием состоятельности является сходимость их дисперсий к нулю при неограниченном возрастании объёма выборки. Это следует из неравенства Чебышёва:

,

поэтому при

,

т.е. оценки состоятельны. Осталось только показать, что .

Вычислим дисперсию b₁. Учитывая (5.22), получим

.

Примем во внимание, что , тогда (учитывая второе условие Гаусса-Маркова: ), получим

.

В результате, получаем

. (5.24)

Найдём теперь дисперсию b₀. Принимая во внимание, что , а также (5.23), получим

.

.

В результате, получаем

. (5.25)

Как можно видеть из (5.24) и (5.25),

и при ,

а это будет иметь место в том случае, если x_i не совпадают со своим средним значением (кроме, быть может, конечного числа значений). Итак, МНК-оценки параметров регрессии b₀ и b₁ состоятельны. 

Из соотношений (5.24) и (5.25) можно сделать следующие выводы.

• Дисперсии b₀ и b₁ прямо пропорциональны дисперсии случайного отклонения ². Следовательно, чем больше фактор случайности, тем менее точными будут оценки.

• Чем больше число n наблюдений, тем меньше дисперсии оценок. Это вполне логично, т.к. чем большим числом данных мы располагаем, тем вероятнее получения более точных оценок.

• Чем больше дисперсия (разброс значений ) объясняющей переменной, тем меньше дисперсия оценок коэффициентов. Другими словами, чем шире область изменений объясняющей переменной, тем точнее будут оценки (тем меньше доля случайности в их определении).

3. Полученные по МНК оценки b₀ и b₁ коррелированы и

. (5.26)

Теперь возникает вопрос, являются ли оценки b₀ и b₁ параметров ₀ и ₁ «наилучшими»? Ответ на этот вопрос дает следующая теорема.

4. Теорема Гаусса-Маркова. Если в регрессионной модели

, (5.27)

X – детерминированная величина, а случайное отклонение  удовлетворяет условиям 1⁰-3⁰, то оценки b₀ и b₁, полученные по МНК, имеют наименьшую дисперсию в классе всех линейных несмещенных оценок.

Напомним, что в англоязычной литературе такие оценки называются BLUE-оценками (Best Linear Unbiased Estimator – наилучшие линейные несмещенные оценки).

Доказательство*. Покажем, что МНК-оценки являются «наилучшими» (в смысле наименьшей дисперсии) в классе всех линейных несмещенных оценок.

Представим формулы определения коэффициентов b₀ и b₁ в виде линейных функций относительно значений Y:

,

где . Аналогично получаем:

.

Обозначив , имеем

.

Пусть – любая другая несмещенная оценка. Представим u_i в виде , тогда, учитывая (5.20), получим

для любых b₀ и b₁. Отсюда следует, что

и .

Тогда

.

Здесь учтено, что в силу определения c_i и того, что . Таким образом, получаем , что и требовалось доказать.

Аналогичные вычисления показывают, что . 

Отметим, что в случае нормальной классической модели МНК дает эффективные оценки, совпадающие с оценками, полученными методом максимального правдоподобия. Таким образом, МНК идеально приспособлен для получения эффективных оценок в случае нормальной классической линейной модели. Другие методы в этих условия в лучшем случае только повторят тот же результат.

Таким образом, в классической линейной регрессионной модели, где случайное отклонение удовлетворяет условиям Гаусса-Маркова и отсутствуют другие сложности, базовым критерием для получения оценок коэффициентов является МНК. Это связано с тем, что оценки, полученные МНК, в соответствии с теоремой Гаусса-Маркова, будут состоятельными, несмещенными и оптимальными как на больших выборках, так и на малых. Однако в реальных ситуациях условия Гаусса-Маркова часто нарушаются. В таких случаях приходится модифицировать МНК, или вообще использовать другие методы.