2.1.4 Условия применимости метода наименьших квадратов

Мы описали теоретические основы применения метода наименьших квадратов к линейному регрессионному анализу. Теперь нам следует разрешить еще два вопроса:

- в каких случаях применение МНК математически корректно, т.е. обеспечивает лучшие результаты, чем другие подходы (и в каком смысле – «лучшие»?)

- как оценить погрешности полученных результатов, и в каком смысле можно к коэффициентам линейной регрессии применить развитую ранее схему нулевой гипотезы.

Ответ на первый из поставленных вопросов дают 4 условия Гаусса-Маркова.

Напомним, что мы начали свои рассмотрения с предположения, что мы располагаем двумя переменными Х и Y, причем как минимум одна из них, а именно Y, содержит случайную компоненту. В этих условиях по нашему предположению между ними существует связь следующего типа: y_i = ₁ + ₂ x_i + u_i. И нашей задачей было найти наилучший способ нахождения коэффициентов ₁ и ₂. Для решения этой задачи мы применили МНК и получили уравнение регрессии , причем величины описывают величины y_i с погрешностью ε_i: .

Оказывается, что способ МНК обеспечивает наилучшие результаты (минимальные величины ε_i) в ситуациях, когда случайный член u_i удовлетворяет четырем условиям, известным как условия Гаусса – Маркова. Рассмотрим эти условия.

1-е условие Гаусса-Маркова: матожидание случайного члена u_i должно равняться нулю для всех наблюдений i. Смысл условия состоит в следующем. Предположим, что мы провели не одну серию а тысячу одинаковых серий наблюдений в абсолютно идентичных условиях. Тогда каждая из величин u₁, u₂, u₃ и т.д. есть случайные величины, каждая имеет своё, вообще говоря, различное для разных i матожидание. Так вот метод для корректности применения МНК необходимо, чтобы матожидание у всех этих величин было одно и то же – нуль: М[u_i] = 0.

2-е условие Гаусса-Маркова: теоретическая дисперсия u_i должна быть одинакова для всех i (т.е. не зависеть от номера наблюдения). Понятно, что случайный член в разных наблюдениях нашей реальной серии будет разный: для одних наблюдений он будет больше, для других меньше. Если мы проведем другую серию, то увидим, что для тех же номеров i получились иные u_i. Т.е. в разных сериях мы будем наблюдать определенный разброс значений u_i, отвечающих одному и тому же номеру . Но не должно существовать априорной причины, по которой разброс пятого наблюдения окажется большим, чем, скажем, одиннадцатого.

Т.к. М[u_i] = 0, то теоретическая дисперсия для u_i равна , отсюда получим: .

3-е условие Гаусса-Маркова: случайные члены в разных наблюдениях суть независимые случайные величины, т.е. u_i распределено независимо от u_j и .

Т.е. мы предполагаем, что между значениями случайного члена в разных наблюдениях отсутствует систематическая связь. Как следствие этого предположения найдём, что корреляционный момент: всегда равен нулю. При вычислении мы использовали 1-е условие Гаусса-Маркова: М[u_i] = 0 для всех i.

4-е условие Гаусса-Маркова: случайный член распределен независимо от объясняющих переменных.

Это, строго говоря, формулировка слабой формы 4-го условия Гаусса-Маркова. Она предполагает, что .

Однако нередко 4-е условие применяется и в сильной форме: объясняющаяся (независимая) переменная должна быть нестохастичной. В этом случае условие разумеется тем более выполнено. Правда следует сказать, что в случае экономических задач редко удается обеспечить выполнение сильной формы 4-го условия.

Предположение о нормальности.

Строго говоря, выполнения 4-х условий Гаусса-Маркова уже достаточно, чтобы можно было строго доказать, что именно МНК обеспечивает возможность получения наиболее эффективных оценок коэффициентов регрессии. Однако наряду с этими предположениями, зачастую предполагается также, что случайный член u_i распределен нормально. Обоснованием для такого предположение служит тот факт, что обычно случайный член возникает в результате совокупного воздействия многих случайных факторов, ни один из которых не является доминирующим. А как гласит центральная предельная теорема, в подобных ситуациях распределение случайной величины близко к нормальному.