6.Условия нормальной линейной регрессии (Гаусса-Маркова)

Фактическое значение Y состоит из двух элементов: из неслучайной части и случайной компоненты, поэтому вычисленные оценки а и b также состоят из двух элементов. Неслучайной частью для а является α, для b – β.

Следовательно, свойства коэффициентов регрессии существенным образом зависят от свойств случайной компоненты.

Для того чтобы регрессионный анализ, основанный на обычном МНК, давал наилучшие результаты, случайный член должен удовлетворять четырем условиям, известным как условия Гаусса—Mapкова.

1-ое условие Гаусса-Маркова.

Математическое ожидание случайной компоненты в любом наблюдении должно быть равно нулю. Иногда величина случайной компоненты будет положительной, иногда отрицательной, но она не должна иметь систематического смещения ни в одном из двух возможных направлений.

Фактически если уравнение регрессии включает константу, то можно предположить, что это условие выполняется автоматически, так как роль константы состоит в определении любой систематической тенденции в поведении Y, которую не учитывают объясняющие переменные, включенные в уравнение регрессии.

2-ое условие.

Дисперсия случайной компоненты должна быть постоянна для всех наблюдениях. Иногда случайная компонента будет больше, иногда меньше, однако не должно быть априорной причины для того, чтобы она порождала большую ошибку в одних наблюдениях, чем в других.

Если это условие выполняется, то говорят, что дисперсия ошибки гомоскедастична,

если нет, то - гетероскедастична.

3-ие условие.

Даное условие предполагает отсутствие систематической связи между значениями случайной компоненты в любых двух наблюдениях. Например, если случайная компонента велика и положительна в одном наблюдении, это не должно обусловливать систематическую тенденцию к тому, что она будет большой и положительной в следующем наблюдении

Или большой и отрицательной, или малой и положительной, или малой и отрицательной.

Случайные компоненты должна быть абсолютно независимы друг от друга.

Выполнение данного условия гарантирует

отсутствие автокорреляции.

В противном случае, говорят, что

случайная компонета автокоррелирована.

4-ое условие.

• Случайная компонента должна быть распределена независимо от объясняющих переменных.

Предположение о нормальности:

Наряду с условиями Гаусса—Маркова обычно также предполагается нормальность распределения случайного члена. Если случайный член нормально распределен, то так же будут распределены и коэффициенты регрессии. Предположение о нормальности основывается на центральной предельной теореме:

«Если случайная величина является общим результатом взаимодействия большого числа других случайных величин, ни одна из которых не является доминирующей, то она будет иметь приблизительно нормальное распределение, даже если отдельные составляющие не имеют нормального распределения».

7. Метод наименьших квадратов.

МНК является наиболее популярным методом нахождения оценок неизвестных параметров. Критерий выбора наилучших параметров: минимизация суммы квадратов остатков.

Мы имеем некоторое число пар наблюдений, характеризующих значения переменных X и Y или выборку. Необходимо оценить параметры этого уравнения -  и , то есть отыскать наилучшие оценки для них. Предположим, что мы нашли эти оценки и можем записать уравнение:

, (2)

где a - регрессионная постоянная, точка пересечения линии регрессии с осью OY

b - коэффициент регрессии, угол наклона линии регрессии, характеризуется отношением dy/dx ,

- теоретическое значение объясняемой переменной.

Используя полученное уравнение, можно рассчитать (как остатки, отклонения) - оценки конкретных значений ошибок u в нашей выборке, это разница между наблюдаемым значением переменной У и её теоретическим значением У^ в каждом наблюдении.

Метод наименьших квадратов применяется в тех случаях, когда избранное уравнение линейно относительно своих параметров. Нелинейное уравнение следует линеаризовать. Например:

(6)

Наиболее популярным методом в начальном курсе эконометрики является метод наименьших квадратов. Он позволяет получить такие оценки параметров  и , при которых сумма квадратов оценок ошибки принимает минимальное значение.

Рассмотрим предполагаемую выборку, размер которой равен n, и предположим, что a и b - оценки параметров  и . В соответствии с методом наименьших квадратов оценки a и b можно получить из условия минимизации суммы квадратов ошибок -

(3)

В общем случае, величину S можно рассчитать на основе выборочных наблюдений, когда уравнение регрессии описывается любой математической функцией. Для этого вычисляются алгебраические разности между наблюденными значениями Y и значениями выбранной нами функции от X, с помощью которой мы получаем оценки для Y. Это теоретические значения, обозначим их через . Затем возводим полученные разности в квадрат и суммируем их по всем элементам выборки:

(4)

Проблема оценивания может быть сведена к "классической" задаче отыскания минимума. Переменными теперь оказываются оценки a и b неизвестных параметров предполагаемой связи Y и X. Для отыскания наименьшего значения какой-либо функции сначала надо найти частные производные первого порядка. Затем каждую из них приравнять нулю и разрешить полученную систему уравнений относительно переменных. В нашем случае такой функцией является сумма квадратов отклонений - S, а переменными - a и b. То есть мы должны найти и и разрешить полученную систему уравнений относительно a и b.

Выведем оценки параметров по методу наименьших квадратов, предполагая, что уравнение связи имеет вид (1). Тогда функция S имеет вид (3). Дифференцируя функцию S по a, мы получаем первое нормальное уравнение, дифференцируя по b - второе нормальное уравнение.

(7)

После соответствующих преобразований получим:

(8)

Существуют упрощенные правила построения системы нормальных уравнений. Применим их к линейной функции:

1) Перемножим каждый член уравнения на коэффициент при первом параметре (а), то есть на единицу.

2) Перед каждой переменной поставим знак суммирования.

3) Свободный член уравнения умножим на n.

4) Получим первое нормальное уравнение

(9)

5) Перемножим каждый член исходного уравнения на коэффициент при втором параметре (b), то есть на x.

6) Перед каждой переменной ставим знак суммирования.

7) Получаем второе нормальное уравнение

(10)

По этим правилам составляется система нормальных уравнений для любой линейной функции. Правила впервые были сформулированы английским экономистом Р. Перлом.

Параметры уравнений рассчитываются по следующим формулам:

(11)

(12)