2. Метод наименьших квадратов

При использовании МНК минимизируется следующая функция:

(3.6)

Необходимым условием существования минимума функции двух переменных (3.6) является равенство нулю ее частных производных по неизвестным параметрам b₀ и b₁

(3.7)

После группировки систему можно записать в виде:

(3.8)

Система (3.8) называется системой нормальных уравнений МНК.

Решая систему (3.8) либо методом исключения переменных, либо методом определителей, найдем искомые оценки a и b.

Если все слагаемые в (3.8) разделить на n, то получим систему:

(3.9)

Из первого уравнения

(3.10)

Тогда, подставляя (3.10) во второе уравнение систему(3.9), найдем b₁:

(3.11)

Справедливы следующие утверждения:

1. Оценки МНК определяются по выборке (являются функциями выборки).

2. Оценки МНК являются точечными оценками теоретических коэффициентов регрессии.

3. Согласно первой формуле системы (3.9), эмпирическая прямая регрессии обязательно проходит через точку .

4. Эмпирическое уравнение регрессии построено таким образом, что сумма отклонений, а также среднее значение отклонения равнялись нулю: ; .

5. Остатки е_i не коррелированны с наблюдаемыми значениями x_i независимой переменной X.

6. Остатки е_i не коррелированны со значениями

Пример 3.1. Для анализа зависимости объема потребления Y (ден. ед.) домохозяйства от располагаемого дохода X (ден. ед.) отобрана выборка объема n = 20 домохозяйств, результаты которой приведены в табл. 3.1. Необходимо определить вид зависимости, по МНК оценить параметры уравнения регрессии Y на X и спрогнозировать потребление при доходе X= 160.

Таблица 3.1

X	106	107	108	109	110	112	113	118	120	122	123	125	128	130	136	138	142	143	148	152
Y	102	102	104	106	108	108	112	114	112	118	120	121	122	127	131	136	134	139	143	142

Решение. Для определения вида зависимости построим корреляционное поле

Рис. 3.2.

По расположению точек на корреляционном поле полагаем, что зависимость между X и Y линейная: .

Для определения параметров a и b заполним таблицу 3.2.:

; ; ; .

По формуле (3.11): ;

По формуле (3.10): .

Таким образом, уравнение парной линейной регрессии имеет вид:

Данная прямая линия изображена на корреляционном поле. По этому уравнению при x_i = 160 рассчитаем .

3. Интерпретация уравнения регрессии

Построенное уравнение регрессии в любом случае требует определенной интерпретации и анализа. Интерпретация требует словесного описания полученных результатов с трактовкой найденных коэффициентов, с тем чтобы построенная зависимость стала понятной человеку, не являющемуся специалистом в эконометрическом анализе.

В нашем примере коэффициент b может трактоваться как предельная склонность к потреблению (MPC ≈ 0.928). Фактически он показывает, на какую величину изменится Y (объем потребления), если X (располагаемый доход) возрастает на одну единицу. На графике коэффициент b определяет тангенс угла наклона прямой регрессии относительно положительного направления оси абсцисс (объясняющей переменной). Поэтому часто он называется угловым коэффициентом.

Свободный член a уравнения регрессии определяет прогнозируемое значение Y при величине располагаемого дохода Х, равной нулю (т. е. автономное потребление). Однако здесь необходима определенная осторожность. Очень важно, насколько далеко данные наблюдений за объясняющей переменной отстоят от оси ординат (зависимой переменной), так как даже при удачном подборе уравнения регрессии для интервала наблюдений нет гарантии, что оно останется таковым и вдали от выборки. В нашем случае значение a = 4.46 говорит о том, что при нулевом располагаемом доходе расходы на потребление составят в среднем 4.46 у. е. Это можно объяснить в случае рассмотрения отдельного домохозяйства (оно может тратить накопленные или одолженные средства), но для совокупности домохозяйств это теряет смысл. В любом случае значение коэффициента b₀ определяет точку пересечения прямой регрессии с осью ординат и характеризует сдвиг линии регрессии вдоль оси Y.

Следует помнить, что эмпирические коэффициенты регрессии a и b являются лишь оценками теоретических коэффициентов  и β, а само уравнение отражает лишь общую тенденцию в поведении рассматриваемых переменных. Индивидуальные значения переменных в силу различных причин (см. п. 1.3) могут отклоняться от модельных значений. В нашем примере эти отклонения выражены через значения e_i. Эти отклонения являются оценками отклонений ε_i для генеральной совокупности.

Однако при определенных условиях уравнение регрессии служит незаменимым и очень качественным инструментом анализа и прогнозирования.

После интерпретации результатов закономерен вопрос о качестве оценок и самого уравнения в целом.

Следующие разделы будут посвящены обсуждению условий, обеспечивающих качественные оценки параметров регрессии и вопросам проверки значимости оценок и адекватности всего уравнения.