1.1.4. Парная линейная регрессия

Регрессионный анализ - это один из наиболее распространенных инструментов эконометрического анализа, который позволяет оценить связи между зависимой (объясняемой) и независимыми (объясняющими) переменными. Зависимую переменную иногда называют результативным признаком, а объясняющие переменные предикторами, регрессорами или факторами.

Обозначим зависимую (объясняемую) переменную как y, а независимые (объясняющие) переменные как x₁, x₂, …….. , x_k . Если k = 1 и есть только одна независимая переменная x₁ (которую обозначим x ), то регрессия называется простой или парной. Если k = 2, 3, ….., то регрессия называется множественной.

Определение вида модели, исходя из соответствующей теории связи между переменными, называется спецификацией модели. При изучении зависимости между двумя переменными достаточно наглядным является графический метод. Он основан на поле корреляции. Полем корреляции называется графическое изображение взаимосвязи между двумя переменными на координатной плоскости. Если пары переменных (x_i, y_i), (i=1,…,n) изображать в виде точек на плоскости, то можно получить представление о функциональной зависимости между ними.

Начнем с построения простейшей модели парной регрессии

y = a + bx + ε , (1.1)

где y – зависимая переменная, состоящая из двух слагаемых: 1) неслучайной составляющей y_x = a + bx (x – независимая переменная, a и b – постоянные числа – параметры уравнения); 2) и случайной составляющей ε.

Существование отклонений от прямой регрессии, т.е. случайных составляющих ε, объясняется рядом причин, например:

1. Ошибки измерения.

2. Невключение объясняющих переменных.

3. Неправильный выбор вида зависимости в уравнении.

4. Отражение уравнением регрессии связи между агрегированными переменными.

1.2. Оценка параметров парной линейной регрессии. Метод наименьших квадратов (мнк).

1.2.1. Мнк для парной линейной регрессии

Для оценки параметров a, b обычно применяют метод наименьших квадратов (МНК). Существуют и другие методы оценки параметров, например, метод моментов, метод наименьших модулей, метод максимального правдоподобия. Рассмотрим метод наименьших квадратов.

Если имеется n наблюдений, уравнение (1.1) можно представить в следующем виде:

y_i = a + bx_i + ε_i , i = 1, 2, 3, … , n.

Случайное отклонение ε можно рассматривать как последовательность n случайных величин ε_i , i = 1, 2, 3, … , n.

Метод наименьших квадратов позволяет получить такие оценки параметров a и b, при которых сумма квадратов отклонений фактических значений признака y_i от расчетных (теоретических) y_xi является минимальной:

(1.2)

Необходимым условием существования минимума функции двух переменных Q(a,b) (1.2) является равенство нулю ее частных производных по неизвестным параметрам a и b:

(1.3)

После преобразований получаем систему уравнений:

(1.4)

Система уравнений (1.4) представляет собой систему нормальных уравнений МНК.

Разделив оба уравнения системы (1.4) на n, получим:

Отсюда находим a и b:

В этих уравнениях и - это средние значения переменных x и y.

Коэффициент b при x называется коэффициентом регрессии. Если переменную x изменить на единицу, т.е. взять за x величину x+1, то новое значение y_x(x+1) будет равно y_x(x)+b. Следовательно, коэффициент регрессии показывает среднее изменение результата y при изменении фактора x на единицу.

Коэффициент a – свободный член уравнения регрессии - указывает на значение результативного признака при нулевом значении фактора. Это важный индикатор для выбора вида уравнения регрессии. Например, если в результате вычислений коэффициент a оказался отрицательным, а экономический смысл задачи диктует положительность или равенство нулю показателя a , значит, выбор вида уравнения был неудачен.