3.3. Парная линейная регрессия

Если функция регрессии линейна, то говорят о линейной регрессии. Модель линейной регрессии (линейное уравнение) является наиболее простым и распространенным видом зависимости между экономическими переменными. Кроме того, построенное линейное уравнение может служить начальной точкой эконометрического анализа.

Например, Кейнсом была предложена формула такого типа для моделирования зависимости частного потребления С от располагаемого дохода I: С = С₀ + bI, где С₀ — величина автономного потребления, b (0 < b < 1) — предельная склонность к потреблению. Однако при использовании этой модели при анализе конкретных данных мы практически всегда будем иметь определенную погрешность, так как строгой функциональной зависимости между этими показателями нет. Однако никто не будет отрицать, что люди (домохозяйства) с большим доходом имеют большее в среднем потребление. Данная ситуация наглядно представлена на рисунке 3.2.

Рис. 3.2. Зависимость величины частного потребления С от располагаемого дохода I, изображенная вместе с плотностью вероятности в каждой точке дохода I

Из предыдущих рассуждений ясно, что линейная регрессия (теоретическое линейное уравнение регрессии) представляет собой линейную функцию между условным математическим ожиданием М(YX=x_i) зависимой переменной Y и одной объясняющей переменной X (x_i — значения независимой переменной в i-ом наблюдении, i = l, 2, ..., n).

М(YX=x_i) = ₀ + ₁x_i. (3.5)

Отметим, что принципиальной в данном случае является линейность по параметрам ₀ и ₁ уравнения.

Для отражения того факта, что каждое индивидуальное значение y_i отклоняется от соответствующего условного математического ожидания, необходимо ввести в соотношение (4.5) случайное слагаемое _i,

y_i = М(YX=x_i) + _i = ₀ + ₁x_i+ _i. (3.6)

Соотношение (3.6) называется теоретической линейной регрессионной моделью; ₀ и ₁ – теоретическими параметрами (теоретическими коэффициентами) регрессии; _i – случайным отклонением.

Следовательно, индивидуальные значения y_i представляются в виде суммы двух компонент: систематической (₀ + ₁x_i) и случайной (_i), причина появления которой достаточно подробно рассмотрена далее. В общем виде теоретическую линейную регрессионную модель будем представлять в виде

Y = ₀ + ₁X+ . (3.7)

Для определения значений теоретических коэффициентов регрессии необходимо знать и использовать все значения переменных X и Y генеральной совокупности, что практически невозможно.

Таким образом, задачи линейного регрессионного анализа состоят в том, чтобы по имеющимся статистическим данным (x_i, у_i, i = 1, 2, ..., n) для переменных X и Y:

а) получить наилучшие оценки неизвестных параметров ₀ и ₁;

б) проверить статистические гипотезы о параметрах модели;

в) проверить, достаточно ли хорошо модель согласуется со статистическими данными (адекватность модели данным наблюдений).

Следовательно, по выборке ограниченного объема мы сможем построить так называемое эмпирическое уравнение регрессии

y_теор(x_i) = a_* + b_*x_i, (3.8)

где y_теор(x_i) — оценка условного математического ожидания M(Y Х = x_i);

a_* и b_* – оценки неизвестных параметров ₀ и ₁, называемые эмпирическими (выборочными) коэффициентами регрессии (иногда они далее будут обозначаться как b₀ и b₁). Следовательно, в конкретном случае

y_i = a_* + b_*x_i+e_i, (3.9)

где отклонение e_i – оценка теоретического случайного отклонения _i.

В силу несовпадения статистической базы для генеральной совокупности и выборки оценки a_* и b_* практически всегда отличаются от истинных значений коэффициентов ₀ и ₁, что приводит к несовпадению эмпирической и теоретической линий регрессии. Различные выборки из одной и той же генеральной совокупности обычно приводят к определению отличающихся друг от друга оценок. Возможное соотношение между теоретическим и эмпирическим уравнениями регрессии схематично изображено на рисунке 3.3.

Рис. 3.3. Теоретическое и эмпирическое уравнения регрессии

Задача состоит в том, чтобы по конкретной выборке (x_i, y_i), i = l, 2, ... , n найти оценки a_* и b_* неизвестных параметров ₀ и ₁ так, чтобы построенная линия регрессии являлась бы наилучшей в определенном смысле среди всех других прямых. Другими словами, построенная прямая y_теор(xi) = a_* + b_*∙x_i должна быть “ближайшей” к точкам наблюдений по их совокупности. Мерами качества найденных оценок могут служить определенные композиции отклонений e_i, i = 1, 2, ... , n. Например, коэффициенты a_* и b_* эмпирического уравнения регрессии могут быть оценены исходя из условия минимизации одной из следующих сумм:

1)

2)

3)

Однако первая сумма не может быть мерой качества найденных оценок в силу того, что существует бесчисленное количество прямых (в частности, Y = у_ср), для которых e_i = 0 (доказательство этого утверждения выносится в качестве упражнения).

Метод определения оценок коэффициентов из условия минимизации второй суммы называется методом наименьших модулей (МНМ).

Самым распространенным и теоретически обоснованным является метод нахождения коэффициентов, при котором минимизируется третья сумма. Он получил название метод наименьших квадратов (МНК). Этот метод оценки является наиболее простым с вычислительной точки зрения. Кроме того, оценки коэффициентов регрессии, найденные МНК при определенных предпосылках, обладают рядом оптимальных свойств.

Среди других методов определения оценок коэффициентов регрессии отметим метод моментов (ММ), метод максимального правдоподобия (ММП) и метод центра неопределённости (МЦН).