5. Автокорреляция

Автокорреляция – корреляция между наблюдаемыми показателями, упорядоченными во времени (временные ряды) или в пространстве (перекрестные данные). В эконометрике рассматривают два типа автокорреляции:

(1)автокорреляция уровней временного ряда;

(2) автокорреляция так называемых остатков εi = yx_i - y_i - т.е. отклонений расчетных значений y от фактических;

При наличии во временном ряде тенденции и циклических колебаний значения каждого последующего уровня ряда всегда зависят от предыдущих. Корреляционную зависимость между последовательными уровнями временного ряда называют автокорреляцией уровней ряда.

Количественно ее можно измерить с помощью линейного коэффициента корреляции между уровнями исходного временного ряда и уровнями этого ряда, сдвинутыми на несколько шагов во времени.

Формула для расчета коэффициента автокорреляции первого порядка имеет вид:

(5.1)

где

Эту величину называют коэффициентом автокорреляции уровней ряда первого порядка, так как он измеряет зависимость между соседними уровнями ряда: и .

Аналогично можно определить коэффициенты автокорреляции второго и более высоких порядков. Так, коэффициент автокорреляции второго порядка характеризует тесноту связи между уровнями и и определяется по формуле:

(5.2)

где

Число периодов, по которым рассчитывается коэффициент автокорреляции, называют лагом. С увеличением лага число пар значений, по которым рассчитывается коэффициент автокорреляции, уменьшается. Считается целесообразным для обеспечения статистической достоверности коэффициентов автокорреляции использовать правило – максимальный лаг должен быть не больше .

Автокорреляция остатков возникает при нарушении предпосылок метода наименьших квадратов (МНК), как правило, при построении нелинейных уравнений регрессии. Для проверки наличия или отсутствия автокорреляции остатков используют критерий Дарбина-Уотсона (подробнее см. далее п.6 и п.7).

6. Метод наименьших квадратов (мнк)

Сущность данного метода заключается в том, что параметры уравнений регрессии определяются таким образом, чтобы достигала минимума сумма квадратов разностей между фактическими значениями результативного признака и его теоретическими значениями:

Q(a₀ , a₁, a₂ a₃,… a_n) =  (у_факт – у_теор )²  min (6.1)

Чтобы найти параметры a₀ , a₁, a₂ a₃,… a_n, при которых достигается минимум функции Q необходимо в формуле (6.1) заменить у_теор конкретной математической функцией, то есть той аналитической зависимостью, которая будет приблизительно описывать (аппроксимировать) статистическую зависимость между факторными переменными x₀ , x ₁, x ₂ x₃,… x_n. Затем, нужно воспользоваться известным из высшей математики способом поиска экстремума функции нескольких переменных.

Как известно, для нахождения минимума такой функции, нужно найти частные производные по каждой из ее переменных (т.е. в данном случае в роли переменных выступают параметры a₀ , a₁, a₂ a₃,… a_n) и приравнять данное выражение к нулю. Получим систему нормальных уравнений, из которых найдем заданные коэффициенты. Вид системы нормальных уравнений зависит от вида того конкретного уравнения регрессии, для которого мы ищем соответствующие значения параметров.

Рассмотрим такую систему на примере уравнения парной линейной регрессии у = a₀ + a₁x

Q =  (у_факт – a₀ – a₁x_факт )²  min

У_теор = a₀ + a₁x_факт

(6.2)

Затем, преобразовав уравнения (6.2), получим соответствующую систему нормальных уравнений:

(6.3)

Решением системы (6.3) будут:

Рассчитав (оценив) коэффициенты a₀ , a₁ по этим формулам можно построить модель (уравнение парной линейной регрессии):

Аналогичным образом, используя МНК, можно получить значения параметров других функций (уравнений регрессии), используемых при аппроксимации.

Уравнение парной линейной регрессии является простейшим случаем регрессии. В этом уравнении мы имели дело только с двумя признаками — результативным y и факторным x.

Но на результат действует обычно не один фактор, а несколько, что необходимо учитывать для достаточно полного анализа связей.

В математической статистике разработаны методы построения множественной регрессии (Регрессия называется множественной, если число независимых переменных, учтенных в ней, больше или равно двум.),

Сущность метода наименьших квадратов может быть записана в наиболее общей форме в матричном виде: пусть

ε=Y-AX;

где Y – вектор фактических значений y;

AX – вектор расчетных значений y;

ε – вектор остатков.

Решаем задачу на поиск экстремума:

Записываем в матричном виде дифференцирование и приравнивание к нулю:

Отсюда получаем общий вид системы нормальных уравнений для поиска параметров регрессионных моделей:

В данном выражении используются следующие обозначения:

- матрица значений факторных переменных.

m – число факторных переменных;

n – число их значений (статистических данных).

(транспонированная матрица)

Например, система уравнений для поиска параметров 2х факторных регрессионных моделей y=a₀ + a₁x₁ + a₂x₂ имеет вид:

(6.4)

До сих пор мы, в основном, изучали линейные уравнения парной и множественной регрессии. Но не всегда связь между признаками может быть достаточно хорошо представлена линейной функцией. Иногда для описания реально существующей статистической зависимости более пригодными, а порой и единственно возможными являются более сложные нелинейные функции. Метод наименьших квадратов, как мы заметили, изучая его сущность, был разработан для линейных функций. Его использование для расчета параметров нелинейных уравнений регрессии, основано на предварительном приведении нелинейных уравнений к линейному виду, то есть на процедуре их линеаризации.

Таким образом, линеаризация уравнений регрессии – это использование различных процедур (логарифмирование, замена переменных), в результате которых нелинейные уравнения приводятся к линейному виду. Следует учитывать, что далеко не все нелинейные уравнения легко привести к линейному виду.

Поэтому в эконометрике принято различные нелинейные уравнения регрессии делить на несколько типов, в зависимости от того, насколько сложной является процедура их линеаризации.

Прежде всего, различают два класса нелинейных уравнений регрессии.

Первый класс – это уравнения регрессии, нелинейные относительно факторных переменных (x₁,x₂), но линейные относительно параметров (a₀,a₁,a₂…).

К этому классу относятся, например, следующие уравнения:

y=a₀ + a₁x + a₂x²(парабола)

y= a₀ + a₁x + a₂x² + a₃x³ + …+ a_nxⁿ (полином n–ой степени)

y= a₀ + a₁/x (гипербола)

Второй класс – это уравнения, нелинейные относительно оцениваемых параметров.

К этому классу относятся, например, следующие уравнения:

y=a₀ x^a1 (степенная)

y=a₀ a₁^x (показательная)

y=e^a0+a1*x(экспоненциальная)

Кроме того, к данному классу относятся так называемые функции с пределом насыщения или S-образные кривые: например, логистическая функция

y = ;

логистическая кривая Перла-Рида

y = ;

кривая Гомперца

y =

и некоторые другие).

Первый класс функций обычно сводится к уравнениям множественной линейной регрессии путем замены переменных.

Рассмотрим, например, следующее уравнение регрессии:

y=a₀ + a₁x + a₂x² (уравнение парной квадратической регрессии или просто параболы).

Обозначим x=x₁; x²=x₂

Получим уравнение y=a₀ + a₁x₁+ a₂x₂, для которого ранее уже рассматривалась система нормальных уравнений. Построим эту систему, а затем выполним обратную замену переменных.

n a₀ + a₁ ∑x₁+a₂ ∑x₂=∑y

a₀∑x₁ + a₁ ∑x²₁+a₂ ∑x₁x₂=∑yx₁ (6.5)

a₀∑x₂+ a₁ ∑x₁x₂+a₂∑x₂² =∑yx₂

Значения переменных в системе (6.5) снова заменим: x₁ на x, а x₂ на x².

Получим другую систему (6.6), которая непосредственно может использоваться уже для расчета параметров квадратического уравнения регрессии y=a₀ + a₁x + a₂x².

na₀+ a₁ ∑x+a₂ ∑x²=∑y

a₀∑x+ a₁ ∑x²+a₂ ∑x³=∑yx (6.6)

a₀∑x²+ a₁ ∑x³+a₂∑x⁴ =∑yx²

Точно также приводится к линейному виду полином любой степени.

Второй класс функций приводится к линейному виду путём специальных процедур линеаризации. Наиболее часто используют логарифмирование.

Однако эта процедура применима не ко всем функциям.

Существуют нелинейные уравнения, которые не могут быть приведены к линейному виду путем логарифмирования.

Поэтому в эконометрике принято делить уравнения регрессии, нелинейные по их параметрам, на два типа:

1) Нелинейные, но внутренне линейные, уравнения;

2) Нелинейные, внутренне нелинейные, уравнения.

Внутренне линейные уравнения достаточно легко приводятся к линейному виду путём логарифмирования и дополнительной замены переменных.

Внутренне не линейные уравнения принципиально не могут быть приведены к линейному виду. К таким уравнениям относятся, например:

y = a (1 – 1/ (1 – x)^b

или

y = a + bx^c

Рассмотрим пример линеаризации одной из функций, относящихся к классу внутренне линейных уравнений.

Например, рассмотрим уравнение степенной функции:

y=a₀ x^a1

Логарифмируя данное уравнение, получаем:

ln y = ln a₀ + a₁ ln x

Вводим новые переменные:

y₁=ln y

x₁= ln x

Заменяя переменные, получаем следующее уравнение:

y₁ = ln a₀ + a₁ x₁

Для такого уравнения легко составить систему нормальных уравнений:

nlna₀+a₁∑ x₁=∑ y₁

lna₀∑ x₁+a₁∑( x₁)² =∑x₁ y₁

Повторно заменяя переменные, получаем систему:

nlna₀+a₁∑ln x =∑lny

lna₀∑ln x +a₁∑(lnx)² =∑ lnx×lny

Решив эту систему, мы найдем параметры уравнения степенной функции. Следует обратить внимание на то, что в данной системе неизвестными являются lna₀ и a₁, но a₀ легко найти путем процедуры потенцирования : a₀ = e^{ln a0} , т.е. возводим число «e» в степень lna₀

Важнейшей проблемой при построении уравнений нелинейной регрессии является возможность нарушения предпосылок МНК, которые нужно проверять уже после их построения.