8) Линейная регрессионная модель: простая регрессия, модель множественной регрессии.

В статистическом анализе различают два типа регрессионных моделей: простую и множественную.

Простая регрессия

y = f(x; a) + ε (1)

y – эндогенная переменная,

x – экзогенная переменная,

a – неизвестный вектор параметров модели,

ε – случайная «шоковая» переменная.

Под термином «шоковая» переменная в регрессии понимают не только случайные(переменные погрешности) модели, но и экзогенные(факторные) переменные, которые считаются несущественными(незначимыми)и по степени влияния на эндогенную переменную.

В эконометрике наиболее подробно изучен частный случай простой линейной регрессии, в которой линейность означает пропорциональную зависимость y от x посредством неизвестных параметров:

y = a₀ + a₁x + ε (2),

где a₀ и a₁ – неизвестные параметры модели.

Примером модели (2) является модель макроэкономики, отражающая закон А.Оукена об обратной зависимости темпа роста ВНП от темпа роста уровня безработицы:

∆ Y_t / Y_t = ã₀ + ã₁ * ∆ U_t / U_t,

где ∆ Y_t и ∆ U_t – абсолютные приросты объема ВНП (Y_t) и уровня безработицы (U_t) за определенный период времени t. Оценки параметров по данным американской статистики составили: ã₀ = 3%, ã₁ = - 2.

Модель множественной регрессии

y = f(x_1, x_{2, …,} x_m; a) + ε (3),

где описывается зависимость одной эндогенной переменной от m (m>1) экзогенных переменных.

Случайные отклонения ε связаны с влиянием неучитываемых факторов. Т.к. ε – случайная величина, то и y – случайная величина. Поэтому задача восстановления зависимости y от x_1, x_{2, …,} x_m может быть решена лишь при многократных наблюдениях этих переменных, полученных в различные моменты времени t = 1, 2,…,T. Результаты статистических наблюдений помещают в специальную таблицу исходных данных:

В общем случае уравнения множественной регрессии решаются при условии задания статистических данных во времени. Основная задача состоит в определении коэффициентов множественной регрессии и в определении адекватности модели.

Рассмотрим задачу определения параметров уравнения регрессии. Существует несколько методов, позволяющих дать приближенное описание экономического явления или процесса. К ним относятся:

• метод максимального правдоподобия (ММП);

• байесовский метод;

• метод моментов;

• метод наименьших квадратов (МНК).

На практике наибольшее применение нашел МНК, в частности, для отыскания коэффициентов линейного приближения уравнения регрессии.

y = f(x; a) + ε (1);

y = a₀ + a₁x + ε (2).

Однако МНК обеспечивает оптимальные свойства МНК-оценкам лишь при выполнений следующих условий:

1. Отсутствие систематических ошибок наблюдений уравнения регрессии:

M [ε_t] = 0, t = 1, 2,…,T.

2. Наблюдения производятся с одинаковой точностью, т.е. дисперсии случайных переменных одинаковы во все моменты измерения:

D [ε_t] =σ_t², t = 1, 2,…,T.

3. Наблюдения организованы так, что случайные ошибки не коррелированны между собой:

M [ε_t*ε_r ] = 0, t ≠ r, t = 1, 2,…,T.

4. Случайные ошибки должны удовлетворять нормальному закону распределения вероятностей случайных величин.

5. Теорема Гаусса-Маркова

МНК дает наиболее оптимальное уравнение линейной регрессии, т.к. параметры регрессии обладают наименьшими дисперсиями среди всех несмещенных оценок и линейно-зависимых от эндогенных переменных оценок с учетом условий 1)- 4).

Пример. Пусть существует y_i^ф, x_i^ф, y_i^т = a₀ + a₁x_i (3)

Рассмотрим линейное приближение и возможность минимизации квадрата отклонений теоретических значений от экспериментальных.

S = ∑( y^т – y_i^ф)² → min (4).

i

Решаем задачу для линейного приближения.

S = ∑( a₀ + a₁x_i – y_i^ф)² = 0 (5).

i

Для определения коэффициентов линейной регрессии возьмем частные производные:∂S / ∂a₀ = 2 ∑( a₀ + a₁x_i – y_i^ф)² = 0 (6),

i

∂S / ∂a₁= 2 ∑( a₀ + a₁x_i – y_i^ф)² x_i = 0 (7).

i

Решая (6) и (7) совместно, находим коэффициенты a₀ и a₁:

na₀ + a₁∑ x_i^ф – ∑ y_i^ф = 0,

i (8)

a₀∑ x_i + a₁∑ x_i²– ∑ x_i y_i = 0.

i i i

В системе (8) известны x_i и y_i. Решая данную систему, получаем a₀ и a₁.