эконометрика для очно-заочного 4 курс 2024-2025 год / Эконометрика_доп
.pdf
виде
Y = f (X) + ε,
где ε — случайная переменная, характеризующая отклонение от модельной функции регрессии. Эту переменную будем называть возмущающей, или просто возмущением. Таким образом, в регрессионной модели зависимая переменная Y есть некоторая функция f (X) с точностью до случайного возмущения ε, причем детерминированная составляющая f (X) выражает влияние существенных факторов на результирующий показатель и описывает поведение условного среднего, а случайная составляющая отражает суммарное влияние всех несущественных факторов.
Мы будем рассматривать линейный регрессионный анализ, в котором функция f (X) линейна относительно оцениваемых параметров. Предположим, что для оценки параметров модельной функции регрессии f (X) из двумерной совокупности (X, Y ) взята выборка объема n, где (xi, yi) — результат i-го наблюдения (i = 1, n). В этом случае регрессионная модель имеет вид
yi = f (xi) + εi.
Отметим основные предпосылки регрессионного анализа:
1.Зависимая переменная yi (или возмущение εi) есть величина случайная, а объясняющая переменная xi есть величина неслучайная.
2.Математическое ожидание возмущения εi равно нулю:
M εi = 0.
3.Дисперсия зависимой переменной yi (или возмущения εi) постоянна для любого i:
Dεi = σε2;
4. Переменные yi и yj (или возмущения εi и εj ) не коррелированы:
M (εi · εj ) = 0.
33
5.Зависимая переменная yi (или возмущение εi) есть нормально распределенная случайная величина (это требование равносильно независимости переменных и необходимо для проверки значимости уравнения регрессии и его параметров, а также для их интервального оценивания).
Рассмотрим простейшую модель регрессионного анализа, когда функция f (x) линейна как по параметрам, так и по переменным xi
(i = 1, n):
yi = β0 + β1xi + εi.
Данная модель описывает случай парной регрессионной зависимости, когда на зависимую переменную Y воздействует одна независимая переменная X.
С помощью параметров β0 и β1 учитывается влияние на зависимую переменную Y объясняющей переменной X. Воздействие неучтенных факторов и случайных ошибок наблюдений определяется с помощью остаточной дисперсии σε2.
Оценкой линейной модели по выборке является уравнение регрессии yx = b0 + b1x. Параметры b0 и b1 определяются на основе метода наименьших квадратов. Содержательно параметры модели интерпретируются таким образом: параметр b0 является величиной, выравнивающей размерность переменных y и x, а параметр b1 показывает, на сколько изменится результирующий показатель y при изменении фактора x на единицу (рис. 2.1).
Рассмотрим технологию оценивания параметров двумерной регрессионной модели с помощью линейного метода наименьших квадратов (МНК).
Положим
n
Q = (yi − yi)2 → min .
i=1
Известно, что
yi = b0 + b1xi.
Тогда
n
Q = (yi − b0 − b1xi)2 → min
i=1
34
3, 73
y
14
13
12
11
10
9
8
7
6
5
4
3
2
1
0
|
|
|
|
|
7 |
|
|
5 |
|
x |
|
|
|
|
|
53 |
|
|
|
|
, |
|
|
|
|
0 |
|
8 |
|
|
|
+ |
|
6 |
|
|
|
73 |
|
|
|
|
, |
|
|
|
|
|
3 |
|
|
|
|
|
= |
|
|
|
|
3 |
y |
|
|
|
|
|
|
|
|
|
|
4
1 |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
α = 27◦55 |
|
|
|
|
|
|
|
|
|
|
b1 = tg α = 0, 53 |
||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 11 12 13 |
||||||||||||||
Рис. 2.1. Графическая интерпретация параметров b0 и b1
Найдем экстремум данной функции относительно неизвестных b0 и b1, для чего определим частные производные Qb0 и Qb1 и приравняем их нулю:
n
Qb0 = − 2 (yi − b0 − b1xi) = 0.
i=1
n
Qb1 = − 2 ((yi − b0 − b1xi)xi) = 0.
i=1
Таким образом получим систему из двух линейных алгебраических уравнений относительно двух переменных b0 и b1, для решения которой удоб-
но воспользоваться правилом Крамера: |
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
n |
|
|
n |
|
|
n |
2 |
|
|
|
|
||||
|
|
|
|
|
|
n |
|
|
|
|
n |
|
|
|
|
|
|
|
||
|
|
|
|
|
i=1 yi |
= nb0 + b1 i=1 xi, |
|
|
|
|
|
|||||||||
|
|
|
n |
|
|
|
|
|
n |
n |
|
|
|
i |
|
|
n |
|
||
|
|
|
|
i |
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
xiyi |
= b0 |
|
xi + b1 |
|
x . |
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
=1 |
|
|
|
i=1 |
|
|
|
i=1 |
|
|
|
|
|
|
|
n |
n |
|
2 |
|
|
1 |
|
n |
|
n |
2 |
|
2 |
|
n |
n |
|
||
|
|
xi |
|
x |
|
|
|
|
|
|
|
|
|
|
|
|
|
x |
|
|
|
|
|
|
|
xy |
x |
|
|
|
xy |
||||||||||
θ = |
|
n |
i=1 xi |
|
, θ = |
|
i=1 y |
i=1 x |
|
, θ = |
|
n |
i=1 y |
. |
||||||
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i=1 |
i=1 |
|
|
|
|
|
|
i=1 |
|
i=1 |
|
|
|
|
|
i=1 |
i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
35
В результате применения правила Крамера получим выражения для искомых неизвестных b0 и b1:
|
|
|
|
|
|
n |
|
|
||||
|
|
|
|
n n |
|
n |
|
n |
|
|
||
|
|
θ1 |
= |
i=1 y i=1 x2 |
− i=1 x i=1 xy |
|||||||
b0 = |
|
|
|
|
|
|
|
|
|
; |
||
|
n |
|
n |
n |
|
|
|
2 |
||||
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
θ |
|
n i=1 x2 − i=1 x |
|
|
||||||
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
θ2 |
= |
n i=1 xy |
− i=1 x i=1 y |
|
|
|||||
b1 |
= |
|
|
|
|
|
|
|
. |
|
||
θ |
n i=1 x2 |
− |
i=1 x |
2 |
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
Множественная регрессия
Экономические явления, как правило, определяются большим числом одновременно и совокупно действующих факторов. В связи с этим часто возникает задача исследования зависимости одной переменной Y от нескольких объясняющих переменных X1, X2, . . . , Xp. Эта задача решается с помощью множественного регрессионного анализа.
Модель множественной регрессии, включающая p объясняющих переменных x1, . . . , xp, имеет вид:
yi = β0 + β1xi1 + β2xi2 + . . . + βpxip + εi,
где εi удовлетворяет приведенным ранее предпосылкам.
Здесь i = 1, n — индекс наблюдения, j = 1, p — индекс фактора. Уравнение регрессии с оценками параметров можно записать как
yi = b0 + b1xi1 + b2xi2 + . . . + bpxip.
Для изложения некоторых моментов в множественном регрессионном анализе удобней использовать матричную форму записи.
36
y1y2
Пусть Y = — вектор значений зависимой переменной Y ,
. . . yn
X = |
1 x11 x12 |
. . . x1p |
|
— |
. . . |
. . . . |
|||
|
|
. . . x2p |
|
|
|
1 x21 x22 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 xn1 xn2 |
. . . xnp |
|
|
матрица значений объясняющих переменных размерности n×(p+1). Единичный столбец в матрице X соответствует столбцу свободных членов β0 в линейной модели, причем условно полагается, что β0 умножается на фиктивную переменную xi0, принимающую значение 1 для
всех i:
xi0 = 1 (i = 1, n),
β= (β0, β1, . . . , βp)T — вектор параметров,
ε= (ε0, ε1, . . . , εn)T — вектор возмущений.
Оценки параметров уравнения множественной регрессии b1, b2, . . . , bp так же, как в случае парной регрессии, проводится с использованием метода наименьших квадратов (далее — МНК), согласно которому в качестве оценки принимают вектор b, который минимизирует сумму квадратов отклонений наблюдаемых значений yi
от модельных значений yi, |
т. е. квадратичную форму |
||||||
T |
|
|
|
n |
|
2 |
|
|
|
|
|
|
i |
(yi − yi) → min |
|
Q = (Y − XB) (Y − XB) = |
|||||||
|
|
|
|
|
=1 |
|
|
или |
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
i |
|
|
|
|
+ . . . + bpxip))2 → min . |
||
Q = (yi − (b0 + b1xi1 |
|||||||
=1 |
|
|
|
|
|
|
|
Для определения минимума ищем решение системы |
|||||||
|
|
Qb |
0 |
= 0, |
|
|
|
|
|
|
b1 |
= 0, |
|
|
|
|
|
|
Q |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
. . . , |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Qbp |
= 0 |
|
|
||
37
относительно
b = (XT X)−1XT Y.
Здесь Qw — частная производная Q по оценке t.
Оценки, полученные на основе применения этого метода, обладают рядом важных для дальнейшего анализа свойств:
—несмещенность (не содержат систематических ошибок при оценивании):
M βj = bj , j = 0, p;
—состоятельность (при n → ∞ с вероятностью, как угодно близкой к 1, сходятся к оцениваемым параметрам);
—эффективность (обладают наименьшими дисперсиями среди всех возможных несмещенных оценок параметров).
Построение модели множественной регрессии с четырьмя и более факторами возможно только с использованием компьютера. На практике часто бывает необходимо сравнение влияния на зависимую переменную различных объясняющих переменных, когда последние выражаются разными единицами измерения. В этом случае используют стандартизованные коэффициенты регрессии bj и коэффициенты эластичности Эj (j = 1, p):
|
|
Sxj |
|
|
|
|
|
|
b |
|
|
xj |
|
||||
= |
|
; Эj = bj |
|
|
|
. |
||
|
|
|
|
|||||
j |
|
Sy |
|
|
y |
|
||
|
|
|
|
|
||||
Стандартизованный коэффициент регрессии bj показывает, на сколько величин Sy изменится в среднем зависимая переменная Y при увеличении только j-ой объясняющей переменной на Sxj , а коэффициент эластичности Эj — на сколько процентов (от средней) изменится в среднем Y при увеличении только Xj на 1 %.
Нелинейная регрессия
Соотношения, существующие между социально-экономическими процессами, не всегда можно выразить линейными функциями, т. к. при этом могут возникать неоправданно большие ошибки. В некоторых
38
случаях нелинейность связей является следствием качественной неоднородности совокупности, к которой применяют регрессионный анализ. Например, если в одной совокупности объединены предприятия, отличающиеся по специализации, условиям функционирования и т. д.
В случае нелинейной зависимости параметры уравнения регрессии оцениваются также при помощи метода наименьших квадратов. Однако статистические свойства МНК-оценок сохраняются только для случая линейной зависимости. С позиции использования МНК различают следующие виды зависимостей:
1. функции, нелинейные по факторам, например:
y = a0 + a1x2 или y = a0 + a1 log x;
2. функции, нелинейные по параметрам, например:
y = ea0+a1x или y = aKαL1−α;
3.функции, не приводимые к линейному виду.
Впервом и втором случае МНК для оценки параметров модели используется после проведения линеаризующих преобразований, приводящих функцию к линейному виду. Для нахождения оценок параметров функций первого типа достаточно провести замену объясняющих переменных, например, если y = a0 + a1x2 , то достаточно ввести новую переменную x = x2 и, осуществив замену переменных, получить функцию линейного вида y = a0 + a1x , после чего можно использовать метод наименьших квадратов.
К уравнениям второго вида вначале требуется применить линеаризующее преобразование, а затем уже заменить переменные. Например, если y = ea0+a1x, то линеаризующее преобразование состоит в логарифмировании ln y = a0 + a1x, после чего, заменив переменную ln y = y , получим уравнение линейного вида y = a0 + a1x. К преобразованному уравнению применяют МНК. При этом оценки параметров минимизируют фактически не функцию вида
n
f = (yi − yi)2,
i=1
39
а функцию
f = n (yi − yi )2.
i=1
Здесь и далее, если индексы суммирования опущены, предполагается, что суммирование идет от i = 1 до n.
Основные типы зависимостей и линеаризующие преобразования приводятся в учебном пособии (стр. 22—23).
Для множественной регрессии представляется соблазнительным представляется увеличение порядка выравнивающей кривой, ибо известно, что всякую функцию на любом интервале можно сколь угодно точно представить полиномом
y = b0 + b1x + b2x2 + b3x3 + . . . + bpxp.
Так, можно подобрать такой показатель p, что соответствующий полином пройдет через все вершины эмпирической линии регрессии. Однако повышение порядка гипотетичной параболической кривой может привести к неоправданному усложнению вида искомой функции регрессии, когда случайные отклонения осредненных точек неправильно истолковываются как определенные закономерности в поведении кривой регрессии. Кроме того, за счет увеличения числа параметров снижается точность кривой регрессии (особенно в случае малой выборки) и увеличивается объем вычислений. В связи с этим в практике регрессионного анализа редко используются полиномы выше третьей степени.
Для множественной регрессии, кроме линейной модели, часто используют степенную (мультипликативную) модель:
y = a0xa11 xa22 . . . xapp .
Подобная мультипликативная модель приводится к линейному виду логарифмированием:
ln y = ln a0 + a1 ln x1 + a2 ln x2 + . . . + ap ln xp.
После замены переменных и переобозначения параметров:
y = ln y, a0 = ln a0, xj = ln xj ,
40
имеем линейную модель
y = a |
+ a1x |
+ . . . + apx |
, |
|
|
0 |
1 |
p |
|
к которой применяются все операции множественного регрессионного анализа.
В третьем случае, когда функцию невозможно привести к линейному виду, оценивание параметров осуществляют с помощью нелинейного МНК, где решение проводится с использованием итерационных процедур при минимизации функции многих переменных (разложение функции в ряд Тейлора и др.).
41
Лекция 2.3.2. Анализ вариации результирующего признака. Проверка значимости уравнения регрессии и коэффициентов уравнения регрессии
Оценить значимость уравнения регрессии — значит установить, соответствует ли математическая модель, выражающая зависимость между переменными, экспериментальным данным и достаточно ли включенных в уравнение объясняющих переменных (одной или нескольких) для описания зависимой переменной.
Оценка значимости уравнения регрессии производится на основе дисперсионного анализа. Рассмотрим сумму квадратов отклонений зависимой переменной от средней y:
n
Q = (yi − y)2,
i=1
где n — объем выборки.
Общая сумма квадратов Qобщ может быть разложена на отдельные составляющие:
n |
n |
|
|
|
|
|
|
|
|
|
|
||
i |
|
|
|
|
|
|
|
|
|
|
|
||
Qобщ = (yi − |
y |
)2 = |
(yi − yˆi + yˆi − |
y |
)2 = |
|
|
|
|
|
|||
=1 |
|
|
i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
n |
|
n |
||||||
|
|
i |
+ |
|
|
|
|
|
+ 2 |
|
|
|
|
= |
(yi − yi)2 |
(yi − y)2 |
(yi − yi)(yi − y). |
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
=1 |
|
i=1 |
|
i=1 |
||||||
Сумма квадратов отклонений фактических значений от расчетных называется остаточной суммой квадратов и обозначается как
n
Qост = (yi − yi)2.
i=1
Сумма квадратов отклонений расчетных значений от среднего называется объясненной суммой квадратов и обозначается как
n
Qобъясн = (yi − y)2. i=1
Третий элемент в разложении представляет собой сумму произведений объясненной и остаточной компонент регрессии. Основываясь на
42
