Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Эконометрика. Построение и анализ модели линейной регрессии. Ч. 1. Учебно-методическое пособие в 2-х частях
.pdf
2.2. Множественная линейная регрессия
)()2(
2
)1(
1
...
m
m
xxxy
k
,...,,,
21 m
1 mn
1mn
ebxaxaxay
m
m
)()2(
2
)1(
1
...
bxaxaxay
m
m
)()2(
2
)1(
1
...
Уравнение множественной регрессии описывает
совокупное влияние изменения множества объясняющих переменных на результативный признак. Набор
(1)
факторов X = (X
, X
(2)
, …, X
щих переменных. Для заданного набора значений x
(2)
x
, …, x
(m)
уравнение множественной линейной регрес-
(m)
) включает m объясняю-
(1)
сии для генеральной совокупности имеет вид:
,
Каждый коэффициент регрессии
. (2.4)
, k =1, 2, …,
m показывает, на сколько единиц в среднем изменится y
при увеличении значения фактора X
(k)
на одну единицу
измерения, если значения остальных факторов сохра-
нятся на постоянном уровне.
Чтобы формально можно было на основе данных
выборки, содержащей n наблюдений переменных X и Y,
получить наилучшую оценку вектора параметров
уравнения (2.4), необходимо вы-
полнение условия
. Разность
называ-
ется число степеней свободы. Чем оно больше, тем
больше статистическая надежность оценок параметров
модели.
Уравнение множественной регрессии, получен-
ное по имеющейся выборке:
. (2.5)
Полученные по уравнению регрессии значения:
. (2.6)
Расчет по формулам (2.3) и (2.6) называется ли-
нейное приближение, или линейная аппроксимация.
Аппроксимация позволяет исследовать числовые характеристики и качественные свойства объекта, сводя задачу к изучению более простых и удобных объектов, ха-
31
рактеристики которых легко вычисляются, а свойства
i
y
i
y
i
e
известны.
Возможные причины, по которым в модели
регрессии есть случайная составляющая
Объективные причины наличия случайного члена :
1. На величину Y, кроме X, влияют и другие фак-
торы, не включенные в модель.
2. Уравнение регрессии описывает среднее по
совокупности изменение Y вследствие изменения факторов из набора X, но отдельные элементы совокупности могут отклоняться от общей тенденции.
Кроме того, существование остаточной компо-
ненты е может быть связано с субъективными причинами:
3. Неправильно выбрана форма зависимости.
Например, в действительности при изменении X значения Y изменяются не линейно, а по квадратичной параболе или другой кривой.
4. Неправильное описание структуры модели.
Например, значение Y может зависеть от того, каким
было значение X не в текущий, а в некоторый предыдущий момент времени.
5. Ошибки измерения.
2.3. Метод наименьших квадратов (МНК)
При подстановке данных выборки в уравнения
(2.3) и (2.6) получают значения
имеющихся в выборке значений
нений
(i = 1, 2, …, n).
, отличающиеся от
на величину откло-
Для множественной регрессии отклонения равны:
32
bxaxaxayyye
m
i
m
ii
iiii
)()2(
2
)1(
1
...
1
a
2
a
m
a
1
a
2
a
m
a
1 mn
. (2.7)
Критерием МНК является минимум величины Q
– суммы квадратов отклонений.
Q рассматривается как функция переменных (не-
известных)
,
, …
, b. Необходимое условие минимума – равенство нулю всех частных производных
функции Q по
, по
, … по
и по b. Отсюда по-
лучаем систему уравнений МНК, состоящую из m+1 линейного уравнения с m+1 неизвестным. Эта система
имеет единственное решение, если
и факторы
из набора X линейно не связаны между собой.
Даже если в действительности зависимость y от X
является нелинейной или зависимости вообще нет, все
равно среди линейных моделей найдется «наилучшая».
Главное достоинство МНК – существование
и единственность оптимального решения. Для линейной
модели решение можно получить аналитически.
Главный недостаток МНК – придание большого
веса резко выделяющимся наблюдениям. Этот недоста-
ток вызван тем, что отклонения возводятся в квадрат
(при возведении в квадрат значения, меньшие 1, умень-
шаются, а большие 1 – увеличиваются).
Потому большое значение имеет графическое
представление данных и анализ резко выделяющихся
наблюдений. Если выделяющееся наблюдение находит-
ся вблизи среднего значения x, линия регрессии под-
нимается или опускается, т. е. изменяется свободный
член, а если вдали от среднего значения x, то линия
«разворачивается», т. е. изменяется коэффициент регрессии (см. рис. 3). Если далеко отклоняющееся
наблюдение находится на той же линии, вдоль которой
выстраиваются остальные наблюдения, то уравнение не
33
изменяется, но будут получены завышенные оценки ка-
bxayyye
iiiii
1
min),(
1
2
1
2
n
i
ii
n
i
i
baxyebaQ
02
02
'
'
iiia
iib
xbaxyQ
baxyQ
iiii
ii
yxxaxb
yxanb
2
2
2
ii
iiii
xxn
yxyxn
a
xyxaxb
yxab
2
bxay
чества модели.
МНК для парной регрессии
Для парной линейной регрессии отклонения рав-
ны:
, i = 1, 2, …, n. (2.8)
Критерий МНК имеет вид:
. (2.9)
Q рассматривается как функция переменных a и
b. Приравнивая нулю производные функции Q по a и по
b, получим
.
Перенесем известные значения в правую часть
уравнений, получим систему уравнений МНК:
. (2.10)
Решая систему уравнений (2.10) по правилу Кра-
мера, получим формулу коэффициента регрессии:
. (2.11)
Разделив каждое уравнение системы (2.10) на n,
получим:
. (2.12)
Первое уравнение системы (2.12) можно перепи-
сать в виде:
. (2.13)
34
Отсюда следует вывод:
yx;
y
y
xayb
2
2
xx
yxxy
a
x
y
X
s
s
YXr
D
YXvoC
a ),(
);(
),( YXr
xy
xay
2
i
ii
x
yx
a
а) линия регрессии проходит точку с координа-
тами (
), т. е. точку со средними значениями x и y;
б) средние значения
и
совпадают;
в) среднее значение остатков равно нулю. К мо-
дели без свободного члена эти выводы не относятся.
Свободный член уравнения регрессии можно вы-
разить из уравнения (2.13):
. (2.14)
Решая систему (2.12) по правилу Крамера, полу-
чим другую формулу для вычисления коэффициента регрессии:
. (2.15)
С учетом формул (1.1’), (1.3’) и (1.2) формулу
(2.15) можно записать в виде:
. (2.16)
Отсюда вывод: коэффициент корреляции
и коэффициент регрессии a имеют один и тот
же знак, который определяется ковариацией.
В модели без свободного члена
регрессии
проходит не через точку со средними
линия
значениями x и y, а через начало координат.
Формула МНК для расчета коэффициента регрес-
сии в модели без свободного члена имеет вид:
.
35
Пример расчета параметров парной регрессии
2
2
2
94,187437,372
62,1194,182125,226
xx
yxxy
a
7213.3
8831,1
85,0),( х
s
s
YXra
x
y
94,18433,062,11 xayb
min...),,...,(
1
2
)()2(
2
)1(
121
ni
m
i
m
ii
im
bxaxaxaybaaaQ
i
m
i
m
i
m
m
ii
m
ii
m
i
i
i
m
ii
m
iiii
i
i
m
ii
m
iiii
i
m
i
m
ii
yxxaxxaxxaxb
yxxxaxaxxaxb
yxxxaxxaxaxb
yxaxaxanb
)(
2
)()()2(
2
)()1(
1
)(
)2()()2(
2
)2(
2
)2()1(
1
)2(
)1()()1()2()1(
2
2
)1(
1
)1(
)()2(
2
)1(
1
...
...........................................................................................................
...
...
...
Параметры модели парной регрессии можно получить с помощью функций НАКЛОН и ОТРЕЗОК.
Для понимания расчетных формул выполним
расчет параметров модели регрессии в табличном виде
Исходные данные – таблица 2. Промежуточные вычисления – см. таблица 7.
Коэффициент регрессии получим по формуле
(2.15):
Второй способ расчета – по формуле (2.16):
Свободный член уравнения получим по формуле
(2.14):
Критерий МНК для множественной регрессии
имеет вид:
Система уравнений МНК для множественной регрессии:
= 0,433.
= 0,433.
= 3,43.
МНК для множественной регрессии
(2.17)
(2.18)
36
Для более компактной записи запишем уравнение
EAXY
.
...
,
...
,
...1
............
...1
...1
,
...
2
1
1
1
221
111
2
1
nmnmn
m
m
n
e
e
e
E
a
a
b
A
xx
xx
xx
X
y
y
y
Y
min)( AXYAXYEEAQ
T
T
T
YXAXXQ
TT
A
22
'
YXAXX
TT
YXXXA
TT
1
i
Муниципальные районы
Y
X1
X2
1
Бахчисарайский
28758
11,124
17,0
2
Белогорский
28192
9,932
13,9
регрессии (2.5) в векторно-матричной форме:
, (2.19)
где
Критерий МНК в матричной форме имеет вид:
уравнений МНК, аналогичную (2.18), в матричной фор-
ме:
ной матрицы, получим следующее выражение для опре-
деления вектора параметров модели регрессии:
Пример расчета параметров множественной
Таблица 8 – Данные для иллюстрации множественной
регрессии
где
Производная имеет вид:
Приравняв производную нулю, получим систему
Решая систему уравнений (2.20) методом обрат-
– операция транспонирования матрицы.
. (2.20)
. (2.21)
регрессии
37
.
,
Продолжение таблицы 8
3
Джанкойский
21501
5,107
7,9
4
Кировский
25096
7,986
11,2
5
Красногвардейский
28775
13,094
13,0
6
Красноперекопский
21951
4,923
12,4
7
Ленинский
25039
8,618
7,5 8 Нижнегорский
24428
8,687
12,5
9
Первомайский
23803
7,596
9,1
10
Раздольненский
25480
10,407
13,9
11
Сакский
25671
4,329
10,7
12
Симферопольский
29494
6,998
20,7
13
Советский
25921
7,939
17,9
Здесь Y – «Среднемесячная номинальная начис-
ленная заработная плата работников по средним и круп-
ным предприятиям и некоммерческим организациям,
рублей» – один из показателей экономического развития. Назовем его далее для краткости «Среднемесячная
заработная плата».
Значения X1 рассчитаны нами как отношение по-
казателя «Число замещенных рабочих мест (средняя
численность работников) по организациям, не относящимся к субъектам малого предпринимательства» к по-
казателю «Численность постоянного населения в среднем за год», выраженное в процентах. Назовем его для
краткости «Доля занятых по организациям, не относящимся к субъектам малого предпринимательства».
Значения X2 – «Доля налоговых и неналоговых
доходов местного бюджета в общем объеме собствен-
ных доходов бюджета муниципального управления,
процентов» – один из показателей группы «Организация
муниципального управления». Назовем его «Доля дохо-
дов местного бюджета».
38
Предварительно убедимся, что форма связи X1
20000
22000
24000
26000
28000
30000
4 6 8 10 12 14
20000
22000
24000
26000
28000
30000
6 8 10 12 14 16 18 20 22
с Y и X2 с Y ,близка к линейной и нет резко выделяю-
щихся наблюдений.
Рисунок 7 – Связь X1 с Y
На рисунке 7 есть два выделяющихся наблюдения, но пока исключать их не будем, при рассмотрении
следующей темы проверим, как это скажется на свой-
ствах модели.
Рисунок 8 – Связь X2 с Y
Определим параметры модели регрессии матрич-
ным методом по формуле (2.11).
Последовательно выполняем промежуточные
расчеты:
39
а) Формируем матрицу X:
1
11,124
17
1
9,932
13,9
1
5,107
7,9
1
7,986
11,2
1
13,094
13
1
4,923
12,4
1
8,618
7,5
1
8,687
12,5
1
7,596
9,1
1
10,407
13,9
1
4,329
10,7
1
6,998
20,7
1
7,939
17,9
1 1 1 1 1 1 1 1 1 1 1 1 1
11,124
9,932
5,107
7,986
13,094
4,923
8,618
8,687
7,60
10,41
4,329
6,998
7,939
17
13,9
7,9
11,2
13
12,4
7,5
12,5
9,10
13,90
10,7
20,7
17,9
T
X
XX
T
13
106,74
167,7
106,74
954,4131
1408,5089
167,7
1408,5089
2344,73
T
X
1
XX
T
1,485238
-0,082288
-0,056796
-0,082288
0,013792
-0,002400
-0,056796
-0,002400
0,005930
б) Транспонируем матрицу X с помощью функ-
ции ТРАНСП:
в) Перемножим матрицы
функции МУМНОЖ
г) Найдем обратную матрицу к произведению
матрицы
и X с помощью
и X с помощью функции МОБР
40
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]