Binder1
.pdf4) |
D |
|
ˆ |
|
2 |
X |
T |
X |
1 |
ˆ |
|
|
|
|
|
– ковариационная матрица вектора оценок , |
|||||
5) |
ˆ N , 2 X T X 1 . |
Пример интерпретации коэффициентов множественной регрессии. Пусть выборочное уравнение множественной регрессии, характеризующее зависимость объема продаж услуг (в млн. руб.) от количества работающих и объема основных производственных средств имеет вид (пример 2):
|
YX |
42, 23 20, 27 X1 |
1, 04 X 2 . |
|
|
|
|
|
|
|
|
Это означает, что при увеличении количества работающих ( X1 ) на 1 тыс. чел. (при |
|||||
неизменном |
X 2 ) средний объем продаж услуг увеличится |
на 20,27 |
млн. руб., а при |
||
увеличении |
объема основных |
производственных |
средств |
( X 2 ) на |
1 млн. руб. (при |
неизменном X1 ) средний объем продажи услуг увеличится на 1,04 млн. руб.
4. Оценка дисперсии случайной ошибки модели и ее свойства
|
Пусть |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
ˆ |
ˆ |
ˆ |
|
|
|
|
ˆ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
YX |
b0 |
b1 X1 bk X k –выборочное уравнение регрессии, |
|
|
|
|
|
|
|||||||||||||||||||||
RSS min |
|
|
|
|
|
n |
e2 |
, |
e y yˆ |
|
, |
|
|
|
|
|
|
|
|
|
|
||||||||
Y X |
|
|
i |
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
i |
|
|
|
i |
i |
|
|
|
|
|
|
|
|
|
|
|
||||
|
ˆ |
ˆ |
|
|
ˆ |
i 1 |
|
T |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
ˆ |
|
|
|
|
|
|
– оценка значения |
yi . |
|
|
|
|
|
|
|
||||||||||||||
yi |
b0 |
b1xi1 |
|
|
bk xik |
|
xi |
|
|
|
|
|
|
|
|
||||||||||||||
|
Обычно оценка дисперсии ошибки модели |
2 |
|
|
|
|
2 |
|
RSS |
||||||||||||||||||||
|
|
находится по формуле: |
|
|
|
. |
|||||||||||||||||||||||
|
|
n m |
|||||||||||||||||||||||||||
|
Величину ˆ |
|
2 |
|
называют стандартной ошибкой общей линейной модели. |
||||||||||||||||||||||||
|
|
|
|
||||||||||||||||||||||||||
|
|
|
|
|
год |
|
|
|
|
|
yi |
|
|
|
yˆ |
42, 23 20, 27 X |
1 |
1, 04 X |
2 |
ei yi yˆi |
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
1991 |
|
|
|
|
11 |
|
|
|
|
|
|
11,72 |
|
|
|
|
-0,72 |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
1992 |
|
|
|
|
13 |
|
|
|
|
|
|
13,74 |
|
|
|
|
-0,74 |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
1993 |
|
|
|
|
16 |
|
|
|
|
|
|
16,81 |
|
|
|
|
-0,81 |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
1994 |
|
|
|
|
24 |
|
|
|
|
|
|
19,87 |
|
|
|
|
4,13 |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
1995 |
|
|
|
|
24 |
|
|
|
|
|
|
23,96 |
|
|
|
|
0,04 |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
1996 |
|
|
|
|
26 |
|
|
|
|
|
|
26,04 |
|
|
|
|
-0,04 |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
1997 |
|
|
|
|
27 |
|
|
|
|
|
|
28,06 |
|
|
|
|
-1,06 |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
1999 |
|
|
|
|
28 |
|
|
|
|
|
|
31,12 |
|
|
|
|
-3,12 |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
2000 |
|
|
|
|
29 |
|
|
|
|
|
|
29,10 |
|
|
|
|
-0,10 |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Стандартная ошибка оцениок коэффициента регрессии при m k 1 вычисляется по формуле:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
2 |
|
|
|
|
2 |
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
||||
Sbi |
X |
T |
X |
1 |
|
|
X |
T |
X |
1 |
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
. |
|||||||
|
|
|
|
|
|
n |
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
2 |
|
n X12 |
||||||||||||||||
|
|
|
|
|
1,1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
xi,1 |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i 1 |
|
|
|
|
|
|
|
Пример 3. Если оценка ковариационной матрицы равна |
|
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
170, 23 |
100,93 |
|
5,15 |
|
|
|
|
|
|
|
|||||||||
|
ˆ |
ˆ |
|
|
|
|
|
|
62,30 |
|
|
3, 43 |
|
, |
|
|
|
|
||||||
|
D( ) |
100,93 |
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
5,15 |
|
3, 43 |
|
0, 21 |
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
а множественная регрессионная модель
Y b0 b1 X1 b2 X 2 ,
то стандартные ошибки оценок коэффициентов регрессии имеют следующие значения:
Sb |
|
170, 23 13, 05, Sb |
|
62,30 7,89, |
|
0 |
|
1 |
|
|
|
Sb |
|
|
0, 46. |
|
|
0, 21 |
|
|
|||
2 |
|
|
|
|
|
5. Проверка статистических гипотез о коэффициентах общей линейной модели
Проверка осуществляется с помощью t -статистик, которые в условиях справедливости нулевой гипотезы имеют распределения Стьюдента с n m степенями свободы.
Проверка гипотезы о значении коэффициента bi
Задача. |
|
H |
0 |
: |
b b0 |
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
i i |
|
|
|
|
|
ˆ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
Используется t -статистика вида: |
t |
i |
|
bi |
bi |
. |
|||||||||
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Sb |
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
Нулевая гипотеза принимается, если |
|
|
|
i |
|||||||||||
|
|
|
|
|
|
|||||||||||
1) |
|
t |
|
t |
|
[St(n m)] |
(при H |
1 |
: |
|
b b0 ) |
|||||
|
|
|
|
|||||||||||||
|
|
i |
|
|
1 |
|
|
|
|
|
|
i |
i |
|||
2) |
t |
x |
|
[St(n m)] |
(при H |
|
: |
b |
b0 ) |
|||||||
|
|
i |
|
|
|
1 |
|
|
1 |
|
|
|
i |
i |
||
3) |
t x |
|
[St(n m)] |
(при H |
|
: |
|
b |
b0 ) |
|||||||
|
|
i |
|
|
1 |
|
|
1 |
|
|
|
i |
i |
Проверка незначимости (существенности) коэффициента bi
Задача. H0 : bi 0
ˆ
Используется t -статистика вида ti bi .
Sbi
Нулевая гипотеза принимается, если
1) |
|
ti |
t1 [St(n m)] |
(при H1 : |
bi 0 ) |
||||
2) |
t |
i |
x |
|
[St(n m)] |
(при H |
: |
b 0 ) |
|
|
|
|
1 |
|
|
1 |
i |
||
3) |
t |
i |
x |
[St(n m)] |
(при H |
: |
b 0 ) |
||
|
|
|
1 |
|
|
1 |
i |
Пример 4. С помощью метода наименьших квадратов по 16 наблюдениям получена
|
|
ˆ |
2 X1 3X 2 6 X 3 7 X 4 , где Y |
|
оценка функции спроса на говядину в следующем виде: YX |
||||
– спрос на говядину (в тоннах), X1 – цена говядины (в у.е.), X 2 |
– цена свинины (в у.е.), X 3 |
|||
– цена баранины (в у.е.), X 4 – цена крольчатины (в у.е.). Оценка ковариационной матрицы |
||||
оценок коэффициентов регрессии имеет вид: |
|
|
|
|
16 |
0, 2 |
0,3 |
0, 4 |
|
|
|
|
|
|
0, 01 * |
4 |
0, 2 |
0,1 |
. |
* |
* |
9 |
0 |
|
|
* |
* |
1 |
|
* |
|
На уровне значимости 0,05 проверить гипотезу о том, что спрос на говядину не изменится в связи с увеличением цены на баранину на 2 у.е.
Решение.
1) Проверим гипотезу о незначимости коэффициента при переменной X 3 , имея в виду, что в условиях используемой модели спрос на говядину не может измениться при изменении цены на баранину, если коэффициент регрессии при переменной X 3 равен нулю.
2) Вычисления проводим в предположении, что исходные данные описываются регрессионной моделью вида
Y b1 X1 b2 X 2 b3 X 3 b4 X 4 .
В условиях примера n 16, |
ˆ |
|
Sb |
|
|
|
6, |
0, 01 9 0,3 . |
|||||
b3 |
||||||
|
|
|
3 |
|
|
|
Для проверки гипотезы H0 : |
b3 0 |
против альтернативной H1 : b3 0 найдем |
|
ˆ |
|
6 |
|
t |
b3 |
|
20 . |
|
|
|
|||
3 |
Sb |
|
0,3 |
|
|
|
|||
|
3 |
|
|
|
Критическое значение t -статистики равно
t1 0,05[St(n m)] t1 0,05[St(16 4)] t0,95[St(12)]x1 0,95 [St(12)] x0,975[St(12)] 2,18
2
Поскольку | 20 | 2,18 , то параметр модели b3 значим на уровне значимости 0,05.
ВЫВОД. Есть основания считать, что спрос на говядину изменится в связи с увеличением цены баранины на 2 у.е.
6. Оценка качества множественной линейной модели в целом
Модель наблюдений:
(6)yi b0 b1xi1 b2 xi 2 bk xik i .
1.Коэффициент детерминации, соответствующий модели наблюдений (6):
|
|
ESS |
|
RSS |
|
RSS |
|
n |
||
(7) |
R2 |
1 |
1 |
, |
ESS yˆi Y |
2 . |
||||
TSS |
TSS |
2 |
||||||||
|
|
|
|
nSY |
i 1 |
Определяет долю дисперсии зависимой переменной, объясненную выбранной моделью.
Возможно разложение общей (полной) суммы квадратов отклонений |
TSS ESS RSS . |
||||||||||||
Оно справедливо только при наличии постоянной составляющей в модели (6). |
|||||||||||||
Разложение выборочной дисперсии зависимой переменной: |
|
|
|
|
|||||||||
|
|
SY2 S 2ˆ Se2 ; |
S 2ˆ |
|
1 |
n |
2 , Se2 |
|
1 |
n |
ei2 |
||
|
yˆi Y |
||||||||||||
|
|
|
|||||||||||
|
|
|
|
Y |
Y |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n i 1 |
|
n i 1 |
|
|||
S 2 |
- |
общая дисперсия |
, |
|
|
|
|
|
|
|
|
|
|
Y |
|
|
|
|
|
|
|
|
|
|
|
|
|
S 2ˆ |
|
|
|
|
|
|
|
|
|
|
|||
- |
факторная дисперсия |
, |
|
|
|
|
|
|
|
|
|
||
Y |
|
|
|
|
|
|
|
|
|
|
|
|
|
Se2 - остаточная дисперсия.
Другая возможная интерпретация коэффициента детерминации:
R |
2 |
2 |
ˆ |
|
r* |
(Y ,Y ) . |
2. Множественный коэффициент корреляции (multiple-R)
3 |
R |
ˆ |
|
R |
2 |
. |
r* (Y ,Y ) |
|
Чем ближе R2 и R к единице, тем в большей степени можно считать, что имеющиеся данные связаны множественной линейной регрессионной зависимостью.
Включение в модель (1) одной или нескольких новых переменных может привести только к увеличению R2 .
Коэффициент детерминации не может уменьшиться даже при включении в модель несущественных переменных.
Включением в модель достаточно большого числа переменных можно добиться коэффициента детерминации, равного единице!!!
3.Скорректированный коэффициент детерминации:
4 |
Radj2 1 |
n 1 RSS |
1 |
n 1 |
(1 R2 ), m k 1. |
|||
|
|
|
|
|||||
n m TSS |
n m |
|||||||
|
|
|
|
Обычно скорректированный коэффициент детерминации ведет себя как выпуклая кверху функция относительно количества включенных в модель переменных k.
Его свойства.
Radj2 R2 при n m 1.
При использовании коэффициента Radj2 для выбора между конкурирующими моделями лучшей признается та из них, для которой этот коэффициент имеет большее значение.
7.Проверка (не)значимости множественной линейной регрессионной модели
H0 : b1 b2 bk 0 (ни одна из объясняющих переменных не оказывает влияние на
результирующий показатель, модель не значима) или
H0 : RГ2 0 (генеральный коэффициент детерминации равен нулю, модель не значима)
Конкурирующая гипотеза H1 : RГ2 0 (модель значима).
F-статистика в условиях справедливости нулевой гипотезы имеет распределение Фишера
F (k, n m) .
Модель (6) значима, если F x1 [F (k, |
n m)]. |
|
|||
В противном случае – незначима. |
|
|
|
||
Пример. На уровне |
значимости |
0,05 |
проверить |
гипотезу о значимости модели |
|
Y b0 b1 X1 |
b2 X 2 , |
если по 12 |
наблюдениям с |
использованием этой модели был |
|
вычислен R2 |
0,95. |
|
|
|
|
Решение. Проверим гипотезу о значимости модели H0 : RГ2 0 (модель не значима).
H1 : RГ2 0 (модель значима). Вычислим значение F -статистики:
F |
|
R2 |
|
n m |
|
0,95 |
|
12 3 |
85,5 . |
|
|
R2 |
k |
1 0,95 |
2 |
|
|||||
1 |
|
|
|
|
|
|||||
Критическое значение статистики: |
|
|
|
|
|
|
|
|||
x1 [F (k, n m)] x1 0,05[F (2, 12 3)] x0,95[F (2,9)] 4, 26 Так как |
85,5 4, 26, то |
|||||||||
на уровне значимости 0,05 можно утверждать, что модель значима. |
|
Таблица дисперсионного анализа (реализация в EXCEL)
Дисперсионный |
|
|
|
|
|
|
|
|
|
|
|
||||
анализ |
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
df |
|
|
|
|
SS |
MS |
|
F |
Значимость |
|||
|
|
|
degrees |
|
|
|
|
|
sum |
mean |
|
|
F |
||
|
|
|
freedom |
|
|
|
|
square |
square |
|
|
|
|||
Регрессия |
|
|
2 |
|
|
|
160,62 |
|
80,31 |
|
86,87 |
0,08 |
|||
|
|
|
|
|
|
|
|
|
(ESS) |
|
|
(ESS/df) |
|
|
|
Остаток |
1 |
|
|
|
0,92 (RSS) |
0,92 |
|
|
|
||||||
Итого |
3 |
|
|
|
|
|
|
|
|
(RSS/df) |
|
|
|
||
|
|
161,55 |
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
(TSS) |
|
|
|
|
|
|