Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

Binder1

.pdf
Скачиваний:
30
Добавлен:
30.03.2015
Размер:
2.59 Mб
Скачать

4)

D

 

ˆ

 

2

X

T

X

1

ˆ

 

 

 

 

 

– ковариационная матрица вектора оценок ,

5)

ˆ N , 2 X T X 1 .

Пример интерпретации коэффициентов множественной регрессии. Пусть выборочное уравнение множественной регрессии, характеризующее зависимость объема продаж услуг (в млн. руб.) от количества работающих и объема основных производственных средств имеет вид (пример 2):

 

YX

42, 23 20, 27 X1

1, 04 X 2 .

 

 

 

 

 

 

 

 

Это означает, что при увеличении количества работающих ( X1 ) на 1 тыс. чел. (при

неизменном

X 2 ) средний объем продаж услуг увеличится

на 20,27

млн. руб., а при

увеличении

объема основных

производственных

средств

( X 2 ) на

1 млн. руб. (при

неизменном X1 ) средний объем продажи услуг увеличится на 1,04 млн. руб.

4. Оценка дисперсии случайной ошибки модели и ее свойства

 

Пусть

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ˆ

ˆ

ˆ

 

 

 

 

ˆ

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

YX

b0

b1 X1 bk X k –выборочное уравнение регрессии,

 

 

 

 

 

 

RSS min

 

 

 

 

 

n

e2

,

e y yˆ

 

,

 

 

 

 

 

 

 

 

 

 

Y X

 

 

i

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i

 

 

 

i

i

 

 

 

 

 

 

 

 

 

 

 

 

ˆ

ˆ

 

 

ˆ

i 1

 

T

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ˆ

 

 

 

 

 

 

– оценка значения

yi .

 

 

 

 

 

 

 

yi

b0

b1xi1

 

 

bk xik

 

xi

 

 

 

 

 

 

 

 

 

Обычно оценка дисперсии ошибки модели

2

 

 

 

 

2

 

RSS

 

 

находится по формуле:

 

 

 

.

 

 

n m

 

Величину ˆ

 

2

 

называют стандартной ошибкой общей линейной модели.

 

 

 

 

 

 

 

 

 

год

 

 

 

 

 

yi

 

 

 

yˆ

42, 23 20, 27 X

1

1, 04 X

2

ei yi yˆi

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1991

 

 

 

 

11

 

 

 

 

 

 

11,72

 

 

 

 

-0,72

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1992

 

 

 

 

13

 

 

 

 

 

 

13,74

 

 

 

 

-0,74

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1993

 

 

 

 

16

 

 

 

 

 

 

16,81

 

 

 

 

-0,81

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1994

 

 

 

 

24

 

 

 

 

 

 

19,87

 

 

 

 

4,13

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1995

 

 

 

 

24

 

 

 

 

 

 

23,96

 

 

 

 

0,04

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1996

 

 

 

 

26

 

 

 

 

 

 

26,04

 

 

 

 

-0,04

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1997

 

 

 

 

27

 

 

 

 

 

 

28,06

 

 

 

 

-1,06

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1999

 

 

 

 

28

 

 

 

 

 

 

31,12

 

 

 

 

-3,12

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2000

 

 

 

 

29

 

 

 

 

 

 

29,10

 

 

 

 

-0,10

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2001

33

32,16

0,84

 

 

 

 

2002

33

32,16

0,84

 

 

 

 

2003

36

35,27

0,73

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

RSS ei2 ( 0, 72)2 ( 0, 74)2

0,842

0, 732 31, 65

 

 

 

 

 

 

i 1

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

). В условиях теоремы 2

 

 

Теорема 3 (свойства оценки

 

 

 

 

 

2

 

– несмещенная оценка

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ˆ

 

ˆ

2

X

T

X

1

 

 

 

 

 

 

 

 

 

 

 

ˆ

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2) D

 

 

 

 

– несмещенная оценка D

 

 

 

 

2

n m

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

3)

 

 

2 n m

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

4) для любого m -мерного столбца

 

 

 

 

 

 

 

 

 

 

 

c

ˆ

T

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

T

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

c

c

 

 

 

 

St n m

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

T

X

T

X

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

c

 

 

c

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Примечание

1. Несмещенные оценки дисперсий оценок коэффициентов регрессии

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ˆ

 

ˆ

находятся на главной диагонали оценки ковариационной матрицы D

 

 

 

 

 

 

 

 

Sb2

 

 

 

 

 

 

 

0

 

 

 

 

 

 

 

 

ˆ

 

ˆ

 

 

ˆ

ˆ

ˆ

 

 

K b0

,b1

D

 

 

 

 

 

 

 

 

 

 

 

ˆ

 

 

 

 

 

 

ˆ

ˆ

 

 

 

 

K

b0

,bk

ˆ

ˆ

ˆ

 

 

ˆ

ˆ

ˆ

 

 

 

K b0

,b1

K

b0

,bk

 

 

 

 

2

 

 

ˆ

ˆ

ˆ

 

 

 

 

Sb1

 

K b1

,bk

 

,

m k 1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ˆ

ˆ

ˆ

 

 

 

 

 

 

 

 

2

 

 

 

K b1,bk

 

Sbk

 

 

 

Стандартная ошибка оценки коэффициента регрессии Sb

Sb2

вычисляется по формуле:

 

 

 

 

 

 

 

 

 

 

i

 

 

i

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Sbi

2

X

T

X

1

; Sb1

 

2

X

T

X

1

(пример)

 

 

ii

 

 

 

 

 

 

 

 

 

 

 

 

 

 

11

 

 

Примечание 2. Несмещенные оценки дисперсий оценок коэффициентов регрессии в

модели с нулевым свободным членом m k :

 

 

 

 

 

 

Sb2

ˆ

 

ˆ

 

 

 

 

1

 

 

 

 

 

D

 

 

 

ˆ

 

 

 

 

 

ˆ

ˆ

 

 

 

 

K b1

,bk

ˆˆ ˆ

K b1,bk

.

 

2

 

Sbk

 

 

 

Стандартная ошибка оцениок коэффициента регрессии при m k 1 вычисляется по формуле:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

2

 

 

 

2

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

Sbi

X

T

X

1

 

 

X

T

X

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

.

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

2

 

n X12

 

 

 

 

 

1,1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

xi,1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i 1

 

 

 

 

 

 

 

Пример 3. Если оценка ковариационной матрицы равна

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

170, 23

100,93

 

5,15

 

 

 

 

 

 

 

 

ˆ

ˆ

 

 

 

 

 

 

62,30

 

 

3, 43

 

,

 

 

 

 

 

D( )

100,93

 

 

 

 

 

 

 

 

 

 

 

 

 

5,15

 

3, 43

 

0, 21

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

а множественная регрессионная модель

Y b0 b1 X1 b2 X 2 ,

то стандартные ошибки оценок коэффициентов регрессии имеют следующие значения:

Sb

 

170, 23 13, 05, Sb

 

62,30 7,89,

0

 

1

 

 

Sb

 

 

0, 46.

 

 

0, 21

 

 

2

 

 

 

 

 

5. Проверка статистических гипотез о коэффициентах общей линейной модели

Проверка осуществляется с помощью t -статистик, которые в условиях справедливости нулевой гипотезы имеют распределения Стьюдента с n m степенями свободы.

Проверка гипотезы о значении коэффициента bi

Задача.

 

H

0

:

b b0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i i

 

 

 

 

 

ˆ

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0

 

 

Используется t -статистика вида:

t

i

 

bi

bi

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Sb

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Нулевая гипотеза принимается, если

 

 

 

i

 

 

 

 

 

 

1)

 

t

 

t

 

[St(n m)]

(при H

1

:

 

b b0 )

 

 

 

 

 

 

i

 

 

1

 

 

 

 

 

 

i

i

2)

t

x

 

[St(n m)]

(при H

 

:

b

b0 )

 

 

i

 

 

 

1

 

 

1

 

 

 

i

i

3)

t x

 

[St(n m)]

(при H

 

:

 

b

b0 )

 

 

i

 

 

1

 

 

1

 

 

 

i

i

Проверка незначимости (существенности) коэффициента bi

Задача. H0 : bi 0

ˆ

Используется t -статистика вида ti bi .

Sbi

Нулевая гипотеза принимается, если

1)

 

ti

t1 [St(n m)]

(при H1 :

bi 0 )

2)

t

i

x

 

[St(n m)]

(при H

:

b 0 )

 

 

 

1

 

 

1

i

3)

t

i

x

[St(n m)]

(при H

:

b 0 )

 

 

 

1

 

 

1

i

Пример 4. С помощью метода наименьших квадратов по 16 наблюдениям получена

 

 

ˆ

2 X1 3X 2 6 X 3 7 X 4 , где Y

оценка функции спроса на говядину в следующем виде: YX

– спрос на говядину (в тоннах), X1 – цена говядины (в у.е.), X 2

– цена свинины (в у.е.), X 3

– цена баранины (в у.е.), X 4 – цена крольчатины (в у.е.). Оценка ковариационной матрицы

оценок коэффициентов регрессии имеет вид:

 

 

 

16

0, 2

0,3

0, 4

 

 

 

 

 

 

0, 01 *

4

0, 2

0,1

.

*

*

9

0

 

 

*

*

1

 

*

 

На уровне значимости 0,05 проверить гипотезу о том, что спрос на говядину не изменится в связи с увеличением цены на баранину на 2 у.е.

Решение.

1) Проверим гипотезу о незначимости коэффициента при переменной X 3 , имея в виду, что в условиях используемой модели спрос на говядину не может измениться при изменении цены на баранину, если коэффициент регрессии при переменной X 3 равен нулю.

2) Вычисления проводим в предположении, что исходные данные описываются регрессионной моделью вида

Y b1 X1 b2 X 2 b3 X 3 b4 X 4 .

В условиях примера n 16,

ˆ

 

Sb

 

 

6,

0, 01 9 0,3 .

b3

 

 

 

3

 

 

Для проверки гипотезы H0 :

b3 0

против альтернативной H1 : b3 0 найдем

 

ˆ

 

6

 

t

b3

 

20 .

 

 

3

Sb

 

0,3

 

 

 

3

 

 

 

Критическое значение t -статистики равно

t1 0,05[St(n m)] t1 0,05[St(16 4)] t0,95[St(12)]x1 0,95 [St(12)] x0,975[St(12)] 2,18

2

Поскольку | 20 | 2,18 , то параметр модели b3 значим на уровне значимости 0,05.

ВЫВОД. Есть основания считать, что спрос на говядину изменится в связи с увеличением цены баранины на 2 у.е.

6. Оценка качества множественной линейной модели в целом

Модель наблюдений:

(6)yi b0 b1xi1 b2 xi 2 bk xik i .

1.Коэффициент детерминации, соответствующий модели наблюдений (6):

 

 

ESS

 

RSS

 

RSS

 

n

(7)

R2

1

1

,

ESS yˆi Y

2 .

TSS

TSS

2

 

 

 

 

nSY

i 1

Определяет долю дисперсии зависимой переменной, объясненную выбранной моделью.

Возможно разложение общей (полной) суммы квадратов отклонений

TSS ESS RSS .

Оно справедливо только при наличии постоянной составляющей в модели (6).

Разложение выборочной дисперсии зависимой переменной:

 

 

 

 

 

 

SY2 S 2ˆ Se2 ;

S 2ˆ

 

1

n

2 , Se2

 

1

n

ei2

 

yˆi Y

 

 

 

 

 

 

 

Y

Y

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n i 1

 

n i 1

 

S 2

-

общая дисперсия

,

 

 

 

 

 

 

 

 

 

 

Y

 

 

 

 

 

 

 

 

 

 

 

 

 

S 2ˆ

 

 

 

 

 

 

 

 

 

 

-

факторная дисперсия

,

 

 

 

 

 

 

 

 

 

Y

 

 

 

 

 

 

 

 

 

 

 

 

 

Se2 - остаточная дисперсия.

Другая возможная интерпретация коэффициента детерминации:

R

2

2

ˆ

 

r*

(Y ,Y ) .

2. Множественный коэффициент корреляции (multiple-R)

3

R

ˆ

 

R

2

.

r* (Y ,Y )

 

Чем ближе R2 и R к единице, тем в большей степени можно считать, что имеющиеся данные связаны множественной линейной регрессионной зависимостью.

Включение в модель (1) одной или нескольких новых переменных может привести только к увеличению R2 .

Коэффициент детерминации не может уменьшиться даже при включении в модель несущественных переменных.

Включением в модель достаточно большого числа переменных можно добиться коэффициента детерминации, равного единице!!!

3.Скорректированный коэффициент детерминации:

4

Radj2 1

n 1 RSS

1

n 1

(1 R2 ), m k 1.

 

 

 

 

n m TSS

n m

 

 

 

 

Обычно скорректированный коэффициент детерминации ведет себя как выпуклая кверху функция относительно количества включенных в модель переменных k.

Его свойства.

Radj2 R2 при n m 1.

При использовании коэффициента Radj2 для выбора между конкурирующими моделями лучшей признается та из них, для которой этот коэффициент имеет большее значение.

7.Проверка (не)значимости множественной линейной регрессионной модели

H0 : b1 b2 bk 0 (ни одна из объясняющих переменных не оказывает влияние на

результирующий показатель, модель не значима) или

H0 : RГ2 0 (генеральный коэффициент детерминации равен нулю, модель не значима)

Конкурирующая гипотеза H1 : RГ2 0 (модель значима).

F-статистика в условиях справедливости нулевой гипотезы имеет распределение Фишера

F (k, n m) .

Модель (6) значима, если F x1 [F (k,

n m)].

 

В противном случае – незначима.

 

 

 

Пример. На уровне

значимости

0,05

проверить

гипотезу о значимости модели

Y b0 b1 X1

b2 X 2 ,

если по 12

наблюдениям с

использованием этой модели был

вычислен R2

0,95.

 

 

 

 

Решение. Проверим гипотезу о значимости модели H0 : RГ2 0 (модель не значима).

H1 : RГ2 0 (модель значима). Вычислим значение F -статистики:

F

 

R2

 

n m

 

0,95

 

12 3

85,5 .

 

 

R2

k

1 0,95

2

 

1

 

 

 

 

 

Критическое значение статистики:

 

 

 

 

 

 

 

x1 [F (k, n m)] x1 0,05[F (2, 12 3)] x0,95[F (2,9)] 4, 26 Так как

85,5 4, 26, то

на уровне значимости 0,05 можно утверждать, что модель значима.

 

Таблица дисперсионного анализа (реализация в EXCEL)

Дисперсионный

 

 

 

 

 

 

 

 

 

 

 

анализ

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

df

 

 

 

 

SS

MS

 

F

Значимость

 

 

 

degrees

 

 

 

 

 

sum

mean

 

 

F

 

 

 

freedom

 

 

 

 

square

square

 

 

 

Регрессия

 

 

2

 

 

 

160,62

 

80,31

 

86,87

0,08

 

 

 

 

 

 

 

 

 

(ESS)

 

 

(ESS/df)

 

 

 

Остаток

1

 

 

 

0,92 (RSS)

0,92

 

 

 

Итого

3

 

 

 

 

 

 

 

 

(RSS/df)

 

 

 

 

 

161,55

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(TSS)

 

 

 

 

 

 

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]