Назаметдинов Анализ данных 2012

то гипотеза H: a1=a2 отвергается.

Заметим, что проблема сравнения регрессий может решаться также с использованием фиктивных переменных (см. п. 4.3).

3.7. Коэффициент детерминации R 2

Поскольку первый столбец матрицы F, отвечающий свободному члену a0 , состоит из единиц, то произведение первого столбца F

ство на N, получаем, что средние значения наблюденных и предсказанных значений выходной переменной совпадают, т.е.

Введем единичный вектор 1, состоящий из N единиц. В векторной записи (3.27) примет вид uˆ 1 0 . Опираясь на (3.26) , получаем

uˆ yˆ u Faˆ (F u) aˆ 0 .

71

Рассмотрим сумму квадратов отклонений от среднего:

Выходит, разброс наблюденных значений вокруг общего среднего распадается на две составляющие: разброс, «объясненный регрессией» и разброс, который объяснить не удалось.

Коэффициент детерминации вводится следующим образом:

72

да R2=1–5/29=0,83; Fр=(1/2)(0,83/(1-0,83))=2,44;

Несмотря на довольно высокое значение R2, уравнение регрессии

предсказания выходной переменной по сравнению с тривиальной

Итак, в регрессиях с детерминированными входными перемен-

ными R 2 необходимо трактовать как показатель, отражающий, насколько модель регрессии лучше модели среднего.

Можно показать, что добавление новых базисных функций не уменьшает R 2 . Однако переизбыток базисных функций, обеспечи-

вающих максимальное значение R 2 =1, вовсе не свидетельствует о содержательной зависимости выхода от входа. Попыткой устра-

нить подобный эффект является коррекция R 2 на число степеней свободы. Скорректированная (adjusted), иначе правленая, оценка

вычисляется так:

прогноз ожидаемого значения выходной переменной по известным значениям входных переменных. В качестве прогнозного значения

yˆ t при заданном xt естественно рассмотреть

73

оценивает дисперсию ожидаемого (среднего) значения. Само же значение выходной переменной («потенциальное» наблюдение связано с ожидаемым соотношением

за. Заметим, что при построении прогноза полагалась адекватность модели регрессии в точках прогноза.

Доказано, что прогноз (3.32) является эффективным в классе

линейных по ~ несмещенных прогнозов. y

Построение доверительного интервала для прогнозных значений возможно при задании распределения ошибок. В случае нор-

мальных отклонений u N (0, σ 2 IN ) с оценкой σ 2 , равной s 2 ,

доверительный интервал строится стандартным образом с применением t-статистики.

Вопросы и упражнения

1.Применим ли метод наименьших квадратов, если число наблюдений меньше числа оцениваемых параметров?

2.В каком случае число столбцов матрицы базисных функций совпадает с числом входных переменных?

74

3.С какой целью вводят «предпосылки регрессии»?

4.Согласно предпосылкам классической регрессии случайные возмущения между собой не коррелируют. Верно ли это утверждение для их оценок?

5.Получите в явном виде оценку МНК в уравнении регрессии

y = a0 , если известны результаты N наблюдений переменной y.

6.Получите в явном виде оценку МНК в уравнении регрессии y = a1х, если известны результаты N наблюдений переменных y и х.

7.Как связаны оценки коэффициента наклона в парной регрес-

сии y a0 a1 x u и коэффициента парной корреляции rxy ?

N

8. В каких случаях равенство uˆ i 0 может не выполняться?

i 1

9.Докажите, что матрица G является идемпотентной.

10.Что означают термины «перебор и недобор факторов»?

11.Покажите, что оценка МНК является линейной по y.

12.Как проверяется значимость коэффициента регрессии?

13.Всегда ли нужно пересчитывать оценки коэффициентов регрессии после отбрасывании незначимых переменных?

14.Что показывает коэффициент детерминации?

15.Дайте геометрическую интерпретацию следующих двух зна-

чений коэффициента детерминации: R2=1 и R2=0.

16.Какие два подхода к оцениванию уравнения регрессии используются при наличии ограничений на коэффициенты?

17.Что показывает тест Чоу?

18.На чем основывается проверка гипотезы об адекватности уравнения регрессии?

19.По какому закону изменяется ошибка прогноза для линейной (по переменным) регрессии?

20.Дайте геометрическую интерпретацию следующих двух зна-

чений коэффициента детерминации: R2=1 и R2=0.

21. Как можно оценить дисперсию случайной компоненты?

75

4. ПРИКЛАДНЫЕ АСПЕКТЫ РЕГРЕССИОННОГО АНАЛИЗА

Практическое использование моделей классической регрессии часто наталкивается на трудности, связанные, в основном, с нарушением предпосылок классической регрессии (п.3.1).

4.1. Ошибки спецификации. Перебор и недобор базисных функций

Под ошибками спецификации в широком смысле понимают нарушение одной или нескольких предпосылок классической регрессии. Рассмотрим вначале случай нарушения гипотезы 1.

Поскольку модель заранее обычно неизвестна, ни количество, ни вид базисных функций не определены. Ошибки спецификации (в узком смысле) сводятся к перебору или недобору базисных функций в уравнении регрессии.

Перебор. Истинная модель есть:

вектор коэффициентов при дополнительных базисных функциях.

Опираясь на формулу Фробениуса обращения блочной матри-

ность ˆ . Отсюда следует, что M[ ]=0. d c

76

ется несмещенной оценкой σ2.

Наличие избыточных базисных функций ведет к потере эффективности оценок. Это утверждение доказывается. Качественно это можно объяснить так. Введение незначимых членов в регрессию не скажется сильно на остаточной сумме квадратов, тогда как число степеней свободы сократится на (m+1), что приводит к возраста-

нию s 2 . Однако при ортогональности функций f и g, т.е. при F G 0, потери в точности оценивания практически не происходит.

Таким образом, если круг «основных» базисных функций определен, то дополнительные базисные функции следует вводить в уравнение регрессии так, чтобы они «не коррелировали» с основным множеством базисных функций.

Недобор. Истинная модель есть (4.1), однако оцениваемое уравне-

Легко видеть, что полученная оценка будет смещенной. Действительно,

F1F1 1 F1 Fa F1 F1 1 F1 F1F2 aa1 F1F1 1 F1 F1a1 F2a2

2

a1 F1 F1 1 F1 F2a2.

Второе слагаемое в последнем выражении отлично от нуля; отсюда вытекает, что оценка МНК для регрессии с недобором явля-

ется смещенной оценкой подвектора a1 .

Заметим, что в случае ортогональности F1 и F2 , т. е. F1 F2 0 , оценка будет несмещенной. Доказано, что оценка МНК в случае

77

недобора не только теряет свойство несмещенности, но становится к тому же несостоятельной. Вот почему недобор считается более существенной ошибкой спецификации, чем перебор.

4.2. Мультиколлинеарность в регрессионном анализе

Мультиколлинеарность исходных данных является одним из существенных препятствий для эффективного применения аппарата регрессионного анализа, порождая проблемы с обращением матрицы F’F. Особенно часто с этой проблемой приходится сталкиваться при анализе экономических данных, содержащих результаты наблюдений по времени, когда входные переменные меняются от точки к точке практически линейно.

4.2.1. Понятие мультиколлинеарности

Обозначим через Fi (i=0,1,…,k) вектор-столбец матрицы значений базисных функций, так что F=[F0F1…Fk]. Мультиколлинеар-

ность означает “почти линейную зависимость” векторов F0,

F1,…,Fk , т.е. существование чисел v0 , v1,…,vk, одновременно не равных нулю, таких, что

Чем ближе линейная комбинация векторов Fi к нулевому вектору, тем сильнее мультиколлинеарность. В предельном случае, когда имеет место строгое равенство, говорят о строгой, иначе полной, мультиколлинеарности.

В условиях полной мультиколлинеарности невозможно построить оценку МНК в силу вырожденности матрицы F′F. Пусть, например, ищется регрессия от трёх переменных

Запишем уравнение (4.3) с учётом (4.4) следующим образом: y = a0 + (a1 – h)x1 + (a2 + h)x2 + (a3 + h)x3 + u ,

где h – произвольная константа. Выходит, что одни и те же наблюдения можно объяснить различными наборами коэффициентов. Если подставить (4.4) в (4.3), исходная система перепишется так:

78

y = a0 + (a1 + a2) x2 + (a1 + a3) x3 + u.

Получается, что по результатам наблюдений можно оценить лишь три параметра: a0, (a1 + a2), (a1 + a3). В общем случае, если ранг матрицы (F’F) равен l<(k+1), то оценить можно только l линейных комбинаций исходных коэффициентов.

На практике строгое равенство является скорее исключением. Это связано с наличием как ошибок измерения, возможно незначительных (см. предпосылку 2 классической регрессии), так и ошибок округления. Основная опасность, которую привносит мультиколлинеарность, связана с потерей эффективности оценок МНК, поскольку дисперсия оценок становится большой. Рассмотрим, к примеру, линейную модель от двух центрированных переменных с нулевым свободным членом (см.п. 3.2), т. е.

одинаковый масштаб измерения. Этого можно добиться нормировкой векторов X1 и X2 на их длину.

Тогда

большие значения.

79

Отметим, что в условиях мультиколлинеарности оценки коэффициентов регрессии становятся неустойчивыми: небольшие изменения значений исходных переменных, добавление или удаление нескольких наблюдений существенно сказываются на значениях оценок. Иными словами, оценки становятся зависящими не столько от связи между выходом и входом, сколько от взаимозависимости входных переменных между собой.

4.2.2. Меры мультиколлинеарности

Мультиколлинеарность проявляется в различных аспектах и её трудно охарактеризовать единственной мерой. Рассмотрим наиболее употребительные.

а. Определитель матрицы F'F. Наличие приближенной линейной зависимости между столбцами F делает матрицу плохо обусловленной. У такой матрицы определитель близок к нулю.

б. Минимальное собственное значение матрицы F'F .

Обозначим через w левую часть равенства (4.2) и будем искать такой набор коэффициентов v = (v0 , v1 ,…,vk), который приводит к максимально приближенной к нулю линейной комбинации столбцов матрицы F. В качестве меры расхождения между w и нулевым вектором возьмём квадрат евклидова расстояния ||w – 0||2 = ||w||2.

В введенных обозначениях:

||w||2 = ||v0F0 + v1F1 + … + vkFk||2 = (Fv)′ (Fv) = v'F'Fv .

Компоненты вектора v не могут одновременно равняться нулю; его норма (длина) принимается за единицу, т. е. v ′ v = 1.

В итоге мы приходим к следующей оптимизационной задаче:

Решение оптимизационной задачи (4.5)–(4.6) свелось к проблеме собственных значений (4.7). Из (4.5)–(4.7) следует , что

80