Назаметдинов Анализ данных 2012

сказанными по уравнению регрессии значениями выходной переменной «слишком велико». Уравнение регрессии недостаточно «гибко» следует за данными и его следует отвергнуть.

При χ 2 χ2 отклонения слишком малы; уравнение рег-

p T[1 q / 2]

рессии «слишком чутко» реагировало на случайные возмущения, такое уравнение можно «огрубить», уменьшив число базисных функций.

При χ2 χ2 2 данные не противоречат гипотезе об

T[1 q / 2] T[q 2]

адекватности.

2. Величина σ2 неизвестна, но может быть оценена. Это могут быть, например, опыты по проверке воспроизводимости, когда при одном и том же значении входных переменных имеется несколько наблюдений (для определенности m). Разброс значений выходной переменной в этом случае обусловлен только действием случайного компонента. По этим наблюдениям оценивают дисперсию

sв2 . Для того чтобы сопоставить две оценки дисперсии случайного компонента, находят

и сравнивают с табличным значением статистики Фишера при N-(k+1) степеней свободы числителя (ЧССЧ) и (m-1) степеней свободы знаменателя (ЧССЗ) для выбранного уровня значимости q (надежности (1-q) %). Это табличное значение будем обозначать

как FТ [1-q; ЧССЧ; ЧССЗ] либо просто FТ.

Если Fp > FT, то гипотеза об адекватности отвергается (модель слишком грубая). При Fp < FT модель принимается. Однако если при этом Fp<1, то это может указывать на излишнюю «чуткость» уравнения на случайные возмущения.

62

=1,2,…, mi), при этом m1+m2+ … +mp=N. В этом случае уравнение

подход справедлив, если m1=m2=…=mp. В противном случае, дисперсии средних будут различаться и эффективными будут оценки обобщенного МНК (см. п. 4.5.1).

Дальнейшая проверка происходит так же, как и в п.2.

3.5.2. Оценивание методом максимального правдоподобия

Введение гипотезы о нормальности возмущений дает возможность воспользоваться общестатистическим методом оценивания – методом максимального правдоподобия (ММП).

Необходимое условие экстремума:

63

3.6. Проверка статистических гипотез относительно коэффициентов регрессии

Как уже отмечалось, подобная проверка оказывается возможной при известном законе распределения случайной компоненты, а именно, в предположении нормальности u. В этом случае

(aˆ a) N(0, 2 (F F) 1) ,

а для отдельной компоненты

3.6.1. Проверка гипотезы H0: ai=ai0

Задавшись уровнем значимости q (обычно q=0,05) по таблице t- распределения, находят двусторонний квантиль tT [q , N – ( k + 1 ) ]. Тогда (aˆi tT s (aˆi ), aˆi tT s (aˆi )) есть (1-q)%-ный доверительный интер-

вал для истинного значения коэффициента ai . Если ai0 попадает внутрь доверительного интервала, или точнее, интервал накрывает ai0 , то гипотеза принимается. Другая, более распространенная форма проверки H0 : ai ai0 следующая: вычисляют

64

и сравнивают с tT [q , N – ( k + 1 ) ]. При t p > t T H 0 отклоняется.

Если ai0 = 0 , то речь идет о проверке значимости коэффициента

ется от нуля. Отметим, что в статистических программных пакетах

Следует отметить, что проверка гипотезы Н0: аi = 0 важная и ответственная процедура в регрессионном анализе. От ответа на вопрос, считать ли коэффициент значимо отличающимся от нуля, зависит: оставить или исключить соответствующую базисную функцию из уравнения регресии. Проверка статистических гипотез сопровождается появлением ошибок первого и второго рода.

от нуля больше, чем на tT s(aˆi ) в обе стороны в q % случаев (q – ма-

лая величина, называемая уровнем значимости). Если это имело место, т.е. t p > t T , то такое событие считается практически невозможным и H0 отвергается, так что соответствующая базисная функция должна остаться в уравнении регрессии. Тем самым совершается ошибка первого рода, приводящая к переизбытку, перебору, базисных функций.

Ошибка второго рода возникает, если истинное значение коэффициента регрессии отлично от нуля, т.е. a i ≠ 0, а статистическая проверка не выявила значимость коэффициента, т.е. принимается,

что ai 0 , а поэтому соответствующая базисная функция исклю-

чается из регрессии. Вероятность совершения такой ошибки не постоянна и зависит от ai. Таким образом, ошибка второго рода ведет к недобору базисных функций в уравнении регрессии. Недобор и перебор базисных функций в уравнении регрессии являются ошибками спецификации и подробно рассматриваются в п. 4.1.

65

Отметим только, что недобор ведет к более «тяжким» последст-ви- ям, чем перебор, порождая смещение в оценках.

Общая рекомендация здесь такая: уровень значимости не должен быть слишком малым, так как при этом повышается веро-

Оценка дисперсии случайной компоненты по уравнению регрессии составляет (см. (3.10))

s2=[(9-10,5)2+(2-0,5)2+(7-6,5)2+(4-4,5)2]/(4-3)=5. (3.15)

Дисперсию и стандартное отклонение оценим по (3.11) и сведем в табл. 3.2.

Применение статистики Стьюдента (последняя строка табл.3.2) правомерно в предположении нормальности возмущений. Посколь-

ку ЧСС=1, то табличные значения оказываются весьма высокими: tт =12,7 при q=0,05, так что ни один из коэффициентов нельзя

признать значимым. Поскольку известны «незашумленные» значения уi (табл.3.1), то можно получить еще одну оценку дисперсии случайной компоненты:

sв2 [(10 9)2 (0 2)2 (7 7)2 (5 4)2 ]/ 4 1,25.

Согласно (3.14) Fр=5/1,25=4. Поскольку Fр<FТ(0.95;1;4)=7,71, то гипотеза об адекватности оцененного уравнения не отвергается.

66

3.6.2. Проверка гипотезы Н: с′a=r

Нередко априорная информация указывает на линейные ограничения, которым должны удовлетворять коэффициенты регрессии. Например, постоянная отдача от единицы масштаба в производственной функции Кобба−Дугласа означает, что сумма эластичностей равна единице. В работе с подобными ограничениями существуют два подхода. Рассмотрим вначале первый из них, который предполагает, что оценивание происходит без учета ограничений, и лишь затем проверяют, будут ли оцененные коэффициенты удовлетворять этим ограничениям в статистическом смысле.

Рассматривается гипотеза H : c a r , где с – известный вектор

констант, а r – известная постоянная. Найдем дисперсию линейной комбинации оценок:

D[c aˆ] M[(c aˆ M[c aˆ])2 ] M[(c aˆ c a)2 ]

M[c (aˆ a)(c (aˆ a)) ] M[c (aˆ a)(aˆ a) c]

c M[(aˆ a)(aˆ a) ]c c covaˆ c 2c (F F) 1c .

Заменяя σ2 на оценку s 2 , построим соотношение, которое удовлетворяет t-распределению с (N-(k+1)) степенями свободы:

чего сравнивают с табличным значением tT q,N (k 1) при выбран-

ном уровне значимости q (обычно 0,05) и ЧСС, равном N-(k+1). При tp tТ гипотеза H отвергается.

Второй, альтернативный, подход предполагает, что ограничение учитывается в процессе подгонки так, чтобы оцененные коэффициенты точно ему удовлетворяли. Тем самым осуществляется инкор-

порирование априорной информации в процедуру оценивания.

Рассмотрим этот подход в общем виде, полагая, что линейных ограничений может быть несколько [4]. Запишем эти ограничения так:

67

где D – известная матрица порядка m(k+1), r – известный векторстолбец, состоящий из m элементов (m – число ограничений). Пусть, например, необходимо инкорпорировать два ограничения, а

Минимизацию суммы квадратов отклонений при наличии огра-

где через aˆr обозначены оценки с учетом ограничений, а через λ –

вектор неопределенных множителей. Приравняв нулю соответствующие первые производные, получим:

подчиняется F-распределению с [m, N-(k+1)] степенями свободы, что дает возможность проводить статистические проверки.

68

3.6.3. Проверка гипотезы Н0: а1=а2=…=аk=0

Рассматриваются две конкурирующие модели:

Модель (3.20) называют также моделью среднего, поскольку для

и сравниваем с табличным значением F -распределения при выбранном уровне надежности (обычно 95%) FT [1 q,k ,N (k 1)] . При

Fp >FT гипотеза H0:a1=a2=…=ak=0 отвергается, в противном случае, принимается. Подобную проверку часто называют проверкой на значимость уравнения регрессии (3.19) в целом.

Выражение (3.21) может быть представлено в иной форме с использованием коэффициента детерминации R2 (см. п. 3.7).

Аналогично, проверка на значимость нескольких (для определенности l ) коэффициентов сразу приводит к статистике

где S R – остаточная сумма квадратов “длинной” регрессии с числом базисных функций (k+1), Sr – остаточная сумма квадратов “короткой” регрессии, где l базисных функций опущены. При Fp FТ [1 q;l;N (k 1)] гипотеза о равенстве нулю l коэффициентов регрессии отвергается.

69

3.6.4. Тест Чоу

Одним и тем же образом специфицированная модель подгоняется по двум наборам данных. Являются ли регрессии, построенные по этим двум выборкам, одинаковыми? Положительный ответ на этот вопрос позволил бы объединить наборы данных и рассматривать единую модель регрессии. Приведем формальную запись.

Для этой регрессии проверяется гипотеза Н: а1=а2. В рамках данной гипотезы матрица D и вектор r примут вид:

Регрессия с ограничениями, для которой справедлива гипотеза

где a a1 a2 .

Остаточная сумма квадратов регрессии с ограничениями (3.25) есть Sr . Для полной регрессии (3.24) S R есть

70