Спецификация модели
Как правило, на практике истинная модель неизвестна, необходимо исследовать лишь модель приближенно соответствующую процессу, порождающему данные. Узкое понимание спецификации модели - выбор независимых переменных. Поэтому возникает естественный вопрос соотношения между оценками, выполненными при помощи метода наименьших квадратов в истинной и выбранной моделях. Для удобства рассмотрим две противоположные ситуации: в оцениваемой модели отсутствует часть независимых переменных, имеющихся в истинной модели (исключение существенных переменных); в оцениваемой модели присутствуют независимые переменные, которых нет в истинной модели (включение несущественных переменных).
Случай 1. Исключены существенные переменные. (Omitted variables)
Процесс, порождающий
данные:
.
Модель:
При этом МНК-оценка вектора параметров имеет вид:
.
Если подставить реальный y, то получим следующее равенство:
.
Второе слагаемое указывает на смещение. Оно не изчезнет в асимптотике.
В этом случае оценка
является смещенной и несостоятельной,
за исключением двух случаев:
а)
б)
(ортогональность регрессоров X
и Z).
Предположим, что
(не квадратная).
Рассмортим модель
в виде блочных матриц:
,
- транспонирование блочной матрицы.
Тогда,
.
Оценка дисперсии.
Можно показать, что
для правильной модели оценка не смещена.
.
,
таким образом, идет систематическая ошибка в оценке дисперсии.
Сравним матрицу ковариации.
.
.
.
Это показывает, что оценка неверная, но
более точная. Любое ограничение повышает
точность.
Оценка по методу наименьших квадратов несмещенная, состоятельная, оценка дисперсии имеет систематическое смещение вверх.
Случай 2. Включение несущественных переменных (irrelevant variables).
Процесс, порождающий
данные:
.
Модель:
.
-
,
оценка несмещенная. -
-
.
В этом случае оценки являются несмещенными. Причем поскольку включение несущественных переменных сохраняет несмещенность оценок, то появляется повод использовать как можно больше дополнительных переменных с целью получить лучшую подгонку. Однако следует помнить, что точность оценок при этом уменьшается. Кроме того, увеличение числа регрессоров часто приводит к неустойчивости модели из-за наличия сильной корреляции между ними. В результате мультиколлинеарности оценки становятся незначимыми. В простейшем случае дисперсия оценки стремится к бесконечности.
Управление функциональной формой модели
Тест Рамсея (1969, Ramsey) - RESET (Regression Equation Specification Error Test).
Предлагается
оценка параметров исходной предполагаемой
модели. Получают прогнозные значения
.
Строят вспомогательную регрессию. К
исходной регрессии добавляют некоторое
количесво степеней прогнозных значений:
,
тогда
если модель правильная, то добавки не
существенны. Проверяется гипотеза:
.
Усли эта гипотеза отвергается, тогда нужно в уравнение вводить степени x. Для теста обычно берут q равное двум или трем. (Тест реализован в большинстве пакетов).