82 (35 )Множественная линейная регрессионная модель: интервальный прогноз для зависимой переменной.
Доверительный интервал для
Будем считать, что значение не известно.
Из равенств (75), (77):
(87)
Используя формулу (24), получим:
Итак
(88)
Следовательно,
(89)
является
несмещенной оценкой для
.
Обозначим:
(90)
Можно показать, что величина
(91)
имеет распределение Стъюдента с числом степеней свободы .
Следовательно, при уровне значимости :
, (92)
где – двусторонняя квантиль распределения Стъюдента для уровня значимости и числа степеней свободы .
Из (92) в результате несложных алгебраических преобразований имеем:
Это
соотношения определяет доверительный
интервал для значения
:
,
который с вероятностью попадает .
83 (36) Скорректированный коэффициент детерминации и его использование для выбора объясняющих переменных.
Метод оптимального выбора объясняющих переменных
Заметим, что
возрастает при добавлении еще одного
регрессора, что не всегда означает
улучшение качества модели. Чтобы
устранить этот эффект, используется
скорректированный
:
. (1)
В нашем случае:
Отметим, что
, (2)
Наилучшей считается модель с наибольшим
.
Строятся модели вида:
,
где
,
.
Алгоритм выбора
.
1-й шаг Рассматриваются модели вида:
при всевозможных
.
Находится независимая переменная
,
для которой
максимально.
Обозначим индекс этой переменной через
.
Обозначим:
,
Обозначим через
значение показателя
для оптимальной модели, полученной на
первом шаге.
k-й шаг
Рассматриваются модели вида:
при всевозможных
.
Находится независимая переменная
,
для которой
максимально. Обозначим индекс этой
переменной через
.
Обозначим:
Обозначим через
значение показателя
для оптимальной модели, полученной на
данном шаге. Далее сравнивается
c
.
В случае
:
1) модель
считается лучшей, чем модель
,
и полагается
;
2) если
(т.е. не все переменные включены в модель
),
осуществляется переход к следующему
шагу (т.е. значение
увеличивается на единицу)
3) если
,
то на этом заканчивается процесс выбора
оптимальной модели; в этом случае все
переменные включены в оптимальную
модель.
В случае
,
оптимальной считается модель
и на этом заканчивается процесс выбора
оптимальной модели.
84 (37) Метод оптимального отбора объясняющих переменных.
В общем случае регрессионная модель имеет вид:
,
(3)
где
.
Функция
не обязательно линейна относительно
,
и зависит от вектора параметров
.
Следовательно,
,
(4)
Заметим, что часто число параметров
совпадает с числом объясняющих факторов
, т.е.
.
(Если
,
можно считать, что
.)
Для получения оценок
коэффициентов
можно использовать МНК:
(5)
(6)
Затем можно рассчитать скорректированный коэффициент детерминации в соответствии с формулой (1):
(7)
и на основе этого коэффициента выбрать оптимальный вид модели и произвести оптимальный отбор значимых объясняющих факторов. (Вначале рассмотреть несколько видов функции , для них произвести оптимальный отбор объясняющих факторов, и выбрать вид функции с наибольшим .)
Отметим, что одним из способов решения оптимизационной задачи (6) является использование условий первого порядка:
,
(8)
т.е. решение системы вообще говоря нелинейных уравнений (8).