20. Коэффициент множественной детерминации. Скорректированный коэффициент детерминации.

Коэффициент множественной детер­минации характеризует, насколько процентов построенная модель регрессии объясняет раз­брос значений результативной переменной от­носительно ее среднего значения.

Коэффициент множественной детер­минации рассчитывается как квадрат коэффи­циента множественной корреляции: R²(y, x₁ …x_i ) = ∑B_i^станд * r (yx_i) Чем больше значение коэффи­циента множественной детерминации, тем луч­ше модель регрессии описывает анализируе­мую взаимосвязь между переменными.

Коэффициент множественной детерминации можно также рассчитать на основании теоремы о разложении сумм квадратов.

Сумма квадратов разностей между значения­ми результативной переменной и ее средним значением по выборке может быть представле­на следующим образом:

∑ (y_i – y_ср)² =∑(y_i - y_i˜)² +∑( y_i˜ - y_ср)²

∑ (y_i – y_ср)² — общая сумма квадратов модели множественной регрессии с п пере­менными

∑(y_i - y_i˜)² — сумма квадратов остатков модели множественной регрессии с п переменными

∑( y_i˜ - y_ср)² — сумма квадратов объясненной регрессии модели множественной регрессии с n переменными

Коэффициент множественной детер­минации, рассчитанный через теорему о раз­ложении сумм квадратов: R²(y, x₁ …x_i ) = 1- ESS/TSS

Скорректированный коэффициент детерминации

Иногда его также называют «ис­правленным» коэффициентом R², хотя это определение не означает, по мне­нию многих, что такой коэффициент улучшен по сравнению с обычным, в нём учитывается количество факторных переменных.

Как отмечалось выше, при добавлении объясняющей переменной к уравнению регрессии коэффициент R² никогда не уменьшается, а обычно уве­личивается. Скорректированный коэффициент R², который обычно обозначают , обеспечивает компенсацию для такого автоматического сдвига вверх пу­тем наложения «штрафа» за увеличение числа независимых переменных. Этот коэффициент определяется следующим образом:

где k — число независимых переменных. По мере роста k увеличивается отно­шение k/(n — k— 1) и, следовательно, возрастает размер корректировки ко­эффициента R² в сторону уменьшения.

21. Проблемы спецификации регрессионной модели. Пошаговая регрессия.

Под спецификацией понимается проблема выбора наиболее важных факторных переменных при построении модели регрессии. Свойства оценок коэффициентов регрессии в значительной мере зависят от правильности спецификации модели. Результаты неправильной спецификации переменных в уравнении могут быть в обобщенном виде выражены следующим образом.

1. Если опущена переменная, которая должна быть включена, то оценки коэффициентов регрессии, вообще говоря, хотя и не всегда, оказываются смещенными. Стандартные ошибки коэффициентов и со­ответствующие t-тесты в целом становятся некорректными.

2. Если включена переменная, которая не должна присутствовать в уравнении, то оценки коэффициентов регрессии будут несмещенными, однако, вообще говоря (хотя и не всегда), — неэффективными. Стандартные ошибки будут в целом корректны, но из-за неэффективности регрессионных оценок они будут излишне большими.

Цель пошаговой регрессии состоит в отборе из большого количества предикатов (предсказаний) небольшой подгруппы переменных, которые вносят наибольший вклад в вариацию зависимой переменной. Обычно этот процесс выполняет автоматизированная процедура, которая вводит или выводит предикаты из уравнения регрессии по очереди, основываясь на серии F-тестов, t-тестов или других подходах. Подходы:

Прямая пошаговая регрессия - Вначале уравнение регрессии не содержит предикатов. Они вводятся по одному, если удовлетворяют определенному критерию. В основе порядка введения включаемых переменных лежит вклад переменной в объясняемую вариацию.

исключение переменной

Обратная пошаговая регрессия - Вначале все предикаты входят в уравнение регрессии. Затем по очереди выводятся из уравнения исходя из их соответствия критерию.

Пошаговый подход - На каждой стадии прямое включение осуществляют одновременно с исключением переменных, которые больше не удовлетворяют конкретному критерию.

Алгоритм - последовательно включаются факторы в уравнение регрессии и после проверяется их значимость. Факторы поочередно вводятся в уравнение так называемым "прямым методом". При проверке значимости введенного фактора определяется, насколько уменьшается сумма квадратов остатков и увеличивается величина множественного коэффициента корреляции. Одновременно используется и обратный метод, т.е. исключение факторов, ставших незначимыми на основе t-критерия Стьюдента. Фактор является незначимым, если его включение в уравнение регрессии только изменяет значение коэффициентов регрессии, не уменьшая значительно суммы квадратов остатков и не увеличивая их значения. Если при включении в модель соответствующего факторного признака величина множественного коэффициента корреляции увеличивается, а коэффициент регрессии не изменяется (или меняется несущественно), то данный признак существен и его включение в уравнение регрессии необходимо.