6. Анализ общего качества уравнения регрессии

Суммарной мерой общего качества уравнения регрессии (соответствие уравнения регрессии статистическим данным) является коэффициент детерминации (коэффициент аппроксимации) . В случае парной регрессии коэффициент детерминации будет совпадать с квадратом коэффициента корреляции: .

Коэффициент детерминации определяет долю разброса зависимой переменной, объяснимую регрессией на .

или .

Справедливо соотношение . Чем теснее линейная связь между и , тем ближе значение коэффициента детерминации к единице. Чем слабее такая связь, тем значение ближе к нулю.

Так как при увеличении числа объясняющих переменных значение коэффициента будет расти, то используют скорректированный коэффициент детерминации, сделав поправку на число степеней свободы:

.

Для парной регрессии , поэтому .

Для проверки гипотезы о статистической значимости коэффициента детерминации при заданном уровне значимости находится наблюдаемое значение -критерия Фишера и критическое значение распределения Фишера.

Если , то коэффициент детерминации статистически значим, что равносильно значимости уравнения регрессии в целом.

3. Свойства коэффициентов регрессии

   1. Предположения о случайном члене. Условия Гаусса-Маркова

Итак, очевидно, что свойства коэффициентов регрессии существенным образом зависят от свойств случайной составляющей. В самом деле, для того чтобы регрессионный анализ, основанный на обычном методе наименьших квадратов, давал наилучшие из всех возможных результаты, случайный член должен удовлетворять четырем условиям, известны как условия Гаусса-Mapкова. Не будет преувеличением сказать, что именно понимание важности этих условий отличает компетентного исследователя, использующего регрессионный анализ, от некомпетентного. Если эти условия не выполнены, исследователь должен это сознавать. Если корректирующие действия возможны, то аналитик должен быть в состоянии их выполнить. Если ситуацию исправить невозможно, исследователь должен быть способен оценить, насколько серьезно это может повлиять на результаты.

1. Первое условие Гаусса-Маркова:

для всех наблюдений.

Первое условие состоит в том, что математическое ожидание случайного члена в любом наблюдении должно быть равно нулю. Иногда случайный член будет положительным иногда отрицательным, но он не должен иметь систематического смещения ни в одном из двух возможных направлений.

Фактически, если уравнение регрессии включает постоянный член, то обычно бывает разумно предположить, что это условие выполняется автоматически, так как роль константы состоит в определении любой систематической тенденции в , которую не учитывают объясняющие переменные, включенные в уравнение регрессии.

2. Второе условие Гаусса-Маркова:

постоянна для всех наблюдений.

Второе условие состоит в том, что дисперсия случайного члена должна быть постоянна для всех наблюдений. Иногда случайный член будет больше, иногда меньше, однако не должно быть априорной причины для того, чтобы он порождал большую ошибку в одних наблюдениях, чем в других.

Эта постоянная дисперсия обычно обозначается , или часто в более краткой форме , а условие записывается следующим образом:

для всех .

Величина , конечно, неизвестна. Одна из задач регрессионного анализа состоит в оценке стандартного отклонения случайного члена.

Если рассматриваемое условие не выполняется, то коэффициенты регрессии, найденные по обычному методу наименьших квадратов, будут неэффективны, и можно получить более надежные результаты путем применения модифицированного метода регрессии.