1.3. Оценка существенности уравнения регрессии и его параметров. Прогнозирование в линейной регрессии

1.3.1. Оценка значимости по критериям Фишера и Стьюдента

После выбора уравнения линейной регрессии и оценки его параметров проводится оценка статистической значимости как уравнения в целом, так и отдельных его параметров.

Оценка значимости уравнения регрессии в целом осуществляется с помощью критерия Фишера, который называют также F-критерием. При этом выдвигается нулевая гипотеза (Н₀): коэффициент регрессии равен нулю (b = 0), следовательно, фактор х не оказывает влияния на результат у и линия регрессии параллельна оси абсцисс.

Перед тем как приступить к расчету критерия Фишера, проведем анализ дисперсии. Общую сумму квадратов отклонений у от можно разложить на сумму квадратов отклонений, объясненную регрессией и сумму квадратов отклонений, не объясненную регрессией:

где Σ(y - )² - общая сумма квадратов отклонений значений результата от среднего по выборке; Σ(y_x - )² - сумма квадратов отклонений, объясненная регрессией; Σ(y - у_х)² - сумма квадратов отклонений, не объясненная регрессией, или остаточная сумма квадратов отклонений.

Общая сумма квадратов отклонений результативного признака у от среднего значения определяется влиянием различных причин. Условно всю совокупность причин можно разделить на две группы: изучаемый фактор х и прочие, случайные и не включаемые в модель факторы. Если фактор х не оказывает влияния на результат, то линия регрессии на графике параллельна оси абсцисс и = y_х. Тогда вся дисперсия результативного признака обусловлена воздействием прочих факторов и общая сумма квадратов отклонений совпадает с остаточной:

Σ(y - )² = Σ(y - у_х)²,

Если же прочие факторы не влияют на результат, то у связан с х функционально и остаточная сумма квадратов равна нулю. В этом случае сумма квадратов отклонений, объясненная регрессией, совпадает с общей суммой квадратов:

Σ(y - )² = Σ(y_x - )²

Поскольку не все точки поля корреляции лежат на линии регрессии, то всегда имеет место их разброс, обусловленный как влиянием фактора х, (регрессией у по х), так и действием прочих причин (необъясненная вариация). Пригодность линии регрессии для прогноза зависит от того, какая часть общей вариации признака у приходится на объясненную вариацию. Очевидно, что если сумма квадратов отклонений, обусловленная регрессией, будет больше остаточной суммы квадратов, то уравнение регрессии статистически значимо и фактор х оказывает существенное воздействие на результат у. Это равносильно тому, что коэффициент детерминации R² будет приближаться к единице.

Любая сумма квадратов отклонений связана с числом степеней свободы df, т.е. с числом свободы независимого варьирования признака.

Для общей суммы квадратов Σ(y - )² требуется (п-1) независимых отклонений, ибо в совокупности из п единиц после расчета среднего уровня свободно варьируют лишь (п-1) число отклонений.

При заданном наборе переменных у и х расчетное значение у_х является в линейной регрессии функцией только одного параметра - коэффициента регрессии b. Таким образом, факторная сумма квадратов отклонений имеет число степеней свободы, равное единице. Число степеней свободы остаточной суммы квадратов при линейной регрессии составляет (п-2).

Существует равенство между числами степеней свободы общей, факторной и остаточной сумм квадратов. Запишем два равенства:

Σ(y - )² = Σ(y_x - )² + Σ(y - у_х)²,

n – 1 = 1 + (n – 2)

Разделив каждую сумму квадратов на соответствующее ей число степеней свободы, получим дисперсии на одну степень свободы:

Так как эти дисперсии рассчитаны на одну степень свободы, их можно сравнивать между собой. Критерий Фишера позволяет проверить нулевую гипотезу Н₀ о том, что факторная и остаточная дисперсии на одну степень свободы равны между собой (D_факт=D_ост). Критерий Фишера рассчитывается по следующей формуле:

Если гипотеза Н₀ подтверждается, то факторная и остаточная дисперсии одинаковы, и уравнение регрессии незначимо. Чтобы отвергнуть нулевую гипотезу и подтвердить значимость уравнения регрессии в целом, факторная дисперсия на одну степень свободы должна превышать остаточную дисперсию на одну степень свободы в несколько раз. Существуют специальные таблицы критических значений Фишера при различных уровнях надежности и степенях свободы. В них содержатся максимальные значения отношений дисперсий, при которых нулевая гипотеза подтверждается. Значение критерия Фишера для конкретного случая сравнивается с табличным, и на основе этого гипотеза Н₀ принимается или отвергается.

Если F_факт > F_табл , тогда гипотеза Н₀ отклоняется и делается вывод, что связь между у и х существенна и уравнение регрессии статистически значимо. Если F_факт ≤ F_табл , тогда гипотеза Н₀ принимается и делается вывод, что уравнение регрессии статистически незначимо, так как существует риск (при заданном уровне надежности) сделать неправильный вывод о наличии связи между х и у.

Между критерием Фишера и коэффициентом детерминации существует связь, которая выражается следующей формулой для парной линейной регрессии:

В линейной регрессии часто оценивается не только значимость уравнения регрессии в целом, но и значимость его отдельных параметров, а также коэффициента корреляции.

Для того чтобы осуществить такую оценку, необходимо для всех параметров рассчитывать стандартные ошибки (т_а , т_b , т_r):

Теперь нужно рассчитать критерии Стьюдента t_a, t_b, t_r·. Для параметров а, b и коэффициента корреляции r критерий Стьюдента определяет соотношение между самим параметром и его ошибкой:

Фактические значения критерия Стьюдента сравниваются с табличными при определенном уровне надежности α и числе степеней свободы df= (п-2). По результатам этого сравнения принимаются или отвергаются нулевые гипотезы о несущественности параметров или коэффициента корреляции. Если фактическое значение критерия Стьюдента по модулю больше табличного, тогда гипотеза о несущественности отвергается. Подтверждение существенности коэффициента регрессии равнозначно подтверждению существенности уравнения регрессии в целом.

В парной линейной регрессии между критерием Фишера, критериями Стьюдента коэффициентов регрессии и корреляции существует связь.

F = t_b² = t_r²

На основании полученной связи можно сделать вывод, что статистическая незначимость коэффициента регрессии или коэффициента корреляции влечет за собой незначимость уравнения регрессии в целом, либо, наоборот, незначимость уравнения регрессии подразумевает несущественность указанных коэффициентов.

На основе стандартных ошибок параметров и табличных значений критерия Стьюдента можно рассчитать доверительные интервалы:

γ_a = a ± Δ_a

γ_b = b ± Δ_b

где Δ_a = t_табл·т_а - предельная ошибка параметра а; Δ_b = t_табл·т_b - предельная ошибка коэффициента регрессии b.

Поскольку коэффициент регрессии имеет четкую экономическую интерпретацию, то доверительные границы интервала для него не должны содержать противоречивых результатов. Например, такая запись, как -5≤ b ≤ 10, указывает, что истинное значение коэффициента регрессии одновременно содержит положительные и отрицательные величины и даже нуль, а этого не может быть. Следовательно, связь между данными нельзя выразить такой моделью (в частности, парной линейной регрессией), должна подбираться другая модель.