2. Проверка общего качества уравнения регрессии: f-тест

Любая сумма квадратов отклонений связана с числом степеней свободы (df – degrees of freedom), т.е. с числом независимого варьирования переменной. Число степеней свободы связано с числом единиц совокупности n и с числом определяемых по ней констант. Применительно к исследуемой проблеме число степеней свободы должно показать, сколько независимых отклонений из n возможных требуется для образования данной суммы квадратов. Так, для общей суммы квадратов требуется (n–1) независимых отклонений, ибо по совокупности из n единиц после расчета среднего значения свободно варьируются лишь (n–1) число отклонений. Это связано с тем, что , поэтому если известны (n–1) отклонений, то n-ое отклонение может быть уже вычислено.

При расчёте объяснённой или факторной суммы квадратов используются теоретические (расчётные) значения результативного признака , найденные по линии регрессии. В линейной регрессии , следовательно, при заданном объёме наблюдений по x и y факторная сумма квадратов при линейной регрессии зависит только одной константы коэффициента регрессии b₁, то данная сумма квадратов имеет одну степень свободы. К этому же выводу можно прийти и по другому. Величина определяется по уравнению линейной регрессии: . Отсюда видно, что при заданном наборе переменных x и y расчётное значение является в линейной регрессии функцией только одного параметра – коэффициента регрессии. Соответственно и факторная сумма квадратов отклонений имеет число степеней свободы, равно 1.

Число степеней свободы остаточной суммы квадратов для линейной регрессии, как мы видели, равна (n–2). Между числом степеней свободы общей, факторной и остаточной суммами квадратов существует взаимосвязь. Число степеней свободы для общей суммы квадратов равно сумме степеней свободы для факторной и остаточной сумм квадратов: .

Разделив каждую сумму квадратов на соответствующее ей число степеней свободы, получим средний квадрат отклонений, или, что то же самое, дисперсию на одну степень свободы D.

, , .

Определение дисперсии на одну степень свободы приводит дисперсии к сравниваемому виду.

При отсутствии линейной зависимости между зависимой и объясняющей переменными случайные величины и имеют ²-распределение соответственно с 1 и n–2 степенями свободы. Сопоставляя факторную и остаточную дисперсии в расчёте на одну степень свободы, получим случайную величину, описывающуюся распределением Фишера с теми же степенями свободы:

. (5.48)

Полученную F-статистику можно использовать для проверки нулевой гипотезы . Для линейной регрессии критерий (5.48) можно записать в виде

, (5.49)

поэтому нулевой гипотезе можно придать вид . Таким образом, значение F показывает, в какой мере регрессия лучше оценивает значение зависимой переменной по сравнению с её средней.

Если нулевая гипотеза справедлива, то факторная и остаточная дисперсии не отличаются друг от друга, т.е. . Эмпирическое уравнение регрессии значимо на уровне , если фактически наблюдаемое значение статистики

,

где – табличное значение F-критерия Фишера, определённое на уровне значимости  при k₁=1 и k₂=n–2 степенях свободы.

Величина F-критерия связана с коэффициентом детерминации R². Факторную сумму квадратов отклонений можно представить как

,

а остаточную сумму квадратов – как

.

Тогда значение F-критерия можно выразить как

. (5.50)

Таким образом, F-критерий является также критерием для проверки значимости коэффициента детерминации R².