Свойства линейной регрессии

1. Видно, что прямая регрессии всегда проходит через центр рассеивания корреляционного поля, т.е. через точку ( ).

2. Из выражения следует, что угловой коэффициент b₁ выражается через коэффициент корреляции r_xy и среднее квадратичное отклонение фактора и отклика, т.е. знак b₁ совпадает со знаком коэффициента корреляции (т.к. всегда).

Если r_xy>0, то b₁>0, связь между х и у – прямая, т.е. с ростом х у возрастает.

Если r_xy<0, то b₁<0, связь между х и у обратная.

Проверка линейной регрессии на адекватность

После того, как была построена модель линейной регрессии y=b₀+b₁x, необходимо проверить ее на адекватность, т.е. проверить, соответствует ли построенная модель действительности.

Прежде, чем рассматривать адекватность модели, рассмотрим вариацию (разброс) зависимого показателя Y вокруг своего среднего значения. Отклонение равно . При этом можно без изменения формулы записать: , где - расчетные значения. Т.е. вариацию зависимого показателя Y вокруг своего среднего значения можно разделить на два слагаемых: - вариация расчетных значений вокруг среднего; - вариация расчетных значений вокруг фактичных.

Обозначим:

, с числом степеней свободы - вариация, объясняемая регрессией.

, с числом степеней свободы - остатки, необъясненный разброс.

, с числом степеней свободы - общая вариация.

Тогда можно записать:

Коэффициент детерминации.

Для анализа общего качества оцененной линейной регрессии обычно используют коэффициент детерминации: , .

.В числителе стоит сумма квадратов отклонений линии регрессии от среднего значения, в знаменателе – сумма квадратов отклонений исходных данных от среднего значения. Значит, чем меньше разница между этими величинами, тем больше дробь, тем ближе значение коэффициента детерминации к 1.

Величина показывает, на сколько процентов ( ) разброс данных объясняется линейной регрессией, а какая – случайными ошибками.

Использование в качестве меры адекватности не дает четких критериев проверки на адекватность, особенно для выборок малых объемов.

Проверка с помощью критерия Фишера.

Выдвигаем гипотезу, что b₁=0. Т.е. уравнение регрессии будет иметь вид .

Для проверки этой гипотезы сравниваются между собой величины:

и .

Т.е. вычисляем дисперсию остатков и дисперсию расчетных данных , взятых с регрессионной прямой.

Вычисляем k₁, k₂ – количество степеней свободы для статистик MSR и MSE. Число степеней свободы k₁ равно числу независимых факторов в модели, k₂=n- k₁-1 (n- объем выборки).

Отношение введенных величин представляет собой наблюдаемое значение критерия Фишера со степенями свободы k₁, k₂. .

Переход от случая, когда мы можем признать F_набл.=0, а следовательно b₁=0 и зависимость у от х отсутствует, к случаю, когда следует признать F_набл.0  b₁0  есть зависимость у от х, производят, сравнивая F_набл с теоретически вычисленным критическим значением для критерия Фишера F_кр.

Рассчитывают точку F_кр, при некотором уровне значимости  и степенями свободы k₁, k₂. Уровень значимости – вероятность совершить ошибку.

Итак, сравним F_набл. с F_кр. и обнаружим, что F_набл< F_кр. - делаем заключение b1=0  у от х не зависит  линейная регрессия неадекватна.

Если же F_набл. > F_кр, то гипотеза Н₀ отвергается, значит b₁0  у зависит от х  линейная регрессия адекватна (с гарантией (1-)100%).

Иногда в ППП одновременно с вычислением наблюдаемого значения критерия, вычисляется его значимось , т.е. вероятность совершить ошибку. Если это значение переобразовать в проценты, (100%), и полученное значение меньше 5%, то модель считается адекватной.