74 Множественная линейная регрессионная модель: полная, остаточная и объясненная суммы квадратов, коэффициент детерминации и его использование для оценки общего качества модели.

Коэффициент детерминации ( - R-квадрат) — это доля дисперсии зависимой переменной, объясняемая рассматриваемой моделью зависимости, то есть объясняющими переменными.

Если  , то   и  . Следовательно, при  При  , по самому определению прямой  , имеем

Тенденция линейной связи между   и  выражена в максимальной степени, если  . При этом,все точки  , i = 1, 2,..., n, располагаются на одной прямой . Тенденция линейной связи между переменными   и  не обнаруживается вовсе, если   совпадает с   Таким образом, есть определенные основания предложить в качестве «мерывыраженности» в данных наблюдений линейной связи между переменными величину называемую коэффициентом детерминации. Этот коэффициент изменяется в пределах от   (при  , т. е.  ) до   (при  ),

Вернемся, однако, к полученному ранее представлению  в виде и рассмотрим третью сумму в правой части этого представления. Имеем:

Но (см. первое уравнение из системы нормальных уравнений). К тому же,

(см. второе уравнение из системы нормальных уравнений). Таким образом,

и, следовательно, справедливо представление

так что т. е. получено второе представление для   в виде Стоящую здесь в числителе сумму квадратов мы будем называть суммой квадратов, объясненной моделью (explained sum of squares), и будем использовать для ее обозначения аббревиатуру ESS, так что

Сумму квадратов, стоящую в знаменателе, будем называть полной суммой квадратов (total sum of squares) и будем использовать для ее обозначения аббревиатуру TSS, так что

Напомним также, что нами уже была определена остаточная сумма квадратов

Все эти три суммы квадратов связаны соотношением которое представляет собой разложение полной суммы квадратовна сумму квадратов, объясненную моделью, и остаточную сумму квадратов. Используя эти три суммы, мы находим также, что Таким образом, значение R2 тем выше, чем больше доля объясненной моделью суммы квадратовESS по отношению к полной сумме квадратов TSS.

76. Множественная линейная регрессионная модель: построение f-статистики общего вида, проверка гипотез.

Прогнозирование единственной переменной у на основании не­скольких переменных х_к называется множественной регрессией. В этом случае математическая модель процесса представляется в виде уравнения регрессии с несколькими переменными величинами, т.е. у = f (b₀, …, xk).

Общий вид уравнения множественной регрессии обычно стараются представить в форме линейной зависимости:

у = b₀ + b1x1 + b₂x₂ + ... + b_кх_к,

где b₀- свободный член (или сдвиг); b1, b₂, ..., b_к - коэффициенты регрессии, которые подлежат вычислению методом наименьших квадратов. (если кто-то не помнит, то на последних лабах мы делали регрессию: сервис-анализ данных – регрессия. А потом писали уравнение ŷ=…. Вот это и есть множественная линейная регрессия, F-стат тоже оттуда)

Основные гипотезы

1) Спецификация модели , , – объясняющие (независимые) переменные, – объясняемая (зависимая) переменная, – случайное отклонение, – коэффициенты регрессии.

2)

3)

Дополнительная гипотеза:

4) – (условно) нормально распределенная случайная величина

Тогда:

В этом случае модель называется нормальной линейной регрессионной. Оценка параметров. Метод наименьших квадратов. Обозначим: – прогнозное значение объясняемой переменной, – некоторые оценки коэффициентов регрессии . Отметим, что зависит от значений коэффициентов . Обозначим: сумму квадратов отклонений прогнозных значений от реальных значений объясняемой переменной.

Метод наименьших квадратов состоит в нахождении таких значений и , при которых минимально: .

Запишем необходимые условия экстремума задачи (13):

, (14)

Систему уравнений (14) приведем к виду:

, (15)

Статистики , как и в случае парной регрессии, можно использовать для проверки гипотез и для построения доверительных интервалов. Отметим, что методика проверки гипотез и построения доверительных интервалов основана на использовании соотношения:

,где двусторонняя квантиль распределения Стъюдента с числом степеней свободы при уровне значимости .

Как и в случае парной регрессии доверительные интервалы для коэффициентов имеют вид: