3.5. Качество оценок мнк линейной множественной регрессии. Теорема Гаусса-Маркова

В классическом множественном регрессионном анализе при применении метода наименьших квадратов обычно делаются следующие предпосылки:

1. Математическое ожидание случайного члена ε_i равно нулю в любом наблюдении

М(ε_i) = 0. (3.19)

2. Дисперсия случайного члена ε_i постоянна для всех наблюдений

. (3.20)

3. Значения случайного члена в любых наблюдениях ε_i и ε_j не коррелируют между собой

Cov(ε_i, ε_j) = 0 (i ≠ j). (3.21)

Это условие с учетом того, что М(ε_i) = М(ε_j) = 0 принимает вид

M(ε_i, ε_j) = 0 (i ≠ j). (3.22)

4. Случайный член должен быть распределен независимо от объясняющих переменных x_i в одних и тех же наблюдениях

Cov(x_it, ε_i) = M (x_i, ε_i) = 0, (3.23)

где было учтено, что М(ε_i) = 0.

Следует сказать, что последнее условие заведомо выполняется, если объясняющие переменные x_it считаются детерминированными величинами.

5. Матрица является неособенной, т. е. столбцы матрицы X линейно независимы.

6. Значения случайного члена ε_i распределены по нормальному закону.

Модель (3.6), удовлетворяющая приведенным предпосылкам 16, называется классической нормальной линейной моделью множественной регрессии.

Модель (3.6), удовлетворяющая приведенным предпосылкам 15, называется классической линейной моделью множественной регрессии.

Согласно теореме Гаусса-Маркова, при выполнении указанных предпосылок оценки параметров линейной множественной регрессии (3.13), полученные методом наименьших квадратов, будут несмещенными и эффективными (т. е. будут иметь наименьшую дисперсию) в классе линейных несмещенных оценок.

Нарушение одного из условий Гаусса-Маркова приводит к нарушению эффективности оценок, т. е. в классе несмещенных оценок можно найти такие, которые имеют меньшую дисперсию.

После построения модели необходимо вычислить значения остатков е_i и проверить выполнение предпосылок 16, так как их нарушение не позволяет гарантировать высокое качество модели. Если условия нарушаются, то следует модернизировать модель. Эти вопросы будут рассмотрены далее.

3.6. Проверка качества уравнения регрессии. F-критерий Фишера

Как и в случае парной регрессии для оценки качества полученного множественной уравнения регрессии (3.6) можно использовать коэффициент детерминации, представляющий собой отношение объясненной части D(ŷ) дисперсии зависимой переменной у к общей дисперсии D(y) (п. 2.6)

или , (3.24)

где

, , .

Коэффициент детерминации R² принимает значения в диапазоне от нуля до единицы 0 ≤ R² ≤ 1 и показывает, какая часть дисперсии результативного признака y объяснена уравнением регрессии. Чем выше значение R², тем лучше данная модель согласуется с данными наблюдений.

Оценка статистической значимости уравнения регрессии (а также коэффициента детерминации R²) осуществляется с помощью F-критерия Фишера

, (3.25)

где p  число независимых переменных в уравнении регрессии (3.6).

Согласно F-критерию Фишера, выдвигаемая «нулевая» гипотеза H₀ о статистической незначимости уравнения регрессии отвергается при выполнении условия F > F_крит, где критическое значение F_крит определяется по таблицам F-критерия Фишера (П3, П4) по двум степеням свободы k₁ = p, k₂ = n  p  1 и заданному уровню значимости α.

Для оценки тесноты связи факторов с исследуемым при­знаком, задаваемой построенным уравнением регрессии , используется коэффициент множественной корре­ляции R

. (3.26)

Коэффициент множественной корреляции R принимает значения в диапазоне 0 ≤ R ≤ 1.

Чем ближе величина R к единице, тем теснее данная связь, тем лучше зависимость согласуется с данными наблюдений. При R = 1 (R² = 1) связь становится функциональной, т. е. соотношение точно выполняется для всех наблюдений.

Коэффициент множественной корреляции может использоваться как характеристика качества построенного уравнения регрессии , точности построенной модели.

Величина коэффициента множественной корреляции не может быть меньше максимального пар­ного индекса корреляции .

В случае линейной зависимости (3.6) коэффициент кор­реляции R связан с парными коэффициентами корреляции соотношением

(3.27)

где – стандартизованные коэффициенты регрессии (3.16).

Использование коэффициента множественной детерминации R² для оценки качества модели, обладает тем недостатком, что включение в модель нового фактора (даже несущественного) автоматически увеличивает величину R².

Поэтому при большом количестве факторов предпочтительнее использовать, так называемый, скорректированный или улучшенный (adjusted) коэффициент множественной детерминации , определяемый соотношением

, (3.28)

где p – число факторов в уравнении регрессии, n – число наблюдений.

Чем больше величина p, тем сильнее различия и .

При использовании для оценки целесообразности включения фактора в уравнение регрессии следует однако учитывать, что увеличение при включении нового фактора не обязательно свидетельствует о его значимости, так как значение увеличивается всегда, когда t-статистика больше единицы (t>1).

При заданном объеме наблюдений и при прочих равных условиях с увеличением числа независимых переменных (параметров) скорректированный ко­эффициент множественной детерминации убывает. При не­большом числе наблюдений скорректированная величина коэф­фициента множественной детерминации R² имеет тенденцию пе­реоценивать долю вариации результативного признака, связан­ную с влиянием факторов, включенных в регрессионную модель.

Отметим, что низкое значение коэффициента множественной кор­реляции и коэффициента множественной детерминации R² может быть обусловлено следующими причинами:

• в регрессионную модель не включены су­щественные факторы;

• неверно выбрана форма аналитической зависимости, не отражающая реальные соотноше­ния между переменными, включенными в модель.