1.2.2. Условия Гаусса-Маркова (предпосылки мнк)

Свойства оценок коэффициентов регрессии, а следовательно, и качество построенной регрессии существенно зависят от свойств случайного отклонения ε. Доказано, что для получения по МНК наилучших результатов необходимо, чтобы выполнялся ряд предпосылок относительно случайного отклонения:

1. Математическое ожидание случайного отклонения ε_i равно нулю:

М(ε_i) = 0, i = 1, 2, … , n.

2. Дисперсии случайных отклонений ε_i для всех наблюдений равны:

D(ε_i) = D(ε_j) = σ²=const, i, j = 1, 2, … , n.

Выполнимость данной предпосылки называется гомоскедастичностью (постоянством дисперсий отклонений).

Невыполнимость данной предпосылки называется гетероскедастичностью (непостоянством дисперсий отклонений).

3. Случайные отклонения ε_i при разных наблюдениях являются независимы друг от друга, т.е. корреляционный момент, или ковариация, между ε_i и ε_j при i≠j равна 0:

cov(ε_i,ε_j) = 0 для i≠j, i, j = 1, 2, … , n.

Выполнимость данной предпосылки означает отсутствие автокорреляции.

Невыполнимость данной предпосылки говорит о наличии автокорреляции случайных отклонений.

4. Случайное отклонение ε_i должно быть независимо от объясняющих переменных:

cov(ε_i,x_i) = 0, i = 1, 2, … , n.

5. Модель является линейной относительно параметров.

Теорема Гаусса-Маркова.

Если предпосылки 1-5 выполнены, то оценки, полученные по МНК, обладают следующими свойствами:

1. Оценки являются несмещенными, т.е. математическое ожидание оценки параметра равно самому параметру. Это вытекает из условия, что М(ε_i)=0, и говорит об отсутствии систематической ошибки в определении положения линии регрессии.

2. Оценки состоятельны, т.к. дисперсия оценок параметров при возрастании числа наблюдений n стремится к нулю. Другими словами, при увеличении объема выборки надежность оценок увеличивается.

3. Оценки эффективны, т.е. они имеют наименьшую дисперсию по сравнению с любыми другими оценками данных параметров, линейными относительно величин y_i.

Такие оценки называются наилучшими линейными несмещенными оценками.

1.2.3. Коэффициенты корреляции и детерминации

Уравнение регрессии всегда дополняется показателем тесноты связи. При использовании линейной регрессии таким показателем является линейный коэффициент корреляции. Существует несколько видов формулы линейного коэффициента корреляции, основные из них представлены ниже:

где и - среднее квадратическое отклонение x и y соответственно.

Линейный коэффициент корреляции, как известно, всегда находится в следующих пределах: -1≤ r_xy ≤1 . Знак коэффициента регрессии определяет знак коэффициента корреляции. Если b < 0, тогда -1≤ r_xy ≤0, и наоборот, если b > 0, тогда 0≤ r_xy ≤1. Чем ближе значение коэффициента корреляции по модулю |r_xy | к единице, тем теснее связь между признаками в линейной форме. Однако, если абсолютная величина коэффициента корреляции близка к нулю, то это означает, что между рассматриваемыми признаками отсутствует линейная связь. При другом виде уравнения регрессии связь может оказаться достаточно тесной.

Для оценки качества подбора линейного уравнения регрессии находят также квадрат коэффициента корреляции, называемый коэффициентом детерминации R² = (r_xy)² . Он отражает долю вариации результативного признака, объясненную с помощью уравнения регрессии, или, иными словами, долю дисперсии результата, объясненную регрессией, в общей дисперсии y:

Следовательно, величина (1-R²) характеризует долю вариации, или долю дисперсии результата у, вызванную влиянием всех остальных, не учтенных в модели факторов. Значения коэффициента детерминации могут изменяться от нуля до единицы (0 ≤ R² ≤ 1). Например, R²=0,94 означает, что уравнением регрессии объясняется 94% дисперсии результативного признака, а прочими, не учтенными в модели факторами - 6%. Чем ближе коэффициент детерминации к единице, тем меньше роль других факторов и линейное уравнение регрессии описывает лучше исходные данные.