1.3.2. Свойства оценок, полученных методом наименьших квадратов (мнк)

Зависимая переменная в теоретической модели регрессии

имеет две составляющие: неслучайную составляющую

и случайную составляющую . Получаемые с помощью МНК оценки коэффициентов регрессии также можно представить в виде двух составляющих – неслучайной и случайной.

Неслучайные составляющие оценок равны параметрам , тогда как случайные составляющие этих оценок зависят от случайной составляющей теоретической модели регрессии .

На практике разложить коэффициенты регрессии на составляющие довольно затруднительно, так как значения и неизвестны.

Регрессионный анализ, основанный на применении метода наименьших квадратов (МНК), дает наилучшие из всех возможных результаты, если выполняются следующие условия (называемые условиями Гаусса-Маркова):

1. Математическое ожидание случайного слагаемого в любом м наблюдении должно быть равно нулю – .

2. Дисперсия случайного слагаемого должна быть постоянной для всех наблюдений – , где теоретическое значение среднеквадратической ошибки.

3. Случайные слагаемые должны быть статистически независимы, т.е. должно выполняться свойство некоррелированности их между собой.

4. Объясняющие переменные должны быть величинами неслучайными.

При выполнении условий Гаусса-Маркова модель

называется классической нормальной линейной регрессионной моделью.

Если условия Гаусса-Маркова не выполнены, то можно найти другие оценки параметров уравнения регрессии, которые будут более эффективными по сравнению с оценками, найденными методом МНК.

1.3.3. Анализ вариации зависимой переменной. Качество оценивания в модели множественной линейной регрессии

Пусть в уравнении регрессии содержится объясняющих переменных. Дисперсию зависимой переменной можно представить в виде суммы объясненной и необъясненной составляющих:

,

где:

остаток в м варианте реализации событий;

значение зависимой переменной в м варианте реализации событий;

среднее значение зависимой переменной;

расчетное значение зависимой переменной в м варианте реализации событий, определяемое уравнением регрессии;

число реализации событий, в каждом из которых при сочетании значений независимых переменных было получено значение зависимой переменной.

Каждая сумма в этом разложении имеет собственное название:

― общий разброс зависимой переменной (обозначается );

― разброс, объясненный регрессией (обозначается );

― разброс, не объясненный регрессией (обозначается ).

Используя введенные обозначения, разложение дисперсии зависимой переменной можно записать в виде суммы:

.

Мерой объясняющего качества уравнения регрессии по сравнению с оценкой в виде среднего значения является коэффициент детерминации , который измеряет долю дисперсии, совместно объясненной всеми независимыми переменными:

.

В случае коррелированности независимых переменных объясняющие способности этих переменных могут перекрываться. Для компенсации такого увеличения вводится приведенный (скорректированный) коэффициент детерминации с поправкой на число независимых переменных, которым можно варьировать (называемое иначе числом степеней свободы):

.

Если при добавлении новой переменной (при этом уменьшается на 1 число степеней свободы) увеличение доли объясненной регрессии мало, то скорректированный коэффициент детерминации может уменьшаться, следовательно, добавлять новую переменную не следует.

Качество оценок для модели множественной линейной регрессии предполагает определение статистической значимости полученных коэффициентов уравнения регрессии и коэффициента детерминации .

Значимость коэффициентов уравнения регрессии оценивается с помощью критерия :

,

где стандартные ошибки коэффициентов регрессии.

Величина имеет распределение Стьюдента с степенями свободы, где:

число пар данных в выборке, использованных для получения уравнения регрессии;

количество коэффициентов в уравнении регрессии.

Алгоритм оценки значимости для коэффициентов уравнения регрессии состоит в следующем:

1) вычисляется наблюдаемое значение критерия ;

2) по таблице распределения Стьюдента по заданному уровню значимости и числу степеней свободы находится критическое значение ;

3) вычисленные критерии и сравниваются с критическим значением .

Если , то соответствующий коэффициент уравнения регрессии значим и принимается. Если , то соответствующий коэффициент уравнения регрессии незначим, не отличается от нуля и не принимается.

В эконометрике проверку гипотез осуществляют при 5%-м, реже на 10%-м уровне значимости. В первом случае стандартная ошибка оценки коэффициента регрессии составляет примерно до половины его величины. Последовательное исключение несущественных факторов (переменных), коэффициенты при которых оказались незначимы, составляют основу пошагового регрессионного анализа.

Для определения статистической значимости коэффициента детерминации используется статистика:

,

где:

число пар данных в выборке, использованных для получения уравнения регрессии;

количество коэффициентов в уравнении регрессии.

Величина имеет распределение Фишера с степенями свободы. Вычисленный критерий сравнивается с критической величиной следующим образом:

если , то считается незначимым, он не отличим от нуля;

если , то считается значимым, и уравнение регрессии может использоваться для объяснения изменения переменной под влиянием изменения переменных .

Величины критических значений критериев оценки значимости принимаются при 5%-м, реже при 10%-м уровне значимости. Указанные уровни значимости соответствуют 95%-му и 90%-му доверительным интервалам соответственно.