Определение оценок параметров уравнения регрессии с помощью
метода наименьших квадратов (МНК)
Для статистической проверки взаимосвязи между зависимой и независимой переменными необходимо найти значения 0 , 1 и в выражении (9). Метод оценивания должен быть таким, чтобы это были наилучшие, линейные, несмещенные оценки (BLUE – Best, Linear, Unbiased Estimator).
Понятие наилучшие относится к требованию для оценок параметров быть наиболее эффективными, т.е., чтобы дисперсии оценок параметров были как можно меньше. Это достигается таким выбором значений 0 и 1, которые минимизируют сумму квадратов значений 2.
Термин линейные просто повторяет, что связь линейна.
Требование несмещенные означает, что ожидаемые (математическое ожидание) значения оценок параметров модели совпадают с истинными значениями параметров.
Метод, используемый чаще других для нахождения оценок параметров уравнения регрессии и известный как метод наименьших квадратов (МНК), дает наилучшие линейные несмещенные оценки. Он называется так потому, что при расчете коэффициентов прямой линии, которая наиболее соответствует фактическим данным, с помощью этого метода стараются найти линию, минимизирующую сумму квадратов отклонений (расхождений) модельных значений Y (рассчитанных по уравнению прямой) от фактических наблюдений.
Истинные значения параметров 0 и 1 вычислить невозможно, поскольку обычно в распоряжении исследователя находится ограниченное число наблюдений, поэтому неизвестные параметры регрессии подлежат оцениванию по определенной процедуре. Оценки параметров будем обозначать через b0 и b1 соответственно. Тогда уравнение парной регрессии, по которому можно рассчитать ожидаемое значение Y, т.е. , может быть представлено так:
(10)
Следовательно, для каждого значения Xi существует фактическое значение Yi, но при использовании выражения (10) появляется также оценочное значение . Разности между Yi и – это остатки еi. Найденная с помощью МНК линия регрессии представляет собой прямую, минимизирующую сумму квадратов еi, т.е. минимизирует
.
Для обоснованного применения МНК необходимо, чтобы были выполнены следующие требования (основные предпосылки):
значение возмущения еi нормально распределено со средней, равной нулю, и постоянной дисперсией 2, что часто записывается как еi N(0, 2),
значения возмущения попарно независимы, т.е. ковариация в парах значений возмущения равна нулю (Cov eiej = 0);
независимая (объясняющая) переменная не связана корреляционной зависимостью с возмущением.
Первая предпосылка указывает, что существует только один главный фактор (Х), определяющий величину Y, присутствует также множество второстепенных факторов, некоторые из которых оказывают прямое воздействие на величину Y, а другие – обратное. В случае множества прямых и обратных влияний значение остатка будет нормально распределено. Допущение о постоянной дисперсии значения возмущения означает, что как бы ни была велика или мала величина независимой переменной Х, разброс значений е постоянен. При этом говорят, что значение возмущения обладает свойством гомоскедастичности. Если же дисперсия остатка непостоянна, то возмущения определяются как гетероскедастичные.
Вторая предпосылка (о независимости значений е друг от друга) определяет тот факт, что второстепенные факторы или факторы, которые послужили причиной ошибки для одной из величин Y, не приводят автоматически к ошибкам для всех наблюдений Y. Эта предпосылка приобретает большое значение прежде всего в том случае, когда исходные данные представлены временными рядами. Когда значения е зависимы, говорят об автокоррелированности возмущения.
Третья предпосылка находит свое выражение в том, что переменная Х объясняет изменение переменной Y, но мы не можем утверждать обратное, т.е. переменная Y не объясняет переменную Х. Итак, предполагается односторонняя зависимость Y от Х.
Определение линии регрессии.
Величины b0 и b1, при которых сумма квадратов отклонений фактических значений результативного признака от расчетных (теоретических) минимальна, находятся из решения так называемой системы нормальных уравнений
,
.
Формулы для их определения:
