3. Третье условие Гаусса-Маркова:

.

Это условие предполагает отсутствие систематической связи между значениями случайного члена в любых двух наблюдениях. Например, если случайный член велик и положителен в одном наблюдении, это не должно обусловливать систематическую тенденцию к тому, что он будет большим и положительным в следующем наблюдении (или большим и отрицательным, или малым и положительным, или малым и отрицательным). Случайные члены должны быть абсолютно независимы друг от друга.

В силу того, что , данное условие можно записать следующим образом:

.

Если это условие не будет выполнено, то регрессия, оцененная по обычному методу наименьших квадратов, вновь даст неэффективные результаты.

4. Четвертое условие Гаусса-Маркова:

случайный член должен быть распределен независимо от объясняющих переменных.

Чаще мы будем использовать более сильное предположение о том, что объясняющие переменные не являются стохастическими, т. е. не имеют случайной составляющей. Значение любой независимой переменной в каждом наблюдении должно считаться экзогенным, полностью определяемым внешними причинами, не учитываемыми в уравнении регрессии.

Если это условие выполнено, то теоретическая ковариация между независимой переменной и случайным членом равна нулю. Так как , то

.

Следовательно, данное условие можно записать также в виде:

.

5. Предположение о нормальности

Наряду с условиями Гаусса—Маркова обычно также предполагается нормальность распределения случайного члена. Дело в том, что если случайный член и нормально распределен, то так же будут распределены и коэффициенты регрессии.

Предположение о нормальности основывается на центральной предельной теореме. В сущности, теорема утверждает, что если случайная величина является общим результатом взаимодействия большого числа других случайных величин, ни одна из которых не является доминирующей, то она будет иметь приблизительно нормальное распределение, даже если отдельные составляющие не имеют нормального распределения.

Случайный член и определяется несколькими факторами, которые не входят в явной форме в уравнение регрессии. Поэтому даже если мы ничего не знаем о распределении этих факторов (или даже об их сущности), мы имеем право предположить, что они нормально распределены.

Теорема Гаусса-Маркова: при выполнении 4-х условий Гаусса-Маркова оценки коэффициентов регрессии, построенной обычным методом наименьших квадратов, будут наиболее эффективными линейными несмещенными оценками.

Несмещенность этих оценок докажем позже, линейность их очевидна. Наилучшими они являются в том смысле, что они — наиболее эффективные в классе всех несмещенных линейных оценок.

2. Анализ точности определения оценок коэффициентов уравнения регрессии

На практике мы не можем вычислить теоретические дисперсии коэффициентов регрессии и , так как дисперсия случайного фактора неизвестна. Однако мы можем получить ее оценку на основе остатков:

.

Величина является несмещенной оценкой дисперсии случайной компоненты . Величина – это необъясненная дисперсия или мера разброса зависимой переменной вокруг линии регрессии.

Можно также получить оценки теоретических дисперсий для и , и после извлечения квадратного корня оценки их стандартных отклонений.

Таким образом, для парного регрессионного анализа имеем:

, ;

, .