6. Условия нормальной линейной регрессии (Гаусса-Маркова)

Просмотров: 6113

Доказано, что для получения по МНК наилучших результатов (при этом оценки bi обладают свойствамисостоятельности, несмещенности и эффективности) необходимо выполнение ряда предпосылок относительно случайного отклонения

Предпосылки использования МНК (условия Гаусса – Маркова)

1. Случайное отклонение имеет нулевое математическое ожидание.

Данное условие означает, что случайное отклонение в среднем не оказывает влияния на зависимую переменную.

2. Дисперсия случайного отклонения постоянна.

Из данного условия следует, что несмотря на то, что при каждом конкретном наблюдении случайное отклонение eiможет быть различным, но не должно быть причин, вызывающих большую ошибку.

3. Наблюдаемые значения случайных отклонений независимы друг от друга.

Если данное условие выполняется, то говорят об отсутствии автокорреляции.

4. Случайное отклонение д.б. независимо от объясняющей переменной.

Это условие выполняется, если объясняющая переменная не является случайной в данной модели.

5. Регрессионная модель является линейной относительно параметров, корректно специфицирована и содержит аддитивный случайный член.

6. Наряду с выполнимостью указанных предпосылок при построении линейных регрессионных моделей обычно делаются еще некоторые предположения, а именно:

- случайное отклонение имеет нормальный закон распределения;

-          число наблюдений существенно больше числа объясняющих переменных;

-          отсутствуют ошибки спецификации;

-          отсутствует линейная взаимосвязь между двумя или несколькими объясняющими переменными.

7. Метод наименьших квадратов

Просмотров: 5119

Один из методов регрессионного анализа для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки.

Метод наименьших квадратов применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений.

Когда искомая величина может быть измерена непосредственно, как, например, длина отрезка или угол, то, для увеличения точности, измерение производится много раз, и за окончательный результат берут арифметическое среднее из всех отдельных измерений. Это правило арифметической середины основывается на соображениях теории вероятностей; легко показать, что сумма квадратов уклонений отдельных измерений от арифметической середины будет меньше, чем сумма квадратов уклонений отдельных измерений от какой бы то ни было другой величины. Само правило арифметической середины представляет, следовательно, простейший случай метода наименьших квадратов.

Пусть дано решить систему уравнений

a1x + b1y + c1z + … + n1 = 0

a2x + b2y + c2z + … + n2 = 0 (1)

a3x + b3y + c3z + … + n3 = 0

…

число которых более числа неизвестных x, у, z… Чтобы решить их по способу Н. квадратов, составляют новую систему уравнений, число которых равно числу неизвестных и которые затем решаются по обыкновенным правилам алгебры. Эти новые, или так называемые нормальные, уравнения составляются по следующему правилу: умножают сперва все данные уравнения на коэффициенты у первой неизвестной х и, сложив почленно, получают первое нормальное уравнение, умножают все данные уравнения на коэффициенты у второй неизвестной у и, сложив почленно, получают второе нормальное уравнение и т. д. Если означить для краткости:

[aa] = a1a1 + a2a2 +…

[ab] = a1b1 + a2b2 +…

[ac] = a1c1 + a2c2 +…

…

[ba] = b1a1 + b2a2 +…

[bb] = b1b1 + b2b2 +…

[bc] = b1c1 + b2c2 +…

…

то нормальные уравнения представятся в следующем простом виде:

[aa]x + [ab]y + [ac]z + … + [an] = 0

[ba]x + [bb]y + [bc]z + … + [bn] = 0 (2)

[ca]x + [cb]y + [cc]z + … + [cn] = 0