40. Предпосылки метода наименьших квадратов.

При оценке параметров уравнения регрессии применяется метод наименьших квадратов (МНК). При этом делаются определенные предпосылки относительно случайной составляющей ε.

В модели ŷ=a+b₁x₁+b₂x₂+...+b_px_p+ε случайная составляющая ε представляетсобой ненаблюдаемую величину. После того, как произведена оценка параметров модели, рассчитывая разности фактических и теоретических значений результативного признака у, определяют оценки случайных составляющих у- . Поскольку они не есть реальные остатки, их считают некоторой выборочной реализацией неизвестного остатка заданного уравнения, т.е. .

При изменении спецификации модели, добавлении в нее новых наблюдений выборочные оценки остатков меняются. В связи с этим задачей регрессионного анализа является не только построение самой модели, но и исследование случайных отклонений , т.е. остаточных величин.

Статистические проверки параметров регрессии, показателей корреляции основаны на непроверяемых предпосылках распределения случайной составляющей .

Оценки параметров регрессии должны отвечать следующим критериям: они должны быть:

- несмещенными,

- состоятельными,

- эффективными.

Несмещенность оценки означает, что математическое ожидание остатков равно 0. Коэффициенты регрессии, найденные исходя из МНК, представляют собой выборочные оценки силы связи. Их несмещенность является положительным моментом, поскольку только в этом случае они имеют практическую значимость. При большом числе выборочных оцениваний остатки не будут накапливаться и найденный параметр b_iрассматривается как среднее значениеиз возможного большого количества несмещенных оценок.

Оценки считаются эффективными, если они характеризуются наименьшей дисперсией. Исходя из этого, несмещенность оценки должна дополняться минимальной дисперсией.

Состоятельность оценок характеризует увеличение их точности с увеличением объема выборки.

Условия, необходимые для получения несмещенных, состоятельных и эффективных оценок, представляют собой предпосылки МНК, соблюдение которых необходимо для получения достоверных результатов регрессии.

Исследования остатков предполагают проверку наличия следующих предпосылок:

- случайный характер остатков;

- нулевая средняя величина остатков, не зависящая от х_i;

- гомоскедастичность – дисперсия каждого отклонения одинакова для всех значений х;

- отсутствие автокорреляции остатков. Значения остатков распределены независимо друг от друга;

Продолжение вопроса 40.

- остатки подчиняются нормальному распределению.

В тех случаях, когда все предпосылки выполняются, оценки, полученные по МНК и методу максимального правдоподобия, совпадают между собой. Если распределение случайных остатков не соответствуют некоторым предпосылкам МНК, то необходимо корректировать модель.

В первую очередь проверяется случайный характер остатков – первая предпосылка.

С этой целью строиться график зависимости остатков от теоретических значений результативного признака.

0 , 0 , 0 ,

а б в

Рисунок 2 – Зависимость случайных остатков от теоретических значений

Возможны следующие случаи: если зависит от , то:

- остатки не случайны (рис 2а);

- остатки не имеют постоянной дисперсии (рис. 2в);

- остатки носят систематический характер (рис. 2б), в данном случае отрицательные значения соответствуют низким значениям , а положительные – высоким значениям.

Вторая предпосылка означает, что ∑(у- )=0. Данное условие выполняется для линейных моделей и моделей, нелинейных относительно включаемых переменных.

В случае нарушения третьей предпосылки, когда дисперсия остатков не постоянна для каждого значения фактора х_j, то модель является неадекватной. Причиной данного обстоятельства может служить неправильная спецификация модели и в нее необходимо ввести дополнительные члены от х_j.

При построении регрессионной модели чрезвычайно важно соблюдение четвертой предпосылки МНК. Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих (последующих) наблюдений. Отсутствие автокорреляции остаточных величин обеспечивает состоятельность и эффективность коэффициентов регрессии.

Предпосылка о нормальном распределении остатков позволяет проводить проверку параметров регрессии и корреляции с помощью критериев tиF. Несмотря на это, оценки регрессии, полученные с применением МНК, обладают хорошими свойствами, даже при отсутствии данной предпосылки.

Абсолютно необходимым условием является соблюдение третьей и четвертой предпосылок.

В общем виде применение МНК возможно, если число наблюдений n превышает число оцениваемых параметров m, т.е. система нормальных уравнений имеет решение только тогда, когда n>m.

Следующее предъявляемое требование относительно матрицы исследуемых факторов – она должна быть свободна от мультиколлинеарности, которая искажает правильную экономическую интерпретацию экономических параметров регрессии.

При несоблюдении основных предпосылок МНК необходимо корректировать модель, изменяя ее спецификацию, добавлять (исключать) некоторые факторы, преобразовывать.