Тема 7. Предпосылки применения метода наименьших квадратов. Статистика Дарбина-Ватсона

7.1. Предпосылки метода наименьших квадратов. Классическая линейная регрессионная модель.

7.2. Предпосылки применимости метода наименьших квадратов (МНК). Расчёт остатков (ошибок) _i. Несмещённость, эффективность и состоятельность оценок. Гомоскедатичность. Теорема Гаусса-Маркова.

7.3. Проверка выполнимости предпосылок МНК. Статистика Дарбина-Уотсона.

7.4. Задание к лабораторной работе № 6 «Проверка наличия автокорреляции отклонений с помощью статистики Дарбина-Уотсона».

7.1. Предпосылки метода наименьших квадратов. Классическая линейная регрессионная модель

Регрессионный анализ позволяет определить оценки коэф-фициентов регрессии. Но, являясь лишь оценками (приближениями), они не позволяют сделать вывод, насколько точно эмпирическое уравнение регрессии соответствует уравнению для всей генеральной совокупности, насколько близки оценки b₀ и b₁ коэффициентов к своим теоретическим прототипам ₀ и ₁, как близко оцененное значение у_teor(x_i), к условному математическому ожиданию M(YX=x_i), насколько надежны найденные оценки. Для ответа на эти вопросы необходимы определенные дополнительные исследования [1, 3, 12, 14].

Как следует из следующего соотношения

Y_i = M(YX=x_i) = ₀ + ₁x_i + _i

значения у_i зависят от значений х_i и случайных отклонений _i. Следовательно, переменная Y является случайной величиной, напрямую связанной с _i. Это означает, что до тех пор, пока не будет определенности в вероятностном поведении _i, мы не сможем быть уверенными в качестве оценок. Действительно, можно показать, что оценки (приближения) коэффициентов регрессии — это случайные величины, зависящие от случайного члена в уравнении регрессии.

Рассмотрим модель парной линейной регрессии

Y = ₀ + ₁X +  (7.1)

Пусть на основе выборки из n наблюдений оценивается регрессия

Y_teor(X) = b₀ + b₁X. (7.2)

Пример 1. Возьмём актуальный пример про учёбу студентов. Будем опрашивать их на тему, сколько они занимались дней в сессию и какие в среднем получили оценки за сессию. Результаты опроса занесём в следующую таблицу.

Таблица 1

i — номер измерения (опрошенного студента)	Количество дней подготовки к экзам., Xi, чел.-дн.	Средняя оценка за сессию, Yi	Средняя оценка за сессию, Yteor(Xi) = b0+b1*Xi
1	10	5	4,888268
2	8	4	4,117318
3	3	2	2,189944
4	2	2	1,804469

Значения b₀ и b₁, использованные в последнем столбце, мы получим, например, первым способом с помощью функции ЛИНЕЙН:

0,385475	1,03352
0,03352	0,222974
0,985102	0,224231
132,25	2
6,649441	0,100559

Отсюда видно, что b₁ = 0,385477. Главное, что эта приближенная величина положительна. Это означает, что с каждым новым днём усиленных занятий ваша средняя оценка за сессию увеличивается в среднем на величину 0,385477. Интуитивно это ясно каждому нормальному человеку. Но разные причины и искушения каждого дня мешают нам работать. Речь далее идёт о количестве однородных наблюдений.

Генеральной совокупностью называется множество всех возможных значений или реализаций исследуемой случайной величины при данном реальном комплексе условий.

Именно невозможность использовать данные всей генеральной совокупности, а только конкретной выборки (в нашем примере данные таблицы 1) позволяет всегда вместо задачи (7.1) рассматривать её приближение, т.е. задачу (7.2).

Как показано в формуле (3.17)

, (7.3)

означает, что коэффициент b₁ также является случайным. В самом деле значение выборочной ковариации S_xy зависит от того, какие значения принимают Х и Y.

.

Если Х можно рассматривать как экзогенный фактор, значения которого известны, то значения Y зависят от случайной составляющей _i. Коэффициент ковариации вычисляется по формуле

_xy = cov(X,Y) = M((X-MX)(Y-MY))=

= M(XY) - MXMY.

Теоретически коэффициент b₁ можно разложить на неслучайную и случайную составляющие. Вначале разложим числитель выражения (7.3)

S_xy = cov(X, ₀ + ₁X + ) = cov(X, ₀)+ cov(X, ₁X) + cov(X, )

Таким образом,

S_xy = cov(X, ₀)+ ₁S_x² +cov(X, ) = 0 + ₁S_x² +cov(X, ). (7.4)

Здесь использовались правила вычисления ковариации:

cov(X, ₀) = 0, так как ₀ = const,

cov(X, ₁X) = ₁cov(X, X) = ₁S_x².

Следовательно,

. (7.5)

Здесь ₁ — постоянная величина (истинное значение коэффициента регрессии), — случайная компонента. Аналогичный результат можно получить и для коэффициента b₀. Отметим при этом, что на практике такое разложение осуществить невозможно, поскольку неизвестны истинные значения ₀ и ₁, а также значения отклонений для всей генеральной совокупности.

Итак, мы показали, что свойства оценок коэффициентов регрессии, а следовательно, и качество построенной регрессии существенно зависят от свойств случайной составляющей. Доказано, что для получения по МНК наилучших результатов необходимо, чтобы выполнялся ряд предпосылок относительно случайного отклонения.