11. Матричная форма мнк: спецификация парной регрессионной модели в матричной форме, необходимые условия экстремума в матричном виде, вывод оценки вектора параметров модели.

12. Понятие статистической процедуры оценивания параметров эконометрической модели. Линейные статистические процедуры. Требования к наилучшей статистической процедуре: несмещенность и минимальные дисперсии оценок параметров.

Оценкой â_n параметра a называют всякую функцию результатов наблюдений над случайной величиной X (иначе — статистику), с помощью которой судят о значениях параметра a.

Статистические проверки параметров регрессии основаны на непроверяемых предпосылках распределения случайной величины. Они носят лишь предвари­тельный характер. После построения уравнения регрессии про­водится проверка наличия у оценок тех свойств, которые предполагались. Связано это с тем, что оценки параметров регрессии должны отвечать определенным критери­ям: быть несмещенными, состоятельными и эффективными. Эти свойства оценок, полученных по МНК, имеют чрезвычайно важ­ное практическое значение в использовании результатов регрес­сии и корреляции.

В отличие от параметра, его оценка ã _n — величина случай­ная. «Наилучшая оценка» ã _n должна обладать наименьшим рас­сеянием относительно оцениваемого параметра a, например, наи­меньшей величиной математического ожидания квадрата отклонения оценки от оцениваемого параметра М(ã - a)².

Оценка â _n параметра a называется несмещенной, если ее мате­матическое ожидание равно оцениваемому параметру, т. е. М(ã) = a.

В противном случае оценка называется смещенной.

Если это равенство не выполняется, то оценка ã , получен­ная по разным выборкам, будет в среднем либо завышать значе­ние a (если М(ã) > a , либо занижать его (если М(ã) < 0). Та­ким образом, требование несмещенности гарантирует отсутствие систематических ошибок при оценивании.

Оценка â _n параметра a называется состоятельной, если она удовлетворяет закону больших чисел, т.е. сходится по вероятно­сти к оцениваемому параметру:

В случае использования состоятельных оценок оправдывается увеличение объема выборки, так как при этом становятся ма­ловероятными значительные ошибки при оценивании. Поэтому практический смысл имеют только состоятельные оценки.

Несмещенная оценка ã _n параметра a называется эффектив­ной, если она имеет наименьшую дисперсию среди всех возможных несмещенных оценок параметра a, вычисленных по выборкам одного и того же объема n.

Так как для несмещенной оценки M(ã _n - a)² есть ее дис­персия , то эффективность является решающим свойством, определяющим качество оценки.

Для нахождения оценок параметров (характеристик) генераль­ной совокупности используется ряд методов.

Указанные критерии оценок (несмещенность, состоятель­ность, эффективность) обязательно учитываются при разных способах оценивания.

13. Теорема Гаусса - Маркова.

Рассматривается модель парной регрессии, в которой наблюдения Y связаны с X следующей зависимостью: Yi = β₁ + β₂Xi + εi. На основе n выборочных наблюдений оценивается уравнение регрессии  . Теорема Гаусса—Маркова гласит: Если данные обладают следующими свойствами:

1. Модель данных правильно специфицирована;

2. Все Xi детерминированы и не все равны между собой;

3. Ошибки не носят систематического характера, то есть  ;

4. Дисперсия ошибок одинакова и равна некоторойσ²;

5. Ошибки независимы, то есть ;

— то в этих условиях оценки метода наименьших квадратов эффективны в классе линейных несмещенных оценок: Линейность оценок показана выражением

Также: А). Оценки яв-ся несмещенными, т.е. Eb^~=b и Eâ=a Док-во: Введем w_t=x_t/∑x_s². При этом ∑w_t=0; ∑w_tx_t=1; ∑w_t² =1/∑x_t²; b^~=b+∑w_tε_t. Таким образом Б). Оценки являются состоятельными. Условие -  В качестве доказательства состоятельности оценок приведем формулы элементов ковариационной матрицы вектора b^~, из которых видно, что дисперсии несмещенных оценок параметров с ростом объема выборки стрем-ся к 0: Т.е. увелечение объема выборки приводит к устойчивости оценок коэф-в ур-ия. Считается, что объем выборки должен удовл-ть соот-ию n>3m-1, где m-кол-во объясняющих переем-х. В). Оценки эфф-ны, т.е. они имеют наименьшую дисп-ию разброса отн-но теорет-х вел-н по сравнению с такими же оценками полученных с примен-м и люб др методов расчета. Эффективность оценки определяется критерием вида 

Кому не понравилось, смотрим лекцию.

1 4.  Основные числовые характеристики вектора оценок параметров классической множественной регрессионной модели. Вектор оценок параметров модели – случайный вектор, его основными количественными характеристиками являются: вектор мат.ожиданий и матрица автоковариаций. A=(X^TX)^-1X^T таким образом, МНК-оценки параметров множественной регрессии несмещенные. Построим матрицу автоковариаций  

, тк Доказательство эффективности несмещенных оценок b^~ выполняется путем сравнения их дисперсий Var(b^{^}) с дисперсиями Var(b^~) вектора линейных несмещенных оценок b^~, определяемого выражением b^~ =(A+C)Y, где С— произвольная (k*n)-матрица. Тогда, в силу несмещенности оценки b~ и равенства  можно записать: b=E(b^~)= (A+C)E(Y) = (A+C)Xb = AXb +CXb = b + CXb, откудаследует: CX=0. Определим автоковариационную матрицу вектора оценок b~: Диагональные элементы автоковариационных матриц оценок параметров — их дисперсии. Диагональные элементы матрицы СС^Т неотрицательны, поэтому Var(b^{^})>=Var(b^~), т. е. оценка МНК является эффективной, имея минимальную дисперсию по сравнению с любыми несмещенными оценками неизвестного параметра в классе линейных процедур.