Тема 3. Линейная модель парной регрессии и метод наименьших квадратов

Аннотация. Данная тема раскрывает суть регрессионного анализа в эконометрике.

Ключевые слова. Модель регрессии, метод наименьших квадратов, остатки регрессии.

Методические рекомендации по изучению темы

• Тема содержит лекционную часть, где даются общие представления по теме.

• В качестве самостоятельной работы предлагается ознакомиться с решениями типовых задач, выполнить практические задания и ответить на вопросы для самоконтроля.

• Для проверки усвоения темы имеется тест для самоконтроля.

• Для подготовки к экзамену имеются контрольный тест.

Рекомендуемые информационные ресурсы:

1. http://tulpar.kpfu.ru/mod/resource/view.php?id=382

2. Эконометрика: [Электронный ресурс] Учеб.пособие / А.И. Новиков. - 2-e изд., испр. и доп. - М.: ИНФРА-М, 2011. - 144 с.: с. (http://znanium.com/catalog.php?item=booksearch&code=%D1%8D%D0%BA%D0%BE%D0%BD%D0%BE%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B0&page=1#none) С. 28-46.

3.Уткин, В. Б. Эконометрика [Электронный ресурс] : Учебник / В. Б. Уткин; Под ред. проф. В. Б. Уткина. - 2-е изд. - М.: Издательско-торговая корпорация «Дашков и К°», 2012. - 564 с.

(http://znanium.com/catalog.php?item=booksearch&code=%D1%8D%D0%BA%D0%BE%D0%BD%D0%BE%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B0&page=4#none) С. 323-338.

4. Валентинов, В. А. Эконометрика [Электронный ресурс]: Практикум / В. А. Валентинов. - 3-е изд. - М.: Дашков и К, 2010. - 436 с.

(http://znanium.com/catalog.php?item=booksearch&code=%D1%8D%D0%BA%D0%BE%D0%BD%D0%BE%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B0&page=3#none) С. 38-99.

5.Эконометрика. Практикум: [Электронный ресурс] Учебное пособие / С.А. Бородич. - М.: НИЦ ИНФРА-М; Мн.: Нов.знание, 2014. - 329 с. (http://znanium.com/catalog.php?item=booksearch&code=%D1%8D%D0%BA%D0%BE%D0%BD%D0%BE%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B0&page=4#none) С. 82-99.

6. Электронныйкурс “Econometrics and Public Policy (Advanced)”, Princeton University, URL: https://blackboard.princeton.edu/webapps /portal/frameset.jsp?tab_group=courses&url=%2Fwebapps%2Fblackboard%2Fexecute%2FcourseMain%3Fcourse_id%3D_214206_1

Глоссарий

Множественная регрессия представляет собой модель, где теоретическое (среднее) значение зависимой переменной Y рассматривается как функция нескольких независимых переменных X₁, X₂,...X_m.

Параметризация модели – выражение в математической форме взаимосвязи между переменными модели, формулирование исходных предпосылок и ограничений модели.

Парная регрессия представляет собой модель, где теоретическое (среднее) значение зависимой переменной Y рассматривается как функция одной независимой переменной X.

Спецификация модели - формулирование вида модели, исходя из соответствующей теории связи между переменными.

Цель регрессионного анализа – оценка функциональной зависимости между независимыми переменными X и условным математическим ожиданием зависимой переменной Y.

Вопросы для изучения:

1. Спецификация линейной модели парной регрессии.

2. Метод наименьших квадратов (МНК) – идентификация линейной модели парной регрессии.

3. Предпосылки МНК и свойства МНК-оценок.

Спецификация линейной модели парной регрессии. Основная цель регрессионного анализа – оценка функциональной зависимости между независимыми переменными X и условным математическим ожиданием зависимой переменной Y.Простая (парная) регрессия представляет собой модель, где теоретическое (среднее) значение зависимой переменной Y рассматривается как функция одной независимой переменной X: Множественная регрессия представляет собой модель, где теоретическое (среднее) значение зависимой переменной Y рассматривается как функция нескольких независимых переменных X1, X2,...Xm:

Спецификация модели - формулирование вида модели, исходя из соответствующей теории связи между переменными.Определяется состав переменных и математическая функция для отражения связи между ними.

_{Спецификация линейной модели (уравнения) парной регрессии:}

где Y_i - фактическое значение зависимой переменной Y;

Y_xi - теоретическое (среднее) значение зависимой переменной Y;

ε_i - случайная величина (остаток регрессии).

Теоретическое уравнение регрессии (гипотетически для генеральной совокупности):

где α – свободный коэффициент;

β - коэффициент регрессии;

ε_i – случайное отклонение (возмущение).

Случайное отклонение включает влияние не учтенных в модели факторов, случайных ошибок и особенностей измерения. Источники его присутствия в модели: спецификация модели, выборочный характер исходных данных, особенности измерения переменных.

Эмпирическое уравнение регрессии (для выборки наблюдений):

где а – эмпирическая (выборочная) оценка свободного коэффициента;

b - эмпирическая (выборочная) оценка коэффициента регрессии;

e_i – эмпирическая (выборочная) оценка теоретического случайного отклонения ε (остаток регрессии).

Метод наименьших квадратов (МНК). Суть метода наименьших квадратов (МНК) - оценки параметров таковы, что сумма квадратов отклонений фактических значений зависимой переменной Y_iот расчетных (теоретических) Y_x минимальна:

Оценкапараметров регрессии:

Предпосылки МНК и свойства МНК-оценок. Предпосылки МНК:

1. Математическое ожидание случайного отклонения εi равно нулю для всех наблюдений:

2. Дисперсия случайных отклонений εi постоянна. Выполнение предпосылки называется гомоскедатичностью, нарушение – гетероскедастичностью:

3.Случайные отклонения ε_i и ε_j являются независимыми друг от друга для i ≠ j. Выполнение данной предпосылки говорит об отсутствии автокорреляции, нарушение – о присутствии автокорреляции:

4.Случайное отклонение должно быть независимо от объясняющих переменных:

5.Модель линейна относительно параметров.

Если предпосылки МНК выполнены, то МНК-оценки регрессии обладают следующими свойствами:

1.Оценки являются несмещенными:

2. Оценки состоятельны, так как их дисперсия при увеличении выборки стремится к нулю:

_{3.Оценки эффективны, имеют наименьшую дисперсию по сравнению с другими оценками, линейными относительно зависимой переменной:}

_{Вопросы и задания для самоконтроля}

1. Что такое функция регрессии?

2. Чем регрессионная модель отличается от функции регрессии?

3. Каковы основные причины наличия в регрессионной модели случайного отклонения?

4. Как осуществляется спецификация модели?

5. В чем состоит различие между теоретическим и эмпирическим уравнениями регрессии?

6. В чем суть метода наименьших квадратов?

7. Каковы формулы расчета коэффициентов эмпирического парного линейного уравнения регрессии по МНК?

8. Каковы предпосылки МНК? Каковы последствия их выполнимости или невыполнимости?

9. Действительно ли оценки коэффициентов регрессии будут иметь нормальное распределение, если случайные отклонения распределены нормально?

10. Действительно ли в любой линейной регрессионной модели, построенной по МНК, сумма случайных отклонений равна нулю?

Задача 1. При исследовании корреляционной зависимости между ценой на нефть X и индексом нефтяных компаний Y получены следующие данные: 16,2; 4000; 4; 40.

Задание: построить линейное уравнение регрессии Y на X.

Задача 2. По выборке объема 10 получены следующие данные:

100; 200; 21000; 12000; 45000.

Задание: оценить с помощью МНК параметры линейного уравнения регрессии, найти выборочный коэффициент корреляции .

Лекция 4,5