Национальный исследовательский университет

Московский Энергетический Институт.

Лабораторная работа №8.

Линейный регрессионный анализ.

Студент: Сержанов Н.

Группа: А-13-08.

Преподаватель: Тигетов Д. Г.

Москва, 2011.

В линейный регрессионный анализ входит широкий круг задач, связанных с построением (восстановлением) зависимостей между группами числовых переменных

X  (x₁ , ..., x_p) и Y = (y₁ ,..., y_m).

Предполагается, что Х- независимые переменные (факторы, объясняющие переменные) влияют на значенияY- зависимых переменных (откликов, объясняемых переменных). По имеющимся эмпирическим данным (X_i , Y_i),i= 1, ...,nтребуется построить функциюf(X), которая приближенно описывала бы изменениеYпри измененииX:

Y  f (X).

Предполагается, что множество допустимых функций, из которого подбирается f(X), является параметрическим:

f(X) =f(X, ),

где - неизвестный параметр (вообще говоря, многомерный). При построенииf(X) будем считать, что

Y = f(X, ) +, (1)

где первое слагаемое - закономерное изменение YотX, а второе -- случайная составляющая с нулевым средним;f(X, ) является условным математическим ожиданиемYпри условии известногоX и называетсярегрессией Y по X.

1. Простая линейная регрессия

Пусть XиYодномерные величины; обозначим ихxиy, а функцияf(x, ) имеет видf(x,) =A + bx, где= (A, b). Относительно имеющихся наблюдений (x_i , y_i),i= 1, ...,n, полагаем, что

y_i = A + bx_i + _i , (2)

где ₁ , ..., _n - независимые (ненаблюдаемые) одинаково распределенные случайные величины. Можно различными методами подбирать “лучшую” прямую линию. Широко используетсяметод наименьших квадратов.Построим оценку параметра= (A, b) так, чтобы величины

e_i = y_i  f (x_i, ) = y_i  A  bx_i ,

называемые остатками, были как можно меньше, а именно, чтобы сумма их квадратов была минимальной:

=minпо (A, b) (3)

Чтобы упростить формулы, положим в (2) x_i = x_i  ;получим:

y_i = a + b (x_i  ) + _i , i = 1, ..., n, (3)

где =,a = A + b.Суммуминимизируем по (a,b), приравнивая нулю производные поaиb; получим систему линейных уравнений относительноaиb. Ее решение () легко находится:

, где, (4)

. (5)

Свойства оценок. Нетрудно показать, что еслиM_i = 0, D_i = ², то

1) M= а, М=b, т.е. оценки несмещенные;

2) D= ² / n,D=²/;

3) cov() = 0;

если дополнительно предположить нормальность распределения _i, то

4) оценки инормально распределены и независимы;

5) остаточная сумма квадратов

Q² =(6)

независима от (,), аQ² / ²распределена по закону хи-квадратсn-2 степенями свободы.

Пример. В табл. 1 приведены данные по 45 предприятиям легкой промышленности по статистической связи между стоимостью основных фондов (fonds, млн руб.) и средней выработкой на 1 работника (product,тыс. руб.);z- вспомогательный признак:z= 1 - федеральное подчинение,z= 2 – муниципальное.

Выполнение.

Построим диаграмму рассеяния с подобранной прямой регрессии.

Выполним регрессионный анализ:

Имеем регрессию:

product = 11.5 + 1.43fonds,

значение коэффициента детерминации R²=0.597 достаточно велико.

Уравнение регрессии показывает, что увеличение основных фондов на 1 млн руб. приводит к увеличению выработки 1 работника в среднем на ₁ = 1.43 тыс. руб. Для удобства интерпретации параметрапользуются коэффициентом эластичности

,

который показывает среднее изменение (в долях или %) зависимой переменной y при изменении факторах:

.

Построим регрессию выработки по фондам для более однородной совокупности - для предприятий федерального подчинения (z=1).

Диаграмма рассеяния:

Регрессионный анализ:

Получаем результаты:

Product = 12.51 + 1.44fonds,

R² = RI = 0.897, S = 2.68.