18. Модель множественной регрессии.

Просмотров: 5918

Множественная регрессия – уравнение связи с несколькими независимыми переменными:

где   - зависимая переменная (результативный признак);

 - независимые переменные (факторы).

Линейная модель множественной регрессии имеет вид:

Yi = α0 + α1xi1 + α2xi2 + ... + α mxim + εi (4.1)

Коэффициент регрессии αj показывает, на какую величину в среднем изменится результативный признак Y, если переменную xj увеличить на единицу измерения, т.е. αj является нормативным коэффициентом. Обычно предполагается, что случайная величина εi имеет нормальный закон распределения с математическим ожиданием равным нулю и с дисперсией σ2.

Анализ уравнения (4.1) и методика определения параметров становятся более наглядными, а расчетные процедуры существенно упрощаются, если воспользоваться матричной формой записи уравнения (4.2):

Y = X α + ε (4.2)

где Y — вектор зависимой переменной размерности n×1, представляющий собой n наблюдений значений yj,

X — матрица n наблюдений независимых переменных Х1, Х2, Х3, ..., Хm, размерность матрицы X равна n×(m+1);

α — подлежащий оцениванию вектор неизвестных параметров размерности (m+1) ×1;

ε — вектор случайных отклонений (возмущений) размерности n×1.

Таким образом, 

Уравнение (4.1) содержит значения неизвестных параметров α0, α1, α2, ..., αm. Эти величины оцениваются на основе выборочных наблюдений, поэтому полученные расчетные показатели не являются истинными, а представляют собой лишь их статистические оценки. Модель линейной регрессии, в которой вместо истинных значений параметров подставлены их оценки (а именно такие регрессии и применяются на практике), имеет вид:

, (4.3)

где α — вектор оценок параметров; е — вектор «оцененных» отклонений регрессии, остатки регрессии ε = Y - X α;   — оценка значений Y, равная Ха.

Для построения уравнения множественной регрессии чаще используются следующие функции:

 линейная –   

 степенная – 

 экспонента –   

 гипербола -  .

Можно использовать и другие функции, приводимые к линейному виду.

19. Ограничения модели множественной регрессии.

Просмотров: 2432

Предположим, что связь между объясняемой переменной   и объясняющими переменными   линейная, т.е.

.

Пусть выполняются следующие условия:

1)        ,  ;

2)        , для любых  ;

3)        ,  ,

4)        ,  , т.е. распределение   не зависит от распределения любой объясняющей переменной   ;

5)       ошибки   имеют нормальный закон распределения,  ;

6)        , т.е. ранг матрицы   должен быть равен числу оцениваемых параметров  , что означает отсутствие линейной зависимости между объясняющими переменными  .

Тогда МНК-оценка вектора  :   имеет наименьшую дисперсию в классе всех линейных несмещенных и состоятельных оценок.

Условия Гаусса-Маркова 1)-6) называются предпосылками МНК для случая множественной линейной регрессии.

 

20. Идентификация параметров множественной регрессии мнк.

Просмотров: 2746

Возможны разные виды уравнений множественной регрессии: линейные и нелинейные.

Ввиду четкой интерпретации параметров наиболее широко используется линейная функция. В линейной множественной регрессии   параметры при   называются коэффициентами «чистой» регрессии. Они характеризуют среднее изменение результата с изменением соответствующего фактора на единицу при неизмененном значении других факторов, закрепленных на среднем уровне.

Рассмотрим линейную модель множественной регрессии

.                                                                  (2.1)

Классический подход к оцениванию параметров линейной модели множественной регрессии основан на методе наименьших квадратов (МНК). МНК позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака   от расчетных   минимальна:

.                                                                                            (2.2)

Как известно из курса математического анализа, для того чтобы найти экстремум функции нескольких переменных, надо вычислить частные производные первого порядка по каждому из параметров и приравнять их к нулю.

Итак. Имеем функцию   аргумента:

.

Находим частные производные первого порядка:

                

После элементарных преобразований приходим к системе линейных нормальных уравнений для нахождения параметров линейного уравнения множественной регрессии (2.1):

    (2.3)

Для двухфакторной модели данная система будет иметь вид: