Лекция №4. Модель множественной линейной регрессии

ПЛАН

4.1. Определение параметров модели множественной

линейной регрессии по МНК

4.2. Теорема Гаусса-Маркова для модели множественной линейной регрессии

4.3. Дисперсии и стандартные ошибки оценок коэффициентов регрессии

4.4. Показатели качества модели множественной линейной регрессии

4.5. Анализ качества модели множественной линейной регрессии

4.6. Интервальные оценки для теоретических коэффициентов регрессии. Предсказание среднего и индивидуального (прогнозного) значений зависимой переменной

4.1. Определение параметров модели множественной линейной регрессии по МНК

На любой экономический показатель чаще всего оказывает влияние не один, а множество факторов. В этом случае вместо парной регрессии рассматривается модель множественной регрессии (многофакторная модель):

,

где – вектор, составленный из независимых или объясняющих переменных (факторных признаков);

– вектор параметров, подлежащих определению;

– зависимая или объясняемая переменная (результативный признак);

– случайная компонента (ошибка).

Наиболее простой является модель множественной линейной регрессии, когда функция – линейна относительно всех объясняющих переменных:

. (4.1)

Для каждого -ого наблюдения ( ) зависимость (4.1) примет вид:

, (4.2)

где – значение объясняющей переменной ( ) в –ом наблюдении ( ).

Коэффициент характеризует чувствительность величины к изменению ; он показывает, на сколько в среднем изменится значение объясняемой переменной , если увеличится на единицу своего измерения, а все остальные объясняющие переменные останутся неизменными.

Представим данные наблюдений и коэффициенты в матричной форме:

; ;

; .

Тогда модель множественной линейной регрессии в матричной форме примет вид:

. (4.3)

Применим МНК для нахождения оценок истинных коэффициентов регрессии , . Пусть неизвестный вектор оценок имеет вид:

.

Согласно МНК минимизируется сумма квадратов остатков регрессии:

,

где – расчетное значение в -ом наблюдении.

Необходимым условием минимума функции является равенство нулю всех ее частных производных по переменным , т.е.

(4.4)

Можно показать, что решение системы (4.4) представимо в виде:

, (4.5)

где – матрица, транспонированная к матрице ;

– матрица, обратная к матрице .

Нетрудно убедиться, что с учетом (4.3) вектор оценок (4.5) можно представить в виде

. (4.5')

Из (4.5') следует, что оценки , , являются случайными величинами, свойства которых существенным образом зависят от свойств вектора случайных ошибок . По аналогии с парной регрессией будем называть оценки , , эмпирическими коэффициентами регрессии, а уравнение – эмпирическим уравнением регрессии.

Замечание. Для того чтобы можно было однозначно решить задачу нахождения наилучшего вектора оценок , объем выборки должен быть заведомо больше числа оцениваемых параметров, т.е. . На практике считают, что для обеспечения статистической надежности требуется, чтобы . Например, для парной регрессии ( ) должно выполняться: .