Тема 5 - Классическая модель множественной линейной регрессии

План лекции:

1. Предположения модели

2. Оценивание коэффициентов КЛММР методом наименьших квадратов

3. Парная и частная корреляция в КЛММР

5.1 Предположения модели

Пусть мы располагаем выборочными наблюдениями над k переменными , и , j=1,…,k, i=1,2,…,n, где n - количество наблюдений:

1	2		i		n
Y ,	Y2,		Yj,		Y,,
х,„	X12,		xh,		xlr,
xkl,	Xk2,		xki,		Хь,

Предположим, что существует линейное соотношение между результирующей переменной Y и k объясняющими переменными Х Х₃, ..., X_k. Тогда с учетом случайной ошибки запишем уравнение:

(5.1)

В (5.1) неизвестны коэффициенты βj,βj=0,2,...,k и параметры распреде­ления . Задача состоит в оценивании этих неизвестных величин. Модель (6.1) называется классической линейной моделью множественной регрессии (КЛММР). Заметим, что часто имеют в виду, что переменная Х₀ при равна единице для всех наблюдений i=1,2,...,n.

Относительно переменных модели в уравнении (5.1) примем следующие основные гипотезы:

1. E(_Ui)=0; (5.2)

2. (5.3)

3. Х Х₃,..., X_k - неслучайные переменные; (5.4)

4. Не должно существовать строгой линейной зависимости между переменными Х Х₃,..., X_k. (5.5)

Первая гипотеза (5.2) означает, что переменные имеют нулевую сред­нюю.

Суть гипотезы (5.3) в том, что все случайные ошибки имеют постоян­ную дисперсию, то есть выполняется условие гомоскедастичности дисперсии.

Согласно (5.4) в повторяющихся выборочных наблюдениях источником возмущений Y являются случайные колебания , а значит, свойства оценок и критериев обусловлены объясняющими переменными Х Х₃,..., X_k.

Последняя гипотеза (5.5) означает, в частности, что не существует линей­ной зависимости между объясняющими переменными, включая переменную Х₀, которая всегда равна 1.

Понятно, что условия (5.2)-(5.4) соответствуют своим аналогам для слу­чая двух переменных.

5.2 Оценивание коэффициентов КЛММР методом наименьших квадратов

Оценки коэффициентов могут быть получены методом наименьших квадратов. Применяя к (6.1) с учетом (5.2)-(5.5) МНК, получаем из необходимых ус­ловий минимизации функционала:

т.е. обращения в нуль частных производных по каждому из параметров:

Упростив последние равенства, получим стандартную форму нормальных уравнений, решение которых дает искомые оценки параметров:

(5.6)

Сложность решения системы линейных уравнений (5.6) с (k+l) неизвестными увеличивается быстрее, чем растет k. В зависимости от количества урав­нений система может быть решена методом исключения Гаусса или методом Крамера или другим численным методом решения системы линейных алгебраических уравнений.

В результате решения системы (5.6) получим оценки коэффициентов , j=0,2,..., k.

Возможна и другая запись уравнения (6.1) в так называемом стандартизо­ванном масштабе:

t_Y=b₁t_x + b₂t_Xj+... + b_kt_x +u, (5.7)

где t_Y,t_x ,...,t_x - стандартизованные переменные:

для которых среднее значение равно нулю:

а среднее квадратическое отклонение равно единице:

bj, j= l,2,...,k- стандартизованные коэффициенты регрессии.

Нетрудно установить зависимость между коэффициентами "чистой" рег­рессии βj и стандартизованными коэффициентами регрессии b_},j=l,2,...,k, a именно:

(5.8)

Причем

Соотношение (5.8) позволяет переходить от уравнения вида (5.7) к уравннию вида (5.1).

Стандартизованные коэффициенты регрессии показывают, на сколько "сигм" изменится в среднем результат (У), если соответствующий фактор X изменится на одну "сигму" при неизменном среднем уровне других факторов.

В силу того, что все переменные центрированы и нормированы, коэффи­циенты bj,j=1,2,...,k, сравнимы между собой (в этом их отличие от . Срав­нивая их друг с другом, можно ранжировать факторы по силе их воздействия на результат, что позволяет произвести отсев факторов - исключить из модели факторы с наименьшими значениями bj.

Оценки МНК , j=0,2,...,k являются наиболее эффективными (в смысле наименьшей дисперсии) оценками в классе линейных несмещенных оценок (теорема Гаусса-Маркова).

Как было уже указано раньше, достоинством метода множественной рег­рессии является возможность выделения влияния каждого из факторов Xj в ус­ловиях, когда воздействие многих переменных на результат эксперимента не удается контролировать. Степень раздельного влияния каждого из факторов ха­рактеризуется оценками ,j=l,2,...,k.

5.3 Парная и частная корреляция в КЛММР

В случаях, когда имеется одна независимая и одна зависимая переменные, естественной мерой зависимости (в рамках линейного подхода) является выборочный (парный) коэффициент корреляции между ними.

Использование множественной регрессии позволяет обобщить это поня­тие на случай, когда имеется несколько независимых переменных. В этом слу­чае необходима корректировка, так как высокое значение коэффициента корре­ляции между зависимой и какой-либо независимой переменной может означать высокую степень линейной зависимости, но может означать и то, что третья переменная оказывает значительное влияние на две первых и, что именно она служит основной причиной их высокой корреляции. Поэтому необходимо най­ти "чистую" корреляцию между двумя переменными, исключив влияние других факторов путем расчета коэффициента частной корреляции.

Коэффициенты частной корреляции для уравнения регрессии с двумя не­зависимыми переменными рассчитываются как:

(5.9)

(5.10)

(5.11)

где - коэффициент частной корреляции между у и х при исключенном влиянии ;

- коэффициент частной корреляции между у и х₂ при исключенном влиянии

коэффициент частной корреляции между х и x₂, исключающий

влияние у.

Коэффициенты частной корреляции более высоких порядков можно оп­ределить через коэффициенты частной корреляции более низких порядков по следующей рекуррентной формуле:

(5.12)

Коэффициенты частной корреляции широко используются на стадии формирования модели, при отборе факторов.

Так, например, при построении многофакторной модели применяется ме­тод исключения переменных, в ходе которого строится уравнение регрессии с полным набором переменных, затем рассчитывается матрица частных коэффи­циентов корреляции. Далее проверяется статистическая значимость каждого из коэффициентов согласно t-критерию Стьюдента. Независимая переменная, имеющая наименьшую и несущественную корреляцию с зависимой перемен­ной, исключается. Затем строится новое уравнение регрессии, и процедура про­должается до тех пор, пока не окажется, что все частные коэффициенты корре­ляции статистически значимы, то есть существенно отличаются от нуля.

Проверка статистической значимости частного коэффициента корреляции суть проверка гипотезы о том, что он равен нулю

Рассчитывается статистика:

(5.13)

Вывод о значимости частного коэффициента корреляции делается при /t/>t_£, где соответствующее табличное значение t-распределения с (n- (k+1)) степе­нями свободы.

Список рекомендуемой литературы:: /1, 6, 7, 9, 10, 11/