2.1. Опис моделі

За допомогою моделі простої лінійної регресіїї ми вивчали зв’язок між залежною змінною y та незалежною змінною x. Модель ___________множинної лінійної регресії описує співвідношення між y та набором незалежних змінних x0, x1, ...,xk-1. Так, наприклад, при дослідженні попиту нас цікавить залежність обсягу попиту на деякий товар від ціни на цей товар, цін на взаємозамінні з даним товари та від доходів споживачів. При наявності n спостережень модель множинної лінійної регресії записується у вигляді yxxxiiiikiki=+ n +++=−−βββε0011111K,,, (2.1)

де xij– значення j-ї незалежної змінної (xj) в i-му спостереженні, збурення εi задовольняють тим самим припущенням, що і в моделі простої регресії.

1. Нульове середнє: Eεi = 0,in=1,.

2. Рівність дисперсій: Dεi = E= σεi22 = const,in=1,.

3. Незалежність збурень: εі та εj незалежні приij≠.

4. Незалежність збурень та регресорів: xij та εі незалежні для всіх i та j (якщо регресори не стохастичні , то дане припущення виконується автоматично).

5. (Додаткове). Збурення εi нормально розподілені для всіх i.

Модель множинної лінійної регресії (2.1) зручно записувати у матрично-векторному вигляді:

yX=β+ε (2.2)

з використанням наступних позначень:

y=⎛⎝⎜⎜⎜⎜⎞⎠⎟⎟⎟⎟yyyn12..–вектор значень залежної змінної,

X=⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⎛⎝⎜⎜⎜⎜⎜⎞⎠⎟⎟⎟⎟⎟−−−xxxxxxxxxkknnnk101111202121011,,, – матриця значень незалежних змінних,

22

ε=εεε12⋅⋅⋅⎛⎝⎜⎜⎜⎜⎜⎞⎠⎟⎟⎟⎟⎟n– вектор збурень,

β=βββ011⋅⋅⋅⎛⎝⎜⎜⎜⎜⎜⎞⎠⎟⎟⎟⎟⎟−k– вектор параметрів (коефіцієнтів) регресії.

Матриця X складається з n рядків – відповідно до кількості спостережень, – і з k стовпчиків, кількість яких дорівнює кількості незалежних змінних. Щоб записати модель з константою: yxxiiikiki=+ n +++=−−βββε011111K,,,

у матричному вигляді, розглядають матрицю значень незалежних змінних, в якій перший стовпчик складається з одиниць:

X=⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⎛⎝⎜⎜⎜⎜⎜⎞⎠⎟⎟⎟⎟⎟−−−1111111212111xxxxxxkknn,,,k

.

Позначимо через Dε коваріаційну матрицю вектора збурень

Dε=DCov(Cov(Cov(Cov(DCov(Cov(Cov(Cov(D11112222nnεεεεεεεεεεεεεεεεεεε,),),),),),),),)231312

3

⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⎛⎝⎜⎜⎜⎜⎞⎠⎟⎟⎟⎟=nn

=εEEEEEEEEEEEE(111222nnTεεεεεεεεεεεεεεεεεεε122312233122⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⎛⎝⎜⎜⎜⎜⎜⎞⎠⎟⎟⎟⎟⎟=nn) ε ,

23

внаслідок того, що збурення мають нульові математичні сподівання. Тоді припущення 2 та 3 зручно записувати у вигляді:

Dε=σ2In, (2.3)

де In– одинична матриця n-го порядку, а припущення 1 – Eε = 0.

Модель множинної лінійної регресії у матрично-векторних позначеннях:

yXb0DI=+==εεε,,,Eσ2

ε не залежить від X

Додаткове припущення:

ε~N(0,σ2I)

2.2. Знаходження параметрів регресії методом найменших квадратів

Нехай –деяка оцінка вектора параметрів . Запишемо рівняння вибіркої регресії $($,$,...,$)β=βββ011k−Tβ

$$$$yxxxkk=+++−−βββ001111K.

Тоді

$$$$,yxxxiiiki=+++−−βββ00111K k1

є оцінкою Eyi, побудованою на основі вибіркової регресіїї. Залишки визначаються як різниці між значеннями залежної змінної, які спостерігались, і обчисленими з регресії: $εi

$$εiiyyi =−.

Вектор залишків$εдорівнює$$ε=yy−, де ,. $($,$,,$)y=yyyn12KT$$yX=β

Оцінки методу найменших квадратів знаходяться з умови мінімізації суми квадратів залишків за всіма можливими значеннями $β

QQiin====Σ($)$($$)βεε21T, ε

(

2.4)

Щоб мінімізувати вираз (2.4), запишемо необхідну умову екстремуму, тобто прирівняємо похідні відносно до нуля. Маємо $β

24

∂∂Q$$ββ=−+=22XyXXTT 0

T

Ty

,

тобто, система нормалььних рівнянь має вигляд

XXXyTT$β=,

звідки

$()β=XXXyT−1. (2.5)

Перевірка достатніх умов екстремуму показує, що , обчислена за (2.5), дійсно мінімізує функцію (2.4). Надалі оцінку вектора коефіцієнтів моделі множинної лінійної регресії позначатимемо латинською літерою b, $β

b=⋅⋅⋅⎛⎝⎜⎜⎜⎜⎜⎞⎠⎟⎟⎟⎟⎟−bbbk011.

Оцінка методу найменших квадратів коефіцієнтів моделі моделі множинної лінійної регресії знаходиться за формулою:

bXXX=()T−1 (2.6)

Рівняння вибіркої регресії приймає вигляд

$ybxbxbxkk=+++−−001111K. (2.7),

або, у випадку регресії з костантою,

$ybbxbxkk=+++−−0111K 1 (2.8).

Рівняння вибіркої регресії є рівнянням лінійної функції багатьох змінних.