2.3.Властивості залишків методу найменших квадратів

Нехай $,,,ybbxbxiiikiki=+ n +++=−−011111Kε.

Позначимо

25

$$$$y=⋅⋅⋅⎛⎝⎜⎜⎜⎜⎜⎞⎠⎟⎟⎟⎟⎟yyyn12.

Використовуючи введені векторно-матричні позначення, можна записати

$yXbX(XX)Xy==−TT1.

Вектор залишків методу найменших квадратів e визначається як1)

eyyyXbIXXXXy=−=−=−−$(()T1T) .

Зміст поняття залишків такий же, як і в моделі простої лінійної регресії.

Перепишемо систему нормальних рівнянь у такому вигляді:

XXbyT()−=0,

або

XTe = 0. (2.9)

Ми бачимо, що вектор залишків ортогональний до кожного стовпчика матриці X. Згадаємо, що j-й стовпчик цієї матриці утворюють значення j-го регресора. Отже, залишки методу найменших квадратів ортогональні до регресорів. Якщо ми розглядаємо модель з константою, то перший стовпчик матриці X складається з одиниць, і з рівняння (2.9) випливає, що

eiin==Σ01 (2.10)

В моделі з константою сума залишків методу найменших квадратів дорівнює нулю.

Оскільки $yXb=, то

($,)$()yeyeXbebXe0====TTTT (2.11)

1) Пор. З п. 1.3.

26

внаслідок (2.9). Крім того вектор є лінійною комбінацією стовпчиків матриці X, тобто регресорів. Разом з (2.11) це дозволяє дати наступну геометричну інтерпретацію вектору$y$yі залишкам: $yє ортогональною проекцією y на гіперплощину, породжену регресорами, а вектор залишків є проектором.

Зі співвідношення (2.11) випливає ще один важливий наслідок: в моделі з костантою регресійна гіперплощина проходить через точку, координати якої дорівнюють середнім значення незалежних змінних.

2.4.Розклад дисперсії залежної змінної. Коефіцієнт детермінації

В цьому параграфі ми розглянемо моделі з константою. Аналогічно тому, як ми робили у випадку простої регресії, проаналізуємо суму квадратів відхилень значень залежної змінної від середнього – загальну суму квадратів: TSSyyyyyyeyyeeyyyyeyyiiiiininiiiniiiiniininiiinin=−=−+−=+−==+−+−=+−========ΣΣΣΣΣΣΣΣ()($$)($)($)($)($$),2211212121122112

=

(2.12)

внаслідок (2.10), (2.11) і з урахуванням того, що $$yyniin==Σ1=y. Як і раніше, ESSyyiin=−=Σ($$)21 – пояснена сума квадратів, –сума квадратів залишків. Загальна сума квадратів пропорційна до вибіркової дисперсії незалежної змінної. Отже, формула розкладу дисперсії має місце і у випадку множинної регресії RSSeiin==Σ21

TSSESSRSS=+ (2.13).

Коефіцієнт множинної детермінаціїї (або, коротко, коефіцієнт детермінації R2 визначається як частка поясненої і загальної сум квадратів RESSTSSRSSTSS21==− (2.14).

Коефіцієнт множинної детермінації показує, яка частина дисперсії залежної змінної пояснюється за рахунок моделі, або, іншими словами, незалежними

27

змінними в сукупності. Підкреслимо, що коефіцієнт детермінації є мірою тісноти саме лінійного зв′язку між залежною та незалежними змінними. Коефіцієнт детермінації завжди знаходиться в межах від нуля до одиниці. Чим ближче R2 до 1, тим тісніше зв′язок. Якщо R2 = 1, це означає, що всі значення y належать гіперплощині, породженій стовпчиками матриці X. Якщо R2= 0, то лінійний зв′язок між змінними відсутній. Коефіцієнт детермінації використовується як міра згоди і для множинної регресії.

Зауваження 1

Без використання додаткової інформаціїї не можна робити висновків про те, яке значення R2вважати великим. Для деяких даних, наприклад, значення 0.8 може бути недостатнім, а в інших випадках величина 0.4 може бути прийнятною.

Зауваження 2

В моделях без константи коефіцієнт детермінації не обов’язково знаходиться в межах від нуля до одиниці, оскількі подвоєний добуток у (2.12) не дорівнює нулю. В таких моделях різні способи визначення R2дають різні результати, і коефіцієнт детермінації важко інтерпретувати. Ні в якому разі не можна співвідносити моделі з константою і без константи на підставі порівняння коефіцієнтів детермінації. Взагалі, можна дати таку рекомендацію. Якщо немає економічних підстав для вибору регресійної функціі у вигляді без константи, то бажано розглядати модель з константою.