1.3.Властивості залишків методу найменших квадратів

Позначимо через eini,,=1 різниці між фактичними та теретичними, тобто обчисленими з рівняння вибіркої регресії (1.8) значеннями залежної змінної:

eyyyabxiiii i =−=−+$( ) (1.9)

– залишки методу найменших квадратів (аналогічно тому, як ми домовились щодо позначень оцінок методом найменших квадратів, замість загального позначення залишків , для залишків методу найменших квадратів будемо використовувати літеру e). Залишки можна вважати вибірковими, або емпіричними аналогами збурень. З урахуванням уведених позначень перше нормальне рівняння запишеться у вигляді $εi

eiin==Σ01 (1.10).

Отже, сума залишків методу найменших квадратів дорівнює нулю.

Друге нормальне рівняння прийме вигляд

11

xeiiin=Σ=10 (1.11).

Або, якщо позначити через x вектор значень незажної змінної, а через e вектор залишків:

x=⎛⎝⎜⎜⎜⎞⎠⎟⎟⎟xx...x123, e, =⎛⎝⎜⎜⎜⎞⎠⎟⎟⎟eeen12...

то (,. Тобто, залишки методу найменших квадратів ортогональні до регресора. )xe=0

1.4.Розклад дисперсії залежної змінної. Коефіціент детермінації

З рівнянь (1.8) та (1.9) випливає, що yabxeiiii n =++=,,1 (1.12)

Запишемо другу з формул (1.7) у вигляді yabx=+ (1.13)

Від кожного з рівняннь (1.12) віднімемо рівняння (1.13): yybxxeiiii− n =−+=(),1, (1.14)

Кожне з рівнянь (1.14) піднесемо до квадрату і додамо почленно. Маємо ()()yySbxxebxebxeiyyiiiiininininin−==−++−=====ΣΣΣΣΣ22221111122 i =

2

=+=ΣbSexxiin21, (

1.15)

внаслідок (1.10) та (1.11). Позначимо $$yyniin==Σ1. З (1.10) випливає, що yy=$. Тому yyyyyyeyiiiiii−= y −+−=+−($)($)$$.

12

Порівнюючи останнє рівняння з (1.14), бачимо, що

bxxyyii()$$−

= − ,

тже

оbSyyxxiin221=−=Σ($$) .

Уведемо такі позначен

ня: TSSSyyyyiin==−=Σ()21

– загальна сума квадратів,

ESSbSyyxxiin==−=Σ221($$) –

пояснена сума квадратів, або сума квадратів

регресії

2

с

.15) з

урахуванням уведених позначень, одержимо формулу розкладу дисперсії:

RSSeii=Σ1–сума квадратівзалишків. Загальна сума квадратів пропорційна до вибіркової дисперсії залежної змінної. Пояснена ума квадратів пропорційна до вибіркової дисперсії незалежної змінної. Отже, дисперсія залежної змінної складається з двох частин. Перша виникає завдяки розкиду значень незалежної змінної. Тобто, ця частина пояснюється за рахунок моделі (звідси і назва – пояснена сума квадратів). Друга частина – сума квадратів залишків – виникає внаслідок збурень і не пояснюється за рахунок моделі. Записавши співвідношення (1

n= TSSESSRSS=+ (1.16)

.

Коефіціент детермінаціїї визначається як частка поясненої і загальної

сум квадратів

R2 RESSTSSRSSTSS21==− (1.17).

Для обчислення коефіціента детермінації можна користуватись такими

формулами

RbSSbSSSSSxxyyxyyyxyxxyy222=== . (1.17а)

13

Коефіціент детермінації є частиною дисперсії залежної змінної , яка пояснюється за рахунок моделі, або, іншими словами, завдяки мінливості незалежної змінної. Коефіціент детермінації є мірою тісноти саме лінійного зв′язку між x та y. Коефіціент детермінації завжди знаходиться в межавід нуля до одиниці. Чим ближче R2 до 1, тим точніше x пояснює y. Якщо R2 = 1, це означає, що всі значення x та y лежать на одній прямій. Якщо R2= 0 ,то лінія регресії – горизонтальна пряма; це означає відсутність (лінійного) зв′язку між змінними. Коефіціент детермінації є мірою згоди регресії. Проілюструємо сказане графічно. На Рис. 1.2 зображенотри набори даних по 100 спостережень в кожному, творені за допомогою дтчика випадкових чисел, азом з вибірковими регресійними прямими, знайденими за домогою методу

х

у а р

найменших квадратів. В кожному випадку розраховано коефіцієнт детермінації.

2.533.

2.533.5

2.533.5 4

2

4

6

8

10

5 4

4.5

5

5.5

6

4

2.5

3

3.5

4

а) тісний зв’язок :

R2 = 0.970261

у:

R = 0.000771756

:

R = 0.0000665667

Рис 1.2.

змінними, тоді як точки на Рис. 1.2.в)

розташовані навколо деякої параболи.