2.5. Статистичні властивості оцінок методу найменших квадратів

Обчислимо математичне сподівання оцінок методу найменших квадратів. Підставимо формулу (2.2) до формули (2.6):

bXXXXXXX=βεβ+()()()TTT−−+=11Tε 2.15)

Маємо

EEEETTTTbXXXXXX=β+ε=β+ε=β()()−−11,

оскільки лінійний множник можна виносити за знак математичного сподівання, і Eε = 0. Отже, МНК-оцінки є незміщеними. Знайдемо коваріаційну матрицю оцінки b:

Db = E(b- Eb)(b- Eb)T = E(b-β)(b-β)T =

()()= E()()T-1TT-1TTXXXXXXεε⎡⎣⎢⎤⎦⎥ =

28

[]= E()()()E(()T-1TTT-1T-1TTT-1XXXXXXXXXXXXεεεε==)

=()()T-1TT-1XXXIXXXσ2=

=()()()T-1TT-1T-σσ22XXXXXXXX= 1.

Ми скористались властивостями математичного сподівання, добутку транспонованих матриць, формулою (2.3), а також тим, що матриця XTX, а отже і обернена до неї, симетричні.

Eb=β

DbXX=σ2()T-1 (2.16)

Позначимо матрицю(через )1 T-XXS==−=−(),,,,sikjkij010 1. Тоді Dbsikbbsikjkiiiijij==−==−=σσ2201010,,,cov(,),,,,. −1 .17)

Наведені формули не можна використовувати для перевірки гіпотез та інтервального оцінювання, оскільки до них входить невідомий параметр – дисперсія збурень σ2 . Отже, нам потрібно вміти знаходити її оцінку. Має місце наступний результат: статистика $σ2=−RSSnk, (2.18)

де k – кількість регресорів, включаючи константу, є незміщеною оцінкою σ2. Якщо збурення нормально розподілені, то b має багатовимірний нормальний розподіл, математичне сподівання і дисперсія якого обчислюються за формулою (2.16). Зокрема, bisi,kiii~(,),Nβσ201=−.

Величина RSSnkeiinσσ2212=−=Σ()

має χ2 - розподіл з n - k ступенями свободи і не залежить від b. Оцінка коваріаційної матриці коефіціентів методу найменших квадратів одержується підстановкою до формули (2.16) виразу (2.18) замість дисперсії збурень σ2:

29

∧=DbXX$σ2(T-)1, (2.19)

зокрема ∧==Dbsikiii$,,σ201 − .

Позначимо через s.e.(bi) оцінку середньокватратичного відхилення коефіціента bi. (стандартнy похибку) SE()$bsii=σ2

i

Розмірковуючи так, як у випадку простої регресії, приходимо до висновку, що bbtikiiink−=−−βSE()~,,01 (2.20)

Оцінки методу найменших квадратів є лінійними у тому розумінні, що b є лінійною функцією y. Наступна теорема встановлює оптимальні властивості оцінки методу найменших квадратів.

Теорема Гауса-Маркова

1) Нехай припущення про нормальність збурень не накладається. Тоді МНК-оцінки мають мінімальну коваріаційну матрицю в класі незміщених лінійних оцінок.

2)Припустимо, що збурення нормально розподілені. МНК- оцінки мають мінімальну коваріаційну матрицю в класі усіх незміщених оцінок.

Зокрема, оцінки індивідуальних коефіціентів bi мають найменші дисперсії серед оцінок відповідних класів.

2.6. Статистичні висновки в моделі множинної лінійної регресії

2.6.1. Перевірка гіпотез про коефіціенти регресії.

Стандартною процедурою є перевірка гіпотези про те, що коефіціент βi дорівнює нулю. Прийняття цієї гіпотези означає, що незалежна змінна xi не має впливу на в рамках лінійної моделі. Статистика для перевірки гіпотези має вигляд tbbii=SE() (2.21)

Значення цієї t -статистики, як правило, автоматично підраховуються в комп’ютерних програмах з регресійного аналізу. Для перевірки гіпотези H0: βi = βвикористовують наступну статистику i0

30

tbbii=−β0SE()

i (2.22)

За вибраним рівнем значущості α в таблиці розподілу Стьюдента з n-k ступенями свободи знаходимо критичне значення tкр. Якщо |t| < tкр, то гіпотеза H0 приймається. Якщо |t| ≥ tкр, то гіпотеза H0 відхиляється.