1.1.Опис Моделі

Припустимо, що існують дві змінні x i y, де x - незалежна змінна (регресор), y - залежна змінна. Співвідношення між цими змінними позначимо: y = f (x). Будемо розрізняти детерміновані і статистичні співвідношення. При статистичному співвідношенні кожному значенню x відповідає не єдине значення y, але залежну змінну y можливо точно описати у імовірнісних термінах. Припустимо, що функція f(x) лінійна за x, тобто f(x) = α + βx, а співвідношення між x та y є статистичним, а саме

y = α + βx + ε, (1.1)

де доданок ε називається збуренням або похибкою і має відомий імовірносний розподіл (тобто є випадковою величиною). В рівнянні (1.1) α + βx є детермінованим компонентом, збурення ε є випадковим або стохастичним компонентом; α і β називаються регресійними коефіцієнтами або параметрами регресії, які потрібно оцінити на основі даних про x та y.

Нехай ми маємо n пар значень (,),,xyinii=1. Кожну пару будемо називати спостереженням. Ми можемо записати рівняння (1.1) у вигляді

yi = α + βxi + εi (1.2) (xi,yi)εi yxРис.1.1

Наша мета - знайти оцінки невідомих параметрів α та β в рівнянні (1.2) на основі n спостережень x та y. Щоб це зробити ми повинні накласти деякі умови щодо збурень εi.

1. Нульове середнє: Eεi = 0,in=1,.

2. Рівність дисперсій (гомоскедастичність): Dεi = E= σεi22 = const,in=1, .

3. Незалежність збурень: εі та εj незалежні при ij≠. Зокрема, cov(εi, εj ) = Eεiεj = 0 при . ij≠

8

4. Незалежність збурень та регресора: xi та εj незалежні для всіх i та j. Якщо xi вважаються невипадковими, то дане припущення виконано автоматично.

В деяких випадках будемо накладати додаткове припущення (ми будемо вказувати в тексті, для виконнання яких результатів воно необхідно):

5. Нормальність. Збурення εi нормально розподілені для всіх i. Взявши до уваги припущення 1-3, ми можемо сказати, що εi – незалежні нормально розподілені випадкові величини з нульовим математичним сподіванням і однаковими дисперсіями σ2, абоεσ. iN~(,)02

Отже, модель простої лінійної регресії описується за допомогою рівнянь (1.2), збурення в яких задовольняють припущенням 1 – 5.

Оскільки Eεi = 0, то з рівняння (1.2) маємо Eyi = α + βxi . Останній вираз називається популяційною функцією регресії. Якщо замінити значення параметрів їх оцінками, одержимо вибіркову функцію регресії. Популяційна функція дає усереднене, або закономірне значення незалежної змінної, яке відповідає даному значенню незалежної змінної. Збурення можна інтерпретувати як відмінність поведінки залежної змінної від усередненої в кожній конкретній ситуації.

Друге припущення означає,що для кожного спостереження дія випадкових факторів в середньому однакова .

Третє припущення означає, що для кожного спостереження випадкові фактори діють незалежно.

1.2. Знаходження оцінок параметрів регресії методом найменших квадратів

Нехай та –деякі оцінки параметрів α та β. Запишемо рівняння вибіркової регресії . Тоді є оцінкою Ey$α$β$$$y=+αβx xi $$$yi=+αβi, побудованою на основі вибіркової регресії. Позначимо через $$εiiyyi =− різницю між значенням y, яке спостерігалось, і обчисленим з регресії. Оцінки методу найменших квадратів (скорочено – МНК-оцінки) знаходяться з умови мінімізаціїї за всіма можливими значеннями та виразу $

α$β

Qyiiniin==−−==ΣΣ$($$)εα2121

βxi (1.3)

Позначимо на координатній площині точки (,),,xyinii=1 і побудуємо графіки прямих для різних значень $$$y=+αβx $αі . Знаходження оцінок методом найменших квадрвтів означає пошук прямої, яка знаходиться найближче до даних точок у тому розумінні, що сума квадратів відстаней по вертикалі від даних точок до прямої буде найменшою. Обгрунтування такого вибору методу побудови оцінок полягає в їх оптимальних статистичних властивостях, які сформульовано вище. $β

9

Щоб мінімізувати вираз (1.3), запишемо необхідну умову екстремуму, тобто прирівняємо похідні відносно та до нуля. Маємо $α$β

∂∂ααβQyxiiin$($$)()=−−−=Σ211

=0

i

,

звідки

ynxiinin=+==ΣΣ$$αβ11 (1.4)

і ∂∂βαβQyxxiiiin$($$)()=−−−=Σ201

= ,

звідки

yxxxiiiiniinin=+===ΣΣΣ$$αβ1211 (1.5)

Система рівнянь (1.4) і (1.5) називається системою нормальних рівнянь.

Уведемо такі позначення: xxniin==Σ1, yyniin==Σ1, Sxxxxxiiniin=−=−==ΣΣ()21221

nx, Syyyyyiiniin=−=−==ΣΣ()21221

ny, Sxxyyxynxxyiiiniiin=−−=−==ΣΣ()()11

⋅ y

Нухай Sxx> 0. Запишемо розв’язок системи нормальних рівнянь відносно за правилом Крамера: $β $()β=−−=====ΣΣΣΣΣnxyxynxxiiiniiniiniiniin112112

1 (1.6).

10

Розділимо чисельник і знаменник виразу (1.6) на n. Враховуючи уведені позначення, остаточно одержимо: $β=SSxyxx. Розділимо перше нормальне рівняння (1.4) почленно на n. Маємо:y=+$$αβx. Надалі будемо позначати МНК-оцінки параметрів α та β латинськими літерами a та b. Отже, МНК-оцінки параметрів моделі простої лінійної регресії знаходяться за фомулами: bSSaybxyxx==− x

(1.7)

Якщо обчислити матрицю других похідних для Q, то можна побачити, що ця матриця додатньо визначена, отже значення (1.7) дійсно мінімізують (1.3).

Рівняння вибіркої регресії приймає вигляд

$yabx=+. (1.8)

З першого нормального рівняння випливає, що графік вибіркової регресійної прямої (1.8) проходить через точку середеніх значень залежної та незалежної змінних. Рівняння (1.8) дає нам уявлення про характер залежності (точніше детермінованої її частини) між змінними x та y.