Проста вибіркова лінійна регресія

Прості лінійні регресійні моделі встановлюють лінійну залежність між двома змінними, наприклад витратами на відпустку та складом родини; витратами на рекламу та обсягом реалізації; витратами на споживання та ВНП; зміною ВНП залежно від часу та ін.

Загальний вигляд простої вибіркової регресійної моделі

y=b₀+b₁x+e, (2.1)

де у={y₁, y₂, ... , y_n} - вектор спостережень за залежною змінною;

х={x₁, x₂, ... , x_n} - вектор спостережень за незалежною змінною;

b₀, b₁- невідомі параметри регресійної моделі;

е={e₁, e₂, ... , e_n}- вектор випадкових величин (помилок).

Регресійна модель називається лінійною, якщо вона лінійна за своїми параметрами. Для неї b₀ - претин з віссю ординат, а b₁ - нахил (звичайно, якщо абстрагуватися від випадкової величини е)

Оцінка параметрів лінійної регресії за допомогою методу найменших квадратів

Щоб мати явний вигляд залежності, необхідно оцінити невідомі параметри моделі b₀, b₁.

Якщо загальний вигляд розташування даних спостережень на координатній площині х-у дозволяє припустити наявність лінійної залежності між х та у, то постає задача виявити пряму, яка має найменшу суму квадратів відхилень.

Відхилення (помилки) для і-го спостереження відносно цієї прямої

e_i=y_i-y^{^}_i=y_i-b₀-b₁x, i=1,n (2.2)

де y^_i- і-та точка на прямій, що відповідає значенню х_і.

Відхилення е_і, або помилки, іноді називають залишками.

За критерієм маємо

(2.3)

Мінімум функції (2.3) досягається при умові, що перші похідні у за дорівнюють нулеві:

(2.3)

(2.5)

Звідси отримуємо систему лінійних рівнянь

(2.6)

яка називається нормальною.

Розв’язок (2.6) дає

(2.7)

Помножимо чисельник і знаменник (2.7) на 1/n

, (2.8)

де .

Вираз (2.8) можна ще записати у вигляді

(2.9)

Справді

(2.11)

Чисельник (2.9) є коєфіцієнтом коваріації між х та у, який за означенням визначається як

. (2.12)

Знаменник (2.9) є дисперсією величини х, тобто

var(x)= . (2.13)

Отже, кут нахилу прямої регресії можна встановити за формулами (2.7-2.9).

З системи рівнянь (2.5) маємо , по-перше, підтвердження, що сума помилок дорівнює нулеві

, (2.15)

а по-друге, вираз для визначення b₀

(2.16)

Таким чином, можемо записати у явному вигляді регресію у від х, яку інколи називають регресією найменших квадратів у від х

Імовірнісний зміст простої регресії Узагальнена регресійна модель

Розглянемо приклад. Припустимо, що обсяг реалізації продукції фірми залежить від витрат на рекламу, які є незмінними протягом усього часу спостереження. Тоді єдиним джерелом зміни у є випадкова величина

y= ₀+₁x+,

де ₀, ₁ - правильні параметри параметри всієї генеральної сукупності;  - випадкова величина.

Проводячи спостереження протягом певного часу, наприклад 3 роки, ми отримаємо множину, яка складається з декількох вибірок (36-ти, якщо спостереження проводилися кожен місяць), тобто за методом МНК можна знайти не одну пару значень b₀ та b₁. Постає питання, як за заначеннями b₀ та b₁ зробити висновки про параметри всієї сукупності і чи можна зробити якісь висновки? Щоб відповісти на ці запитання, розглянемо спочатку основні припущення простої лінійної регресії, що лежать в основі МНК.

Класична модель лінійної регресії: основні припущення,

що лежать в основі МНК

Оскільки за узагальненою моделлю

y= ₀+₁x+

то зробити статистичні висновки про у_і неможлово без певних припущень щодо випадкової величини та незалежної змінної.

Припущення 1. Математичне сподівання випадкової величини дорівнює нулеві

E(_i /x_i)=0 (2.65)

Геометрично це припущення зображено на малюнку 1. Математичні сподівання у для кількох змінних х обведені на регресійній прямій. Відстані над і під математичними сподіваннями є випадковими величинами _i. Припущення 1 вимагає, щоб математичне сподівання цих відхилень, відносно будь-якого даного х дорівнювало нулеві. Припущення 1 стверджує, що не враховані у моделі фактори, які були віднесені до _i не впливають систематично на математичне сподівання у, тобто додатні значення _i нейтралізують від’ємні _i, тому їх усереднений чи очікуваний вплив на у дорівнює нулю.

Крім того, припущення E(_i /x_i)=0 передбачає E(y_i /x_i)= ₀+₁x_i. Отже ці два припущення еквівалентні.

Припущення 2. Відсутність автокореляції між випадковими величинами, тобто коефіцієнт коваріації між випадковими величинами повинен дорівнювати нулеві

cov(_i, ₎)=(E([_i -E(_i)][_j – E(_j)])=E(_i _j)=0, ij (2.66)

Припущення 2 стверджує, що випадкові величини незалежні одна від одної, тобто мають нульову коваріацію. На мал.2.6 зображена наявність додатної кореляції між , а також від`ємної та випадок відсутності кореляції. Це припущення дає змогу розглянути найпростіший випадок, коли вивчається систематичний вплив (якщо він є) x_t наy_t без врахуванняінших факторів, виражених випадковою величиною Якщо це не так, то залежнісмть складніша і виходить за межі класичної регресії. Якщо випадкові величини _t й _t-1 мають додатну кореляцію, то y_t залежить не тільки від _t а й від _t-1.

y

+ε_i{

-ε_i{

x₁ x₂ x₃ x₄ x

Припущення 3. Гомоскедастичність або однакова дисперсія випадкових величин

var(_i/xi)=E[_i -E(_i)]=E(_i ²)=² (2.67)

Тобто, оскільки дисперсія для кожного х_і є константою (тобто умовна дисперсія _i), то умовна дисперсія розподілу у також є сталою величиною.

var(у_i/xi)= ²

Якщо дисперсія для хі не є константою, то постає питання, які з розподілів залежних змінних у вибирати для опису реальної ситуації - наближені до своїх математичних сподівань, чи з великим розкидом.

Припущення 4. Незалежність (нульова коваріація) між x_i та. _i.

cov(_i,x_i)=E(_i -E(_i))(x_i-E(xi))=

= E(_i (x_i-E(xi)= оскільки E(_i )=0

= E(_i x_i)- E(xi)E(_i) = оскільки E(x_i)=const

= E(_i x_i) =0. за припущенням

Припущення 4 передбачає відсутність кореляції між випадковою величиною і незалежною змінною х, бо інакше важко простежити вплив х на у.

Припущення 4 виконується автоматично, якщо змінна х є невипадковою величиною, або нестохастичною, і зберігається припущення 1, з якого випливає, що cov(_i,x_i)=E(_i -E(_i))(x_i-E(xi))=0.

Припущення 5. Регресійну модель визначено (специфіковано) правильно. Це припущення нагадує про залежність регресійного аналізу від обраної моделі і застерігає обережно формулювати економетричні моделі, особливо, коли одразу є кілька теорій щодо пояснення економічного явища, анприкад, процентної ставки, попиту на гроші, визначення рівноважної вартості акцій і облігацій тощо.

Припущення 6. Випадкова величина розподілена нормально з математичним сподіванням нуль та сталою дисперсією ².

N(0, ²)

Це припущення необхідне при побудові інтервалів довіри для параметрів, залежної змінної у та інших характеристик регресійної моделі.

Дані припущення стосуються тільки узагальненої регресійної моделі (УРМ) і не стосуються вибіркової моделі (ВРМ).

Розподіл залежної змінної у

При переході від однієї вибірки до множини вібірок, коли х залишається незмінним, єдиним джерелом зміни у є випадкова величина , тобто у також є випадковою величиною, розподіл якої залежить від припущень для .

Математичне сподівання залежної змінної

Е(у_і)=Е(₀+₁ х_і +_і) =Е(₀+₁ х_і)+Е(_і)= ₀+₁ х_і (2.71)

Друга складова частина дорівнює нулю за Припущенням 1, х_і має фіксоване значення, а _0, _{1 -} параметри узагальненої моделі.

Дисперсія залежної змінної дорівнює дисперсії випадкової величини

var(y_i)=D(у_і)=Е(у_і-Е(у_і))²=Е(₀+₁ х_і +_і -₀+₁ х_і)²=Е(_і)²=_².

Оскільки ₀, ₁ є константами і хі за властивістю 5 теж є рядом констант, то розподіл у визначається тільки розподілом випадкової величини і також є нормальним.

Закон розподілу параметрів.

Математичне сподівання та дисперсія розподілу параметрів