1.3 Розрахунок невідомих параметрів багатофакторної регресії за мнк

Нехай ми маємо ряд спостережень за залежною змінною та за незалежними змінними

y={y₁, y₂, ..., y_n}; x₁=={x₁₁, x₁₂, ..., x_1n}; x₂=={x₂₁, x₂₂, ..., x_2n}; ...; x_p=={x_p1, x_p2, ..., x_pn};

На підставі цих спостережень побудуємо лінійну багатофакторну вибіркову модель

y=b₀+b₁x₁+b₂x₂+...+b_px_p+e (4.5)

Знайдемо невідомі параметри за МНК, тобто мінімізуючи суму квадратів відхилень фактичних даних від теоретичних (даних, які ми оторимали з регресійної моделі)

F(b₀, b₁, ..., b_n)= (4.6)

Щоб знайти мінімум функції (4.6) необхідно прирівняти нулю часткові похідні функції за аргументами b₀, b₁, ..., b_n і отримати систему нормальних рівнянь

Перетин розраховується аналогічно до простої регресії за допомогою середніх значень

b₀=y-b₁x₁-...b_px_p (4.7)

1.3.2 Коефіцієнт множинної кореляції та детермінації

Коефіцієнт множинної кореляції є мірою ступеня відповідності даних { , i=1,n}, отриманих з регресійної моделі, фактичним даним {y_i, i=1,n} і визначається як коефіцієнт кореляції між у та y^

(4.12)

Квадрат коефіцієнта множинної кореляції, як і у випадку багатофакторної регресії називають коефіцієнтом детермінації і позначають через R². Можна показати, що вигляд у випадку багатофакторної регресії ідентичний коефіцієнту детермінації простої лінійної регресії

=SSR/SST=1-SSE/SST=1- (4.13)

У цьому виразі знаменник не залежить від кількості факторів х, а чисельник при збільшенні факторів х спадає (або хоча б не зростає). Таким чином, якщо додати новий фактор у модель, то R² зросте.

Якщо ми порівнюємо дві регресійні моделі з однаковою залежною змінною, але з різною кількістю факторів х, то перевагу віддаємо моделі з більшим значенням R².

Для порівняння значень коефіцієнтів детермінації у різних моделях використовують оцінений коефіцієнт детермінації R², у якому зменшено вплив кількості факторів на значення коефіцієнта

R²=1- (4.20)

де k– кількість параметрів регресійної моделі, включаючи перетин;

- оцінена дисперсія залишків;

S²_y- вибіркова дисперсія незалежної змінної у.

На відміну від простого коефіцієнта детермінації оцінений коефіцієнт детермінації коригується з урахуванням ступенів вільності суми квадратів залишків та загальної суми квадратів. Як бачимо з (4.20), суми квадратів у чисельнику і знаменнику діляться на відповідні ступені вільності, в яких ураховано кількість факторів, що входять до моделі.

З (4.21) видно, що при k>1 R²<R². Крім того, якщо зростає кількість факторів х, то R² зростає повільніше, ніж R², тобто зменшується вплив кількості факторів на величину коефіцієнта детермінації, тому на практиці частіше використовують R², особливо при порівнянні різних регресійних моделей. На відміну від R² R² може бути й негативним. Коли R² прямує до негативної величини, R² прямує до нуля, а коли R²=1, то R² теж R² =1.

Розглянемо приклад. Маємо дві моделі

lny_i= b₀+b₁x_1i+...+b_px_pi+e_i, (4.22)

y_i= a₀+a₁x_1i+...+a_px_pi+e_i (4.23)

Розраховані коефіцієнти детермінації у цих моделях не можна порівняти між собою, тому що у (4.22) коефіцієнт детермінації вимірює частку дисперсії залежної змінної lny, яку можна пояснити факторами х_1і, х_2і, …, х_рі, а у (4.23) вимірює частку дисперсії у. Зміна lny в у забезпечує відносну зміну у , а зміна в самому у є абсолютною зміною. Таким чином, величини var(y^_i)/var(y_i) var(lny^_i)/var(lny_i). Коефіцієнт детермінації для (4.22)

R²==1- (4.24)

а для (4.23)

R²==1- (4.25)

Знаменики у (4.24) і (4.25) різні, тобто порівняти іх неможливо. Щоб зробити це порівняння, потрібно знайти логарифм за моделлю (4.22), обчислити антилогарифм і розрахувати коефіцієнт детермінації між антилогарифмом та значенням y_i, який можна вже порівнювати з коефіцієнтом детермінаціх регресійної моделі (4.23). Можливим є й зворотний шлях: обчислити за моделлю (4.22) lny^_i, розрахувати y^_i, обчислити R² за формулою (4.13) і порівняти з R², знайденим для моделі (4.25).