Багатофакторна регресія

Узагальнена багатофакторна регресійна лінійна модель має вигляд:

,

де – результативна змінна; – факторні змінні; – стохастична складова, – параметри моделі, а вибіркова регресійна модель:

,

де – оцінки параметрів моделі.

Щоб мати явний вигляд залежності, необхі­дно знайти (оцінити) невідомі параметри цієї моделі.

Лінійною регресійною моделлю називається модель, лінійна за своїми параметрами.

Якщо лінійну багатофакторну регресійну модель записати в матричному вигляді

то оцінку вектора параметрів моделі можна знайти за формулою:

Одним із важливих припущень у багатофакторному регресійному аналізі є припущення про нормаль­ний закон розподілу випадкової величини з нульовим математичним сподіванням та постійною дис­персією.

Можна показати, що у випадку багатофакторної регресії кожний параметр також розподіляється за нормальним законом розподілу з математичним сподіванням, яке дорівнює значенню параметра узагальненої регресії, та дисперсією, яка дорівнює дисперсії випадкової величини, помноже­ної на відповідний діагональний елемент оберненої матриці. Дійсне значення дисперсії випадкової величини невідоме, тому ми замінюємо його на оцінку дисперсії. Така заміна приводить до того, що кожний елемент вектора буде розподілятися вже за розподілом Ст’юдента з ступенями вільності, що дає нам змогу обчис­лити -статистику для кожного параметра.

-розподіл Ст’юдента дає змогу протестувати гіпотезу щодо значення кожного параметра та побудува­ти їх інтервали довіри, як і у випадку простої лінійної регресії.

Для перевірки оцінок параметрів багатофакторної регресії необхідно задати рівень значимості , а потім побудувати -статистику для кожної оцінки окремо:

де – діагональний елемент матриці , . Знаменник відношення називається стандартною помилкою оцінки параметра моделі.

Незміщена оцінка дисперсії залишків:

Обчислене значення критерію порівнюється з табличним при вибраному рівні значимості і ступенями свободи. Якщо < , то відповідна оцінка параметра економетричної моделі є достовірною тобто, характеризує істотній зв’язок відповідної незалежної змінної із залежною.

Для того, щоб визначити, як же знайдені оцінки параметрів багатофакторної регресії пов’язані з па­раметрами узагальненої регресії, потрібно побудува­ти інтервали довіри для параметрів.

На основі -критерію і стандартної помилки можна знайти довірчі інтервали для параметрів :

з ступенями свободи.

У випадку багатофакторної ре­гресії коефіцієнт детермінації можна подати у вигляді:

, .

Важливою властивістю коефіцієнта детермінації є те, що він – не спадна функція від кількості факторів, які входять до моделі. Якщо кількість фак­торів зростає, також зростає і ніколи не зменшуєть­ся. Тобто, якщо ми додаємо новий фактор в регресійну модель, це тільки збільшує значення , що випли­ває з його визначення:

У цьому виразі знаменник не залежить від кількості факторів, тоді як чисельник, навпаки, залежить. Інтуїтивно зрозуміло, що якщо кількість факторів зростає, сума квадратів відхилень спадає (або принаймні не зростає). Якщо ми будемо порівнювати дві регресійні моделі з однаковою залежною змінною, але різною кількістю факторів , то, звичайно, віддамо перевагу тій, яка має більше значення .

Якщо ми хочемо порівняти значення коефіцієнтів детермінації в різних моделях, ми повинні взяти до уваги кількість факторів у моделях. Для цього вводиться оцінений або скоригований за Тейлом коефіцієнт детермінації, який має вигляд:

де - кількість параметрів регресійної моделі, вклю­чаючи перетин.

Можна показати, що та пов’язані між собою такою ззалежністю:

З останнього виразу зразу ж випливає: якщо > 1, то < . Крім того, якщо кількість факторів зростає, оцінений коефіцієнт детермінації зменшується порівняно з не оціненим коефіцієнтом. Оцінений коефіцієнт детермінації може бути і від’ємним на відміну від , який має завжди додатне значення. Крім того, коли , оцінений коефіцієнт кореляції також дорів­нює одиниці. Коли прямує до від’ємної величини, прямує до нуля.

Для перевірки адекватності багатофакторної ре­гресійної моделі, як і у випадку простої лінійної мо­делі, використовується -критерій Фішера.

При цьому нуль-гіпотеза узагальнюється і має вигляд:

проти альтернативної гіпотези – хоча б одне значення відмінне від нуля.

Якщо нуль-гіпотеза неправильна, то тоді пра­вильна гіпотеза , тобто не всі параметри незначно відрізняються від нуля, що дає підставу вважати, що побудована регресійна модель відповідає дійсності, тобто адекватна.

Розраховується -статистика Фішера з та ступенями вільності:

В цій формулі – кількість спостережень та кількість параметрів відповідно.

Фактичне значення даного критерію порівнюється з критичним для заданого рівня значимості . Якщо > , то зі ймовірністю ми стверджуємо, що побудована нами модель є адекватною. Або навпаки, якщо < .

Якщо побудована модель виявилася адекватною, то ми можемо використовувати її для знаходження прогнозних значень результативної змінної.

Припустимо, нам відомі значення факторів в період , тоді ми можемо отримати прогнозне значення за моделлю:

Інтервальні прогнози результативної змінної з рівнем довіри для побудованої моделі обчислюються за формулами:

для індивідуального значення залежної змінної:

для математичного сподівання: