Множинний регресійний аналіз

Економічні явища, як правило, визначаються великою кількістю одночасно діючих сукупностей факторів. У зв’язку з цим часто виникає задача дослідження залежності однієї залежної змінної Y від декількох пояснюючих змінних Ця задача вирішується за допомогою множинного регресійного аналізу.

Позначимо і-е спостереження змінної , а пояснюючих змінних - . Тоді модель множинної лінійної регресії можна представити у вигляді: , де і=1, 2, …, n, а задовольняє вимоги до збурення.

Матричне описування регресії полегшує як теоретичні концепції аналізу, так і необхідні розрахункові процедури. Введемо позначення: - матриця-стовпчик, або вектор, значень залежної змінної; - матриця значень пояснюючих змінних, або матриця плану; - матриця-стовпчик, або вектор, параметрів; - матриця-стовпчик, або вектор, збурень (випадкових помилок). Тоді в матричній формі модель набуде вигляду:

(7.4)

Оцінкою цієї моделі по вибірці є рівняння: , де , . Для оцінки вектора невідомих параметрів застосуємо метод найменших квадратів. Умова мінімізації залишкової суми квадратів запишеться у вигляді:

_{Після матричних перетворень, отримаємо рівняння}

.

Добуток є матриця розміру тобто величина скалярна, відповідно вона не змінюється при транспонуванні: . Тому умова мінімізації прийме вигляд: .

На основі необхідної умови екстремуму функції багатьох змінних прирівняємо до нуля частинні похідні по цим змінним або в матричній формі - вектор частинних похідних:

Для вектора частинних похідних доведені наступні формули: , де b і c - вектори-стовпці, а А – симетрична матриця. Тому, припускаючи, що , а матриця _, знайдемо , звідки отримаємо систему нормальних рівнянь в матричній формі для визначення вектора b: . Знайдемо матриці, які входять в це рівняння. Матриця представляє матрицю сум перших степенів, квадратів і попарних добутків n спостережень пояснюючих змінних:

Матриця є вектор добутку n спостережень пояснюючих і залежних змінних:

Матричне рівняння для однієї пояснюючої змінної (р=1) набуде вигляду: звідки безпосередньо випливає система нормальних рівнянь для незгрупованих даних.

Для вирішення матричного рівняння відносно вектора оцінок параметрів b необхідно ввести ще одне посилання 6 (див. розділ 6) для множинного регресійного аналізу: матриця X^ТX не є особливою, тобто її визначник не дорівнює нулю. Відповідно, ранг матриці X^ТX рівний її порядку, тобто rang(X^ТX)=p+1. Із матричної алгебри відомо, що rang(X^ТX)= rang(X), значить, rang(X)=p+1, тобто ранг матриці плану Х рівний кількості її стовпців. Це дозволяє сформулювати посилання 6 множинного регресійного аналізу в наступному вигляді:

6. Вектори значень пояснюючих змінних, або стовпці матриці плану Х,

повинні бути лінійно незалежними, тобто ранг матриці Х – максимальний (rang(X)=p+1).

Окрім того, припускають, що число наявних спостережень кожної із пояснюючих змінних більше рангу матриці Х, тобто n> rang(X) або n>p+1. Розв’язком матричного рівняння є вектор де - матриця, обернена до матриці коефіцієнтів системи, а - матриця-стовпчик її вільних членів.

◄Приклад 7.4 Є наступні дані про змінний добуток вугілля на одного робочого Y(т), потужність пласта (м) і рівні механізації робіт

(%), які характеризують процес добутку вугілля в 10 шахтах (табл. 7.6). Припускаючи, що між змінними і існує лінійна кореляційна залежність, знайти її аналітичний вираз (рівняння регресії Y по X₁ та X₂).

Таблиця 7.6

i				i
1	8	5	5	6	8	8	6
2	11	8	10	7	9	6	6
3	12	8	10	8	9	4	5
4	9	5	7	9	8	5	6
5	8	7	5	10	12	7	8

Розв’язання. Позначимо

Для зручності обчислень складаємо допоміжну таблицю 7.7.

Таблиця 7.7

i
1	8	5	5	64	25	25	40	40	25	5,13	0,016
2	11	8	10	121	64	100	88	110	80	8,79	1,464
3	12	8	10	144	64	100	96	120	80	9,64	1,127
4	9	5	7	81	25	49	45	63	35	5,98	1,038
5	8	7	5	64	49	25	56	40	35	5,86	0,741
6	8	8	6	64	64	36	64	48	48	6,23	0,052
7	9	6	6	81	36	36	54	54	36	6,35	0,121
8	9	4	5	81	16	25	36	45	20	5,61	0,377
9	8	5	6	64	25	36	40	48	30	5,13	0,726
10	12	7	8	144	49	64	84	96	56	9,28	1,631
	94	63	68	908	417	496	603	664	445	-	6,329

;

Матрицю А^-1 = (X^ТX)^-1 визначимо за формулою де - визначник матриці X^ТX, - матриця, приєднана до матриці X^ТX.

Отримаємо

Домножимо на .

Отримаємо

Отже, рівняння множинної регресії має вигляд: Воно показує, що при збільшені тільки потужності пласту Х₁ (при незмінному Х₂) на 1 м, добуток вугілля на одного робітника Y збільшиться в середньому на 0,854 т, а при збільшенні рівня механізації робіт Х₂ (при незмінному Х₁) – в середньому на 0,367 т.►

Додавання в регресивну модель нової пояснюючої змінної Х₂ змінило коефіцієнт регресії b₁ (Y по Х₁) з 1,016 для парної регресії (див. приклад 6.1, розділ 6) до 0,854 - для множинної регресії. В цьому ніякого протиріччя нема, оскільки у другому випадку коефіцієнт регресії дозволяє оцінити приріст залежної змінної Y при зміні на одиницю пояснюючої змінної Х₁ у чистому вигляді, незалежно від Х₂. У випадку парної регресії b₁ враховує вплив на Y не тільки змінної Х₁, але і кореляційно зв’язаної з нею змінної Х₂.

На практиці часто буває необхідне порівняння впливу на залежну змінну різних пояснюючих змінних, коли останні виражаються різними одиницями вимірів. У цьому випадку використовують стандартизовані коефіцієнти регресії і коефіцієнти еластичності :

(7.5)

(7.6)

Стандартизований коефіцієнт регресії показує, на скільки величин зміниться в середньому залежна змінна Y при збільшенні тільки j-ої пояснюючої змінної на , а коефіцієнт еластичності - на скільки відсотків (від середньої) зміниться в середньому Y при збільшенні тільки Х_j на 1%.

◄ Приклад 7.5 За даними прикладу 7.4 порівняти розділений вплив на змінний добуток вугілля двох факторів – потужності пласту і рівня механізації робіт.

Розв’язування. Для порівняння впливу кожної із пояснюючих змінних за формулою (7.5) обчислимо стандартизовані коефіцієнти регресії:

а за формулою (7.6) – коефіцієнти еластичності:

(розрахунок необхідних характеристик змінних:

)

Таким чином, збільшення потужності пласту і рівня механізації робіт тільки на одне або на одне збільшує в середньому змінний добуток вугілля на одного робітника відповідно на 0,728 або на 0,285 , а збільшення цих змінних на 1% (від своїх попередніх значень) призводить в середньому до зростання видобутку вугілля відповідно на 1,18% і 0,34%. Отже, більший вплив має фактор “потужність пласту” у порівнянні з фактором “рівень механізації робіт”.►

Додаткова інформація про регресійний аналіз та його методи знаходиться в додатку 3.