Navch._posibnuk_Ivaschyk
.pdf16.7. Покрокова регресія оцінки параметрів моделі
Покрокова регресія в рамках лінійної багатопараметричної моделі дає можливість з множини вхідних змінних проводити відбір тих незалежних змінних, які найбільш значимі для адекватного представлення вхідних даних. З допомогою цього методу можемо, по-перше, побудувати більш просту, скорочену модель, а, по-друге, у наступній вибірці даних не реєструвати значення несуттєвих змінних. Метод може використовуватись також як попередній етап перед побудовою нелінійної моделі.
Існує три різновидності процедури відбору змінних, кожна з яких може давати різний кінцевий набір змінних: послідовне включення, послідовне виключення та покрокове включеннявиключення.
Розглянемо загальний алгоритм оцінки параметрів моделі методом покрокової регресії. В основу методу покладено існування функціонального зв’язку між оціночними параметрами економетричної моделі та коефіцієнтами парної кореляції, а саме:
a |
|
= r |
σy |
|
|
|
|
|
|
, j =1,m |
, |
(16.91) |
|||||
|
|
|
||||||
|
j |
yx j σ |
x j |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
де аj – оцінка j-го параметра моделі; ryx j – коефіцієнт парної кореляції між Y та Xj ; σy – середньоквадратичне відхилення залежної змінної;
σxj – середньоквадратичне відхилення j-ої незалежної змінної.
Як бачимо, оціночні параметри моделі прямопропорційні до коефіцієнтів парної кореляції. Це твердження сприятиме проведенню зворотної процедури, зміст якої полягає в наступному. Спочатку проводиться оцінка тісноти зв’язку між кожною парою змінних величин. Знайшовши коефіцієнт парної кореляції та значення середньоквадратичних відхилень, можемо перейти до розрахунку оцінок параметрів моделі.
Алгоритм покрокової регресії містить такі етапи.
1.Нормалізація (стандартизація) вхідних даних.
Окреслена процедура виконується на основі формули (16.46).
2.Розрахунок матриці парних коефіцієнтів кореляції (кореляційної матриці).
Воснову цього етапу покладено формули (16.47) та (16.48), при допомозі яких отримуємо кореляційну матрицю [Rп] (16.49).
511
3. Вибір ведучої незалежної змінної.
Для вибору ведучої змінної необхідно провести порівняння абсолютних значень парних коефіцієнтів кореляції. Ведучою вибирається та змінна, яка має найбільше значення, тобто знаходимо величину
r = maxj { |
|
rxiyi |
|
}, j =1,n |
. |
(16.92) |
|
|
|
||||||
|
|
|
|||||
Оскільки змінна x |
має найтісніший зв’язок із результативним |
||||||
S |
|
|
|
|
|
|
|
показником, її будемо вважати ведучою і першою вводимо до економетричної моделі. Використавши МНК, побудуємо залежність виду
|
|
|
|
ˆ |
|
|
(16.93) |
|
|
|
|
Y |
= a1 xS , |
||
де a |
– |
оцінка параметра моделі, |
яка побудована на |
основі |
|||
|
1 |
|
|
|
|
|
|
нормованих даних. |
|
|
|
|
|||
|
4. |
Вибір наступної ведучої змінної із множини існуючих. |
|
||||
|
Виводимо із розгляду попередню ведучу змінну і переходимо до |
||||||
третього етапу. Вибравши |
нову |
ведучу змінну x , вводимо її у |
|||||
|
|
|
|
|
|
q |
|
модель. Після таких двох кроків отримаємо: |
|
||||||
|
|
|
ˆ |
|
|
|
(16.94) |
|
|
|
Y |
= a1 xS + a2 x0 , |
|||
де a ,a |
– |
оцінки відповідних параметрів моделі, яка побудована на |
|||||
1 |
2 |
|
|
|
|
|
|
основі нормованих даних. Зазначену процедуру повторюємо доти, поки поступово будуть введені до моделі всі можливо допустимі незалежні змінні. Припустимо, що число таких змінних буде становити k, де k ≤ m. Для спрощення будемо вважати, що індекси оціночних коефіцієнтів будуть відповідати номерам змінних.
5. Побудова системи нормальних рівнянь.
Знаходимо суму квадратів залишків.
n |
n |
|
∑ei = ∑(yi − ˆyi )2 |
(16.95) |
|
i=1 |
i=1 |
|
і ставимо завдання мінімізувати її значення. Тобто нам необхідно знайти мінімум функції.
n |
n |
− a1 x1 −...− ak xk )2 → min. |
|
F (aj )= ∑(ei )2 |
= ∑(Yi |
(16.96) |
|
i=1 |
i=1 |
|
|
Далі знайдемо часткові похідні за всіма оціночними параметрами aj (j =1,k ) і прирівняємо їх до нуля, внаслідок чого отримаємо таку систему нормальних рівнянь:
512
ryx |
= a1 + a2rx x + a3 rx x |
+…+ ak rx x , |
|
|
|||
1 |
|
2 1 |
3 1 |
|
k 1 |
|
|
ryx |
= a1 rx x + a2 + a3 rx x |
+…+ ak rx x |
, |
(16.97) |
|||
2 |
2 2 |
|
3 2 |
|
k 2 |
|
|
|
|
|
|
||||
ryx |
= a1 rx x |
+ a2rx x |
+ a3 rx x |
+…+ ak . |
|
||
k |
2 k |
2 |
k |
3 |
k |
|
|
6. Знаходження стандартизованих оціночних параметрів.
Розв’язавши систему (16.97), отримаємо значення парних коефіцієнтів кореляції ryx j ,j =1,k . Знайдені значення підставимо у
формулу (16.91). Покажемо альтернативну процедуру знаходження оціночних параметрів моделі з допомогою матричної алгебри. Введемо позначення: Rk – матриця парних коефіцієнтів кореляції між незалежними змінними; ryx – вектор парних коефіцієнтів між
залежними та незалежними змінними; a – стандартизований вектор оцінки параметрів моделі.
Враховуючи введені позначення, система рівнянь (16.97) у матричній формі матиме вигляд:
R a = r . |
(16.98) |
|
k |
yx |
|
Оператор оцінювання в стандартній формі знайдемо з формули:
a = R−1r , |
(16.99) |
k yx |
|
де Rk−1 – обернена матриця парних коефіцієнтів кореляції між
незалежними змінними.
7. Знаходження оцінок параметрів моделі.
Оскільки знайдені оцінки параметрів представлені в стандартизованій формі, нам необхідно виконати зворотну процедуру переходу до нестандартизованого виду змінних. Для цього використаємо формули:
|
σy |
|
|
|
k |
|
|
aj = aj |
, |
j = |
|
, a0 = y − ∑aj xj , k ≤ m . |
(16.100) |
||
1,k |
|||||||
σ |
|||||||
|
|
|
|
j=1 |
|
||
|
xj |
|
|
|
|
Приклад 16.13. Побудувати економетричну модель, яка описує взаємозв’язок між прибутком, основними фондами та затратами праці для десяти підприємств регіону (табл. 16.1) методом покрокової регресії.
♦Розв’язування.
1. Нормалізуємо вхідні дані за формулою (16.46):
513
|
|
|
|
|
|
|
|
|
|
|
|
y − y |
|
|
|
xj − xj |
|
|
|
|
|
|
||||||
|
|
|
|
|
|
y |
|
= |
|
|
; xj |
= |
|
|
|
|
|
|
. |
|
|
|
|
|
||||
|
|
|
|
σy |
|
|
|
σx j |
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
Побудуємо розрахункову таблицю 16.2. |
|
|
|
|
|
|
||||||||||||||||||||||
|
|
|
|
|
y = 3,08; x1 = 4,11; x2 = 4,71. |
|
|
|
||||||||||||||||||||
Обчислимо середньоквадратичне відхилення: |
|
|
|
|||||||||||||||||||||||||
|
10 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
10 |
|
|
|
|
|
|
|
|
|||
|
∑(yi − y )2 |
|
|
|
|
|
|
|
|
|
|
|
∑(x1i − x1 )2 |
12,59 |
|
|||||||||||||
σy = |
i=1 |
|
|
|
= |
18,76 |
|
=1,37 ,σx |
= |
|
|
|
i=1 |
|
|
= |
=1,12 , |
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
10 |
||||||||||||
n |
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
10 |
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
10 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
σx = |
∑(x2i − x2 )2 |
= |
|
|
|
4,35 |
=0,66. |
|
|
|
|
|||||||||||||
|
|
|
|
i=1 |
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
n |
|
|
|
10 |
|
|
|
|
||||||||||||||
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
Тоді |
|
|
1,2 −3,08 |
|
|
|
|
|
|
|
|
|
|
1,5 −3,08 |
|
|
|
|
|
|||||||||
|
y |
= |
|
= −1,37 , y = |
= −1,15 |
|
||||||||||||||||||||||
|
|
|
|
|
|
|
||||||||||||||||||||||
|
1 |
1,37 |
|
|
|
|
|
|
|
|
|
2 |
1,37 |
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
і так далі до y |
= |
5,4 −3,08 |
=1,69. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
10 |
1,37 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
x2 , (i =1,10 |
). |
|
|
|
|
|
|||||||||||||
Аналогічно порахуємо x1 , |
Отримані |
значення |
||||||||||||||||||||||||||
занесемо в таблицю.
2. Розрахуємо елементи кореляційної матриці, використовуючи формули (16.47) та (16.48).
ry1 =ryx1 = 1n(y ′ x1 )=
|
|
|
|
−1,37 |
|
|
||
|
|
|
|
|
−115, |
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
−0,86 |
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
−0,64 |
|
|
|
|
|
1 |
|
|
−0,2 |
|
|
|
= |
(−1,37 −115, |
−0,86 −0,64 −0,2 0,01 0,23 1,04 1,26 1,69)× |
|
= |
||||
10 |
0,01 |
|||||||
|
|
|
|
|
||||
|
|
|
|
|
0,23 |
|
|
|
|
|
|
|
|
1,04 |
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
1,26 |
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
1,69 |
|
|
|
|
|
|
|
|
|
|
||
=0,993. |
|
|
|
|
||||
514
515
|
|
1 |
|
|
′ |
|
|
||
r12 =rx1x2 |
= |
|
|
x1 |
x2 |
|
= |
||
n |
|||||||||
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
−1,08 |
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
−0,77 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
−1,68 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
−0,17 |
|
|
|
|
|
1 |
(−1,43 −117, |
−0,99 |
|
−0,45 −0,19 0,08 |
0,35 |
0,79 |
1,33 |
1,68) |
|
−0,62 |
|
|
||||||||||||||||||||
= |
|
× |
|
= |
||||||||||||||||||||||||||||||
10 |
|
0,59 |
||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0,89 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0,14 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1,05 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1,65 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
=0,895. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
Врахувавши, що ryy |
=1; rx x |
=1; rx |
x |
2 |
=1; rx x |
2 |
= rx x |
2 |
;ryx |
= rx y ; ryx |
= rx y , |
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
1 1 |
2 |
|
1 |
|
1 |
|
1 |
1 |
|
|
2 |
|
1 |
|||||||||
отримаємо кореляційну матрицю: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
0,993 0,853 |
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
R |
|
= |
|
0,993 |
1 |
|
|
0,895 |
. |
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
п |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0,853 |
0,895 |
1 |
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
3. Виберемо ведучу незалежну змінну. |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
|
Знайдемо |
r = maxj |
{ |
|
ry* x*j |
|
}, j = |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
1,m |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
r = max{ |
|
ry* |
|
|
|
|
|
y* x*2 |
|
}= max{0,993; 0,853}= 0,993. |
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
x1* |
; |
r |
|
|
|
|
|
|
|||||||||||||||||||||
А це означає, що ведуча незалежна змінна – x1 . |
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||
|
|
|
Використовуючи МНК, побудуємо залежність видуˆy = a x . |
|
|
|||||||||||||||||||||||||||||
|
|
|
Запишемо систему нормальних рівнянь |
|
|
|
|
|
|
|
|
1 |
1 |
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
10 |
10 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
na0 + a1 ∑x1i = ∑yi , |
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
i=1 |
|
|
i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
10 |
|
|
|
|
|
10 |
|
|
|
10 |
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
a0 ∑x1i + a1 ∑x1i2 = ∑x1i yi . |
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
i=1 |
|
|
|
|
|
|
i=1 |
|
|
i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
||||
Підставимо дані з таблиці:
|
|
|
|
|
= |
0 |
|
10a0 |
+ a1 0 = 0 |
a0 |
. |
||||
|
0 |
+ a 10 |
= 9,93 |
→ |
|
= 9,93 → a = 0,993 |
|
a |
10a |
|
|||||
0 |
|
1 |
|
|
1 |
1 |
|
Розв’язавши цю систему, отримаємо: |
|
||||||
|
|
|
a = 0; a = 0,993. |
|
|||
|
|
|
0 |
1 |
|
|
|
516
4. Вибираємо наступну ведучу змінну – x2 і вводимо її в модель:
ˆy = a1 x1 + a2 x2 .
Запишемо систему нормальних рівнянь
|
10 |
|
10 |
10 |
|
na0 + a1 ∑x1i + a2 |
∑x2i = ∑yi , |
|
|||
|
i=1 |
|
i=1 |
i=1 |
|
|
10 |
10 |
|
10 |
10 |
a0 ∑x1i + a1 |
∑x1i2 + a2 ∑x1 x2 = |
∑x1i yi , |
|||
i=1 |
i=1 |
|
i=1 |
i=1 |
|
|
10 |
10 |
|
10 |
10 |
a0 ∑x2i + a1 ∑x1i x2i + a2 ∑x2i2 = ∑x2i yi . |
|||||
|
i=1 |
i=1 |
|
i=1 |
i=1 |
Підставимо дані з таблиці:
10a0 + 0 a1 + a2 = 0,
a0 +10 a1 +8,95a2 = 9,93,0 a0 +8,95 a1 +10a2 = 8,53.
Розв’язавши цю систему, отримаємо:
a0 = 0;a1 =1,15;a2 = −1,176, ˆy =1,15x1 −0,176x2 .
5. Побудуємо систему нормальних рівнянь (16.99):
|
|
|
|
|
|
ryx1 |
= a1 |
+ a2rx2x1 |
, |
||
r |
= a r |
+ a . |
|||
|
yx |
1 |
x x |
2 |
|
|
2 |
|
1 2 |
|
|
Розв’язавши цю систему, ми отримаємо значення парних
коефіцієнтів кореляції: ryx |
= 0,993; ryx |
2 |
= 0,853. |
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
6. Знайдемо стандартизовані оціночні параметри, скориставшись |
|||||||||||||||||||
формулою (16.98): |
|
|
|
|
|
a = R−1 |
r . |
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
k |
|
yx |
|
|
|
|
|
|
|
R |
= |
|
1 |
0,895 |
|
; |
ryx |
= 0,993; |
|
; R−1 = |
|
5,03 |
−4,50 |
|
. |
||||
0,895 |
|
|
|
1 |
|
|
|
|
|
|
|
|
|||||||
k |
|
1 |
|
ryx |
= 0,853 |
|
k |
|
−4,50 |
5,03 |
|
||||||||
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
Тоді |
a |
|
5,03 |
−4,50 |
|
|
0,993 |
|
|
|
1,153 |
|
|
|
|
|
|
||
= |
−4,50 |
5,03 |
|
|
0,853 |
= |
−0,179 |
. |
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
a |
=1,153; a |
= −0,179. |
|
|
|
|
|
|||||||
|
|
|
|
|
|
1 |
|
|
|
2 |
|
|
|
|
|
|
|
|
|
7. Знайдемо оцінки параметрів моделі, використавши формули
(16.99).
517
a |
|
= a |
|
|
|
σy |
=1,153 |
|
1,37 |
=1,407, |
|||||
|
|
|
σx |
|
1,12 |
||||||||||
1 |
1 |
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
a |
|
= a |
|
|
|
σy |
|
= −0,179 |
1,37 |
= −0,371. |
|||||
2 |
2 |
|
σx |
|
0,66 |
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
a0 = 3,08 − a1x1 − a2 x2 |
|
= 3,08 −1,407 4,11+ 0,371 4,71 = −0,954. |
|||||||||||||
Як результат обрахунків, маємо оціночне рівняння економетричної моделі:
yˆ = −0,954 +1,407x1 −0,371x2 .♦
У модифікованій формі наведений вище алгоритм складає основу процедури покрокової регресії програмного продукту STADIA [24, розд.7.5]. Розглянемо варіанти можливого використання окресленої процедури в прикладних дослідженнях.
Метод послідовного включення. На першому кроці в моделі включається змінна, яка має найбільший коефіцієнт кореляції із залежною змінною. На кожному наступному кроці в модель додається та змінна, яка має найбільший частковий коефіцієнт кореляції. Процес припиняється, якщо:
h ні одна із залишених змінних не забезпечує задане мінімальне значення статистики Фішера або F-значення включення (варіант – коли рівень значущості чи Р-значення включення більше від заданого рівня);
hзначення толерантності Т менше заданого рівня. Статистика F і Р-значення відносяться до перевірки нульової гіпотези про те, що введення нової змінної до моделі не призводить до значної зміни коефіцієнта множинної кореляції між незалежними та залежними змінними.
Метод послідовного виключення полягає у вилученні на певному кроці з наявного набору (спочатку розглядається повний набір змінних) тієї змінної, яка має найменший частковий коефіцієнт кореляції. Процес припиняється, якщо призначена для виключення змінна має F-значення більше вибраного рівня (варіант Р-значення менше вибраного рівня). Статистика F і ймовірність Р відносяться до перевірки нульової гіпотези про те, що виключення певної змінної з моделі не призводить до значної зміни коефіцієнта множинної кореляції між незалежними і залежними змінними.
Метод покрокового включення-виключення полягає у поєднанні двох розглянутих методів, коли на кожному обчислювальному
518
процесі проводиться включення деякої змінної, потім робиться спроба виключення з отриманого набору деяких змінних. Для запобігання зациклення процесу рівень Р-включення повинен бути меншим Р-виключення, а рівень F-включення повинен бути вищим за F-виключення.
Вхідні дані представляються у вигляді аналогічному до методу множинної кореляції.
У процесі діалогу необхідно в типовому бланку (рис. 16.7.1) вибрати початковий набір змінних з ЕТ для аналізу, а в наступному меню установок (рис. 16.7.1) виконати:
1)встановити ознаку критерію відбору: за Р- чи F-рівнем;
2)вказати Р- або F-рівень критерію селекції;
3)вказати рівень толерантності Т (тільки для методу включення);
4)натиснути кнопку методу відбору змінних.
Селекция переменных
Метод: |
zF-уровень |
|
P-уровень |
|
|||
1=вперед |
F-вкл= |
3.84 |
|
|
P-вкл= |
0.05 |
|
2=назад |
F-искл= |
2.71 |
|
P-искл= |
0.01 |
||
3=пошаговая |
Сходство= |
|
|
|
0.01 |
|
|
Рис. 16.7.1. Меню установок покрокової регресії
Від самого початку аналізу для кожної змінної обчислюється і видається середнє і стандартне відхилення, матриця кореляцій (коваріацій) між змінними.
На кожному кроці включення вказується назва цієї змінної і виконується стандартна видача множинної лінійної регресії, яка доповнюється зміною квадрата коефіцієнта множинної кореляції (R2) і значеннями F і P для нульової гіпотези «зміна R2 =0».
Для всіх, введених до моделі, змінних видаються значення: hрегресійного коефіцієнта aj (Bj) (у вихідній таблиці вказується
коефіцієнт B);
h стандартної помилки обчислення коефіцієнта aj; hстандартизованого регресійного коефіцієнта бета (отриманого
шляхом множення В на відношення стандартних відхилень Sx /Sy); hзначення F і Р для нульової гіпотези про рівність коефіцієнта
B нулю.
519
Потім для всіх змінних, не введених у модель, видаються значення В, помилки В, бета, F і P для нульової гіпотези зміни R, часткового коефіцієнта кореляції та толерантності Т.
На кожному кроці виключення видається назва включеної змінної та виконується видача, аналогічна методу включення за винятком статистики за змінними поза регресійною моделлю.
Завершальна видача результатів і діалог мають стандартний вигляд для випадку багатопараметричної моделі.
Вибір F-рівня селекції змінних дозволяє задавати абсолютний критерій зупинки, оскільки значення статистики F не залежить від кількості змінних, введених у модель і зростаючих від кроку до кроку. Вибір Р-рівня дозволяє визначити відносний критерій зупинки, оскільки значущість Р залежить від числа змінних, включених у модель на кожному кроці.
У множинній регресії часто необхідно знати відносну значущість змінних, яка частково відображена коефіцієнтами кореляції між незалежними і залежними змінними. Проте якщо незалежні змінні суттєво корельовані між собою, виявляється, що важко виділити самостійний внесок кожної з них у передбаченні залежної змінної.
Регресійні коефіцієнти aj не є добрим індикатором відносно важливості змінних, оскільки їх значення залежать від одиниць виміру змінних. Одним із шляхів досягнення порівняння коефіцієнтів
є обчислення бета-значень або ваг βj = aj |
S j |
, де Sj – cтандартне |
|
||
|
Sy |
|
відхилення змінної Хj . Проте бета-значення також схильні до впливу кореляції між незалежними змінними. Іншим напрямком є зростання R2, коли незалежна змінна вводиться у модель:
dR2j = R2 − R2j , |
(16.101) |
де R2j обчислюється, якщо всі незалежні змінні за винятком і є у
моделі. Велика зміна R2j вказує на те, |
що окреслена змінна |
дає |
унікальну інформацію про залежність |
змінної. Величина |
R2j |
називається частковим коефіцієнтом кореляції між Y і Xj, коли лінійні ефекти всіх інших незалежних змінних вилучені з Хі. Але це не дає уявлення про величину складової частини варіації R2j , яка припадає
на Хj , для чого служить інший коефіцієнт:
520