1.3.3 Anova–дисперсійний аналіз

Елементарна ANOVA–таблиця у випадку багатофакторної регресії має вигляд

Джерело варіації	Суми квадратів	Ступені вільності	Середні квадрати
Модель	SSR=	k-1	MSR=SSR/(k-1)
Помилка	SSE=	n-k	MSE=SSE/(n-k)
Загальне	SST=	n-1

З цієї таблиці легко отримати значення простого коефіцієнта детермінації за (4.19) R² та оціненого коефіцієнта детермінації за (4.20) R².

1.4 Перевірка моделі на адекватність

Для багатофакторної регресії нуль-гіпотеза за F–критерієм Фішера

узагальнюється і має вигляд

H₀: ₁=₂=..._p=0

проти альтернативної гіпотези Н₁: хоча б одне значення _i відмінне від нуля.

Для перевірки нуль-гіпотези розраховується F–статистика Фішера з р та (n-р-1) ступенями вільності

F_p,n-p-1= (4.26)

де р – кількість факторів, що увійшли в модель; n - загальна кількість спостережень.

Якщо F>F_кр, що знаходиться за F–таблицями Фішера з р та (n-р-1) ступенями вільності для рівня помилки 100% (або рівня довіри (1-)100%), то нуль-гіпотеза відкидається , що свідчить про адекватність моделі. У протилежному випадку вона приймається і модель вважається неадекватною.

Якщо у виразі (4.26) замінити р на (k-1), а (n-р-1) на (n-k), де k – кількість параметрів, включаючи перетин, то

F=[(n-k)SSR]/[(k-1)SSE]= [(n-k)SSR]/[(k-1)(SST-SSR)]= [(n-k)SSR/SST]/[(k-1)(1-SSR/SST)]= [(n-k)R²]/[(k-1)(1-R²)]=[R²/(k-1)]/[(1- R²)/(n-k)] (4.27)

З (4.27) випливає, що F–відношення та R² пов’язані між собою. Коли R²=0 F=0. Таким чином, F-тест що є мірою адекваності регресійної моделі, є також мірою статистичної значимості коефіцієнта детермінації R². Використовуючи (4.33), можемо тестувати адекватність моделі, виходячи лише з одного відомого R², що значно полегшує розрахунки.

Нехай відомо значення R² для багатофакторної моделі

y_i=₀+₁x_1i+...+_px_pi+_i.

Тестуємо нуль-гіпотезу Н₀: ₁=₂=...=_p=0 проти альтернативної гіпотези Н₁: не всі параметри одноразово дорівнюють нулю. Для цього за (4.27) розраховуємо F–відношення Фішера, а потім за таблицями F_кр(k-1; n-k; ). Отже тестування проводимо, використовуючи лише відомий коефіцієнт детермінації.

2. Матричний підхід до лінійної багатофакторної регресії

2.1 Запис ублрм у матричному вигляді

Запишемо модель (4.1) для кожного окремого спостереження

(4.34)

або скорочено

y_i=₀+₁x_1i+...+_px_pi+_i.

Маємо

y_(nx1)= – вектор-стовпець (розмірность nx1) спостережень за незалежною змінною у;

- матриця nx(p+1)розмірності спостережень за р змінними х₁, х₂, …, х_р, де перший стовпець вміщує значення 1 для отримання перетину. Матрицю Х ще називають матрицею спостережень.

_((p+1)x1)= - вектор розміру ((р+1)x1)невідомих параметрів;

(n+1)= –- вектор розміру (nx1) випадкових величин.

Виходячи з введених позначень для (4.35) отримаємо

= + (4.36)

Вираз (4.36) зручно переписати у вигляді

у=Х+ (4.37)

Вираз (4.37) є записом простої лінійної багатофакторної регресії у матричному вигляді.

2.2 Припущення класичної лінійної багатофакторної регресії

у матричному вигляді

Припущення 1. Вектор випадкових величин дорівнює нулеві E()=0

E = = (4.38)

Припущення 2. Випадкові величини незалежні між собою

E(’)=E (₁₂..._n) (4.39)

де ’– транспланований вектор-стовпець випадкових величин, тобто вектор-рядок.

Розписавши (4.39) та застосовуючи оператор математичного сподівання до кожного елемента матриці, та враховуючи гомоскедастичність та відсутність зв`язку між випадковими величинами, отримаємо отримаємо

E(’)=E (4.40)

де І – одинична матриця розмірності (n x n).

Матриця (4.40) називається дисперсійно-коваріаційною матрицею випадкових величин _і. Діагональні елементи цієї матриці – дисперсії, а всі інші – коваріації. Дисперсійно-коваріаційна матриця симетрична відносно своєї діагоналі.

Припущення 3. Матриця Х розміру (n x (р+1)) не стохастична, тобто вона утворюється з фіксованих елементів х_іj; і=1,n; j=1,р.

Припущення 4. Відсутність мультиколінеарності, тобто ранг матриці Х дорівнює кількості стовпців матриці (р+1). Це означає, що стовпці матриці лінійно незалежні, тобто немає лінійного зв’язку між х змінними, отже, не знайдеться таких чисел ₀, ₁, ..., _p, серед яких не всі дорівнюють нулеві, або виконувалась тотожність

₀x_0i+_x_1i+...+_px_pi=0

або в матричному відображенні ‘Х=0

Припущення 5. Вектор випадкових величин має нормальний закон розподілу N(0, ²I). Припущення щодо однакової дисперсії випадкових величин вже знайшло своє матричне відображення у припущенні 2.