7.9 Парна регресія в матричній формі

Нехай є вибірка з n спостережень (x₁, y₁), (x₂, y₂), ..., (x_n, y_n) для змінних Y і Х. Рівняння регресії шукаємо у вигляді

, i = 1, 2, ..., n (7.9)

або в розгорнутому вигляді

. (7.10)

Розглянемо вектори-стовпці

, ,

і матрицю розмірності n (m+1):

.

Тоді, відповідно до правил множення й додавання матриць, матричний запис системи рівнянь (7.10) набуває вигляду

. (7.11)

Припустимо, що n > m+1, тобто число спостережень перевищує число параметрів моделі. У протилежному випадку неможлива оцінка параметрів. Вважаємо також, що функції f₀(x)=1, f₁(x), ..., f_m (x) - лінійно незалежні. У цьому випадку ранг (число лінійно незалежних рядків або стовпців) матриці дорівнює m+1.

Ранг транспонованої матриці

також дорівнює m+1, причому її розмірність (m+1)n . Добуток матриць і є симетрична матриця розмірності (m+1)(m+1):

(7.12)

Її ранг дорівнює m+1, тобто визначник Це означає, що матриця є невиродженою, отже, існує обернена матриця , що відіграє основну роль у процедурі оцінювання.

Неважко помітити, що матриця є матрицею системи нормальних рівнянь, з якої визначається вектор , компонентами якого є Мнк-оцінки параметрів а₀, а₁, ..., а_m моделі (7.9). Вектор-стовпець правих частин системи можна подати у вигляді , тому матричний запис цієї системи наступний:

. (7.13)

Помножимо ліву й праву частини (7.13) ліворуч на обернену матрицю . Оскільки – одинична матриця порядку m+1, за властивостями одиничної матриці з (7.13) маємо

.

7.10 Метод найменших квадратів при оцінюванні параметрів поліномів

Якщо аналіз діаграми розсіювання дозволить висунути гіпотезу про поліноміальний зв'язок між змінними Y і X:

, (7.14)

то в цьому випадку функція помилок є квадратичною функцією параметрів a₀,...,a_m, a часткові похідні – лінійні щодо параметрів.

Для того щоб знайти a₀, ..., a_{m ,} використовується МНК.

Умова ( ) дозволяє одержати систему рівнянь:

.

Система містить m+1 рівняння з m+1 невідомим. Якщо m< n-1, то система має єдиний розв’язок.

Запишемо систему рівнянь у матричному вигляді. Розглянемо вектори-стовпці

,

і матрицю розмірності n (m+1):

,

.

Вектор-стовпець правих частин системи рівнянь можна представити у вигляді , тому матричний запис цієї системи такий:

.

Помножимо ліву й праву частини ліворуч на обернену матрицю . Одержимо

. (7.15)

У випадку параболічної регресії система має вигляд

.

У статистиці використовують правило вибору ступеня полінома (7.14), яке базується на визначенні величини кінцевих різниць (якщо x змінюється з постійним кроком) або розділених різниць (якщо крок const).

Кінцева різниця 1-го порядку

, .

Розділена різниця

,

, .

Якщо перші різниці постійні, то для моделі обирається поліном першого ступеня.

Якщо перші різниці не постійні, але варіюються з незначними відхиленнями, і середнє арифметичне двох різниць настільки мале, що ним можна знехтувати, то перші різниці вважаються практично рівними.

Аналогічно, якщо аналізуються другі різниці, і ми прийдемо до висновку, що вони практично рівні, то для відображення ряду емпіричних даних використовують поліном другого ступеня й т.д.

Коефіцієнт детермінації R² розраховується так, як і для лінійної регресії:

.

Адекватність моделі. Розраховуємо критеріальне значення та критичне значення , де ; ; α – рівень значущості; k – кількість параметрів моделі, n – кількість спостережень.

Значення F_кр обчислюємо за допомогою функції FРАСПОБР(α; k-1; n-k). Якщо F_p>F_kp – модель адекватна.

Приклад. Нехай для деякого підприємства відомі середні витрати на рекламу (Y тис. грн) за останні n місяців (Х).

X	1	2	3	4	5	6	7	8	9
Y	35,4	34,2	33,6	32,1	32,7	33,8	35,6	37,2	38,8

Необхідно:

• записати систему рівнянь для визначення невідомих параметрів рівняння поліноміальної регресії другого порядку =a₀+a₁x+a₂x² ;

• знайти параметри регресії;

• обчислити коефіцієнт лінійної кореляції;

• знайти коефіцієнт детермінації;

• оцінити адекватність моделі за критерієм Фішера при рівні значущості α=0,01;

• побудувати графік;

• зробити прогноз витрат на рекламу до кінця року.