4.2 Визначення оцінок параметрів парної лінійної регресії за допомогою мнк

Нехай та – деякі оцінки параметрів та . Запишемо рівняння вибіркової регресії . Тоді є оцінкою , побудованою на основі вибіркової регресії.

Позначимо через різниці між фактичними (спостережуваними) та теоретичними , тобто обчисленими з рівняння вибіркової регресії, значеннями залежної змінної:

.

(4.9)

Ці різниці називають залишками методу найменших квадратів (аналогічно тому, як ми домовились щодо позначень оцінок методом найменших квадратів, замість загального позначення залишків , для залишків методу найменших квадратів будемо використовувати літеру ). Залишки можна вважати вибірковими, або емпіричними аналогами збурень.

Оцінки методу найменших квадратів (скорочено – МНК-оцінки) знайдемо з умови мінімізації за всіма можливими значеннями та виразу:

.

(4.10)

Щоб мінімізувати вираз (4.10), запишемо необхідну умову екстремуму, тобто прирівняємо частинні похідні цього виразу по параметрам та до нуля. Отримаємо нормальну систему для визначення коефіцієнтів:

Розділивши обидві рівності на та ввівши такі позначення: , , отримаємо систему лінійних рівнянь:

Розглянемо розв’язок системи нормальних рівнянь. Параметр визначається формулою:

або .

(4.11)

Формула для параметра має вид:

.

(4.12)

Отже, лінія регресії проходить через точку, координати якої є середні значення показника та фактора .

Якщо обчислити матрицю других похідних для , то можна побачити, що ця матриця додатньо визначена, отже значення (4.11)-(4.12) дійсно мінімізують (4.10).

Таким чином, можна записати у явному вигляді регресію від , у якій параметри обчислені за МНК. Її інколи називають регресією найменших квадратів від :

.

(4.13)

Якщо підставити (4.12) в рівняння лінійної регресії, то отримаємо ще одну форму запису цього рівняння:

.

(4.14)

Це так звана центрована форма запису рівняння лінійної регресії.

Розглянемо формулу для коефіцієнта (4.11). Розділивши і помноживши дріб на , отримаємо:

,

(4.15)

де – лінійний коефіцієнт кореляції. В дослідженні залежності між різними показниками він грає велику роль. Детальніше його опис буде наведено нижче, а зараз остаточно запишемо рівняння лінійної регресії.

Підставивши отриманий вираз в (4.14), отримаємо стандартизоване рівняння регресії на :

або .

(4.16)

Аналогічно можна по МНК побудувати рівняння регресії на :

або .

(4.17)

Узагальненою регресійною моделлю є , де та – правильні параметри всієї генеральної сукупності, – неспостережувана випадкова величина. Коли параметри вибіркової лінійної моделі розраховані за МНК, то при певних класичних припущеннях математичне сподівання параметрів та дорівнює значенням параметрів узагальненої моделі і .