1. Математичне сподівання параметра

З лекції 2 вам відомо, що параметр b₁ у простій лінійній регресії визначається за формулою

(2.73)

Введемо позначення

(2.74)

З (2.74) випливає, що

Знайдемо математичне сподівання параметра b₁. Для цього запишемо b₁ у вигляді

Дисперсія параметру b₁

(2.81)

Математичне сподівання параметру b₀

Дисперсія параметру b₀

(2.86)

Оскільки параметри b₀ і b₁ є лінійними функціями випадкової величини , що за Припущенням 6 розподілена нормально, то ці параметри теж розподілені нормально.

Для оцінки дисперсії випадкової величини знайдемо її математичне очікування.

Якщо розглядається множина вибірок, то формула для довільної і-ої помилки має вигляд

e_i=y_i- y_i^=₀+₁x_i+_i-b₀-b₁x_i=_i b₀ - ₀) -(b₁+₁x_i . (2.87)

З (2.82) випливає

b₀ - ₀ = _i (b₁+₁x

e_i=_i b₀ - ₀) -(b₁+₁x_i=_i_i (b₁+₁ x -(b₁+₁x_i=_i_i (b₁+₁(x- x_i) (2.88)

Піднесемо обидві частини (2.88) до квадрата

Врахуємо (2.81), (2.77) та той факт, що

Ми отримали оцінку дисперсії випадкової величини , яку часто позначають кількома позначеннями

^_²=S²=^²= (2.93, а)

Оскільки випадкова величина - неспостережувана, то і її дисперсію неможливо обчислити, тьому на практиці дисперсія випадкової величини  замінюється на свою оцінку.

Побудова інтервалів довіри

Випадкові параметри і розподілені за нормальним законом розподілу з відповідним математичним сподіванням та дисперсією. У формулах для розрахунку їх дисперсій (2.86) та (2.81) замість дійсної дисперсії помилок випадкової величини використовується оцінка дисперсії. Знайдемо інтервали довіри для параметрів УРМ, тобто інтервали, в які параметри потрапляють з заданою ймовірністю.

Для побудови інтервалів довіри використовують спеціальні тести.

Коефіцієнти кореляції та детермінації

Для оцінки щільності зв’язку між залежною величиною у і незалежною змінною х (впливу х на у) використовується коефіцієнт кореляції

(2.26)

Коефіцієнт кореляції, на відміну від коефіцієнта коваріації, є не абсолютною, а відносною мірою зв’язку між двома факторами, тому. Позитивне значення свідчить про прямий зв`язок між показниками, а негативне - про зворотний зв`язок. Коли 1, то це свідчить про наявність сильного зв`язку, а у протилежному випадку - про відсутність зв`язку.

Коефіцієнт детермінації дозволяє перевірити адекватність побудованої моделі реальній дійсності ( лінійність залежності у від х) і також виміряти щільність зв`язку між х та у.

Спочатку розглянемо питання про декомпозицію дисперсій. Розіб`ємо на дві частини відхилення фактичних значень у від теоретичних значень за регресійною прямою.

Такі відхилення можна записати у вигляді

(2.27)

Вираз (2.27) перепишемо таким чином

(2.28)

У статистиці різницю (у_і-у) прийнято називати загальним відхиленням. Різницю (у^_i-у) називають відхиленням, яке можна пояснити, виходячи з регресійної прямої. Різницю (у_і-у^_і) називають відхиленням, яке не можна пояснити, виходячи з регресiйної прямої, або непояснювальним відхиленням. Справді, якщо х_і змінюється, то змінюються у_і у^, а у залишається постійною величиною. Таким чином ми розклали загальне відхилення (у_і-у) на відхилення, яке можна пояснити, виходячи з регресійної прямої та непояснювальне відхилення.

Піднесемо обидві частини (2.28) до квадрата та підсумуємо за всіма індексами.

Перепишемо суму добутку у вигляді

Остаточно

(2.29)

де - загальна сума квадратів, яка позначається, як правило, через SST; - сума квадратів помилок, яка позначається через SSE; - сума квадратів, що пояснює регресію та позначається SSR.

Таким чином (2.29) можна записати у вигляді

SST=SSE+SSR. (2.29 a)

Поділивши (2.29) на n, отримаємо вираз для дисперсій

або

²_заг=²_пом+²_регр (2.31)

де ²_заг = - загальна дисперсія; ²_пом = - дисперсія помилок; ²_регр = - дисперсія, що пояснює регресію.

Поділимо обидві частини (2.31) на ²_заг

1= ²_пом/²_заг+²_регр/²_заг (2.32)

²_пом/²_заг є пропорцією дисперсії помилок у загальній дисперсії, тобто являє собою частину дисперсії, яку не можна пояснити через регресійний зв`язок. ²_регр/²_заг є складовою дисперсії, яку можна пояснити через регресійну лінію і називається коефіцієнтом детермінації R². Коефіцієнт детермінації є мірою незалежності пояснювальної змінної, тому його можна застосувати як критерій адекватності моделі. Коефіцієнт детермінації можна записати двома засобами

R²=²_регр/²_заг (2.33)

R²=SSR/SST. (2.34)

З (2.32) випливає, що коефіцієнт детермінації завжди позитивний 0R²1.

Формули для розрахунку коефіцієнта кореляції та нахилу мають вигляд

Вираз (2.35) може бути переписаний у вигляді

(2.37)

Оскільки обидва значення _х і _у додатні, то знак r завжди збігається із знаком параметра b₁, а значення r пов`язане із значенням b₁ та середніх квадратичних відхилень _х і _у.

Для визначення зв`язку між коефіцієнтом кореляції та коефіцієнтом детермінації перепишемо вираз для SSR наступним чином

(2.41)

Перепишемо вираз для розрахунку коефіцієнта детермінації з урахуванням (2.41) та виразу для визначення SST

(2.42)

З (2.37) маємо

r=b₁_х/_у

Полрівнюючи вирази (2.37) та (2.42), маємо, що коефіцієнт детермінації дорівнює квадрату коефіцієнта кореляції

R²=r² (2.43)