1. Класична лінійна модель множинної регресії (клммр)

КЛММР реалізує собою найпростішу версію вимог до загального вигляду функції регресії , природи пояснюючих змінних і статистичних регресійних залишків в загальній регресійній моделі.

В рамках КЛММР ці вимоги формулюються наступним чином:

(1)

З (1) випливає:

1. В клммр досліджуються лінійні функції регресії (2)

де - невипадкові параметри, від яких залежить закон розподілу імовірностей результуючої змінної . Це означає, що у вибіркових спостереженнях єдиним джерелом збурень значень є збурення регресійних залишків .

2. Постулюється взаємна некорельованість залишків ( для ). Припущення відносно є основним припущенням КЛММР і є природнім в широкому класі реальних задач (особливо для просторових вибірок). Це означає, що збурення, які отримуються при спостереженнях над іншими і навпаки.

3. (не залежить від спостереження ) означає незміщеність дисперсій регресій них залишків. Така властивість називається гомоскедантичністю регресій них залишків.

4. - немає залежностей між змінними.

Запишемо модель (1) в матричній формі:

- вектор-стовпець невідомих значень параметрів

- вектор – стовпець регресійних залишків

- вектор нулів

- коваріаційна матриця

- вектор оцінок невідомих параметрів

, - коваріаційна матриця незміщених оцінок невідомих параметрів .

Тоді матрична форма КЛММР має вигляд

(1^/)

У випадку, коли до умови (2.1) чи (2.1^/) постулюють нормальний розподіл регресійних залишків (що записуються у вигляді ), тоді говорять що і зв’язані нормальною КЛММР. Метою регресійного аналізу є визначення (статистична оцінка) величини і .

2. Метод найменших квадратів (мнк) і метод максимуму правдоподібності.

Основа МНК: підібрати такі оцінки для невідомих значень параметрів функції регресії при яких регресійні значення результуючого показника

(1)

як можна менше відрізняються від спостережуваних величин . Введемо за міру розбіжності різницю:

, (2)

де -нев'язка. Коефіцієнти слід підбирати так, щоб вони мінімізували деяку характеристику нев'язок. За таку характеристику приймемо величину:

(3)

Тоді

(4)

Запишемо (2) в матричній формі: (5)

Запишемо у вигляді :

(5^*)

(величина ).

Необхідні умови оптимальності мають вигляд:

(6)

Відносно диференціювання:

1. 

2. 

Тоді знаходиться із системи рівнянь

(7)

(8)

Запишемо систему (6) для випадку парної регресії . В цьому випадку :

, ,

Тоді система (7) для матиме вигляд:

(9)

Якщо додатково до умов КЛММР постулюється нормальність регресійних залишків , то для оцінки параметрів може бути застосований метод максимальної правдоподібності (ММП) ( цей метод застосовується, коли задається закон розподілу імовірностей вибіркових даних).

В цьому випадку (враховуючи некорельованість залишків) функція правдоподібності в термінах залишків має вигляд: Оцінки і визначають такі значення і , при яких функція правдоподібності (або логарифмічна функція правдоподібності ) досягає своєї максимальної величини. Тоді необхідні умови оптимальності для логарифмічної функції правдоподібності

(10^')

мають вигляд:

(11)

З першої умови знаходимо

, (12)

що співпадає з оцінкою по МНК. Друга умова (11) дозволяє обчислити ММП-оцінку для :

(13)