16. Оцінювання параметрів моделі методом найменших квадратів у випадку лінійної та квадратичної функції регресії.
Метод найменших квадратів — метод знаходження наближеного розв'язку надлишково-визначеної системи. Часто застосовується в регресійному аналізі. На практиці найчастіше використовується лінійний метод найменших квадратів, що використовується у випадку системи лінійних рівнянь. Зокрема важливим застосуванням у цьому випадку є оцінка параметрів у лінійній регресії, що широко застосовується уматематичній статистиці і економетриці.
Використання квадратичної моделі[ред. • ред. Код]
Важливо,
у методі лінійних найменших
квадратів ми не обмежені використанням
лінії як моделі як у попередньому
прикладі. Наприклад, ми могли вибрати
обмежену квадратичну модель 
.
Ця модель все ще лінійна в сенсі
параметру 
,
отже ми все ще можемо здійснювати той
самий аналіз, будуючи систему рівнянь
з точок даних:
Часткові похідні щодо параметрів (цього разу лише одного) знов обчислені і прирівняні до 0:
і розв'язані
що
призводить до вислідної найпідхожої
моделі 
Лінійний випадок[ред. • ред. код]
Одна незалежна змінна[ред. • ред. код]
Нехай маємо лінійну регресію зі скалярною змінною x:
а
також вибірку початкових даних 
розміру M.
Тоді
Множинна регресія (випадок багатьох незалежних змінних)[ред. • ред. код]
Для
надлишково-визначеної системи m лінійних
рівнянь з n невідомими 
чи в матричній формі запису:
зазвичай не існує точного розв'язку, і потрібно знайти такі β, які мінімізують наступну норму:
Такий розв'язок завжди існує і він є єдиним:
хоч дана формула не є ефективною через необхідність знаходити обернену матрицю.
Виведення формули[ред. • ред. код]
Значення 
досягає
мінімуму в точці в якій похідна по
кожному параметру рівна нулю. Обчислюючи
ці похідні одержимо:
де
використано позначення 
Також виконуються рівності:
Підставляючи вирази для залишків і їх похідних одержимо рівність:
Дану рівність можна звести до вигляду:
або в матричній формі:
17. Означення матриці. Основні види матриць
Означення
1. Матрицею
розміру 
називається
прямокутна таблиця, складена із
чисел
вигляду 
,
розміщених в 
рядках
і 
стовпцях,
яка позначається
Скорочено
пишуть 
.
Зустрічаються також позначення
числа 
називаються
елементами матриці.
Означення
2. Дві
матриці А і В однакових розмірів
називаються
рівними тоді і тільки тоді, коли рівні
їх відповідні елементи, 
.
Позначається
Розглянемо основні види матриць.
Нульовою називається
матриця 
розміру
,
всі елементи якої дорівнюють нулю.
Квадратною називається
матриця, в якої кількість рядків дорівнює
кількості стовпців 
.
У цьому випадку говорять, що матриця
має порядок
(замість
розміру 
).
Діагональною називається така квадратна матриця, в якої елементи головної діагоналі відмінні від нуля, а всі решта елементів дорівнюють нулю, позначається
Діагональна матриця, в якої всі діагональні елементи дорівнюють одиниці, називається одиничною матрицею, і позначається
Матриця що складається з одного стовпця називається матрицею-стовпцем
.
Аналогічно, матриця-рядок складається з одного рядка
Звернемо увагу, що ряд факторів пов’язаних з поняттям матриці для багатьох так чи інакше могли бути відомими ще до знайомства з самим терміном.
Розглянемо приклади.
Приклад 1. Відомість на отримання стипендії для 20 студентів є прикладом матриці розміром 20х1, елементами якої є розмір стипендії кожному.
Приклад 2. У відомості на зарплату бригаді для 15 робітників можуть бути вказані суми: нарахована, утримана і до оплати. Дані цієї відомості теж представляють матрицю розміру 15х3.
Приклад 3. При виконанні робіт в шахті (метро, тунелі) по проходці можна виділити два основних види робіт: виїмка породи (сюди входить буріння шпурів, заряжання, зривання, прибирання породи) і кріплення. Обидва види робіт при сталій площі поперечного перетину можуть вимірюватись в погонних метрах. Припустимо, що протягом доби кожна із трьох змін добилися таких результатів:
Зміни |
Виїмка (в м) |
Кріплення (в м) |
І-а зміна |
|
|
ІІ-а зміна |
|
|
ІІІ-я зміна |
|
|
Ці результати можна записати у вигляді матриці розміром 3х2:
