2.2.1 Специфікація моделі

Найбільш очевидним є вибір специфікації моделі у випадку парної регресії, оскільки його можна виконати візуально, використовуючи графічне зображення емпіричних даних як точок на кореляційному полі в декартовій системі координат, які утворюють так звану діаграму розсіювання.

У випадках, коли кореляційне поле вказує на те, що пряма лінія не підходить для опису характеру залежності, застосовуються складніші види залежності, а саме – нелінійна регресія. Форма цієї залежності може бути різною. Залежно від того, яке рівняння обирається, регресія отримує відповідну назву (рис. 2.6).

а) квадратична регресія	б) експоненційна регресія
в) логарифмічна регресія	г) степенева регресія

Рисунок 2.6 – Приклади нелінійних видів регресій

Для множинної регресії виявлення залежності між змінними значно ускладнюється. Тут в деяких випадках може спрацювати інтуїція.

2.2.2 Визначення параметрів рівняння регресії за допомогою методу найменших квадратів

Після того, як вид рівняння регресії вибраний, формула для опису лінії регресії підібрана, виникає друга проблема – потрібно оцінити параметри, які увійшли до нього.

У записане рівняння обов'язково входять коефіцієнти (параметри), і ці коефіцієнти потрібно визначити. Причому зробити це так, щоб побудоване рівняння найкращим чином описувало дані спостережень, щоб лінія регресії проходила якомога ближче до точок кореляційного поля. Цей етап має назву статистичної оцінки параметрів регресії.

Наприклад, на рис. 2.7 зображено випадок, коли кореляційне поле показує, що можна застосувати лінійну регресію.

Рисунок 2.7 – Приклад кореляційного поля

У рівняння прямої входять два параметри: і . Змінюючи їх, отримуємо різні прямі лінії, з яких необхідно вибрати тільки одну, з конкретними значеннями параметрів (в даному випадку ту, яка на рис. 2.7 зображена під номером 4).

У загальному випадку задача для трьох невідомих факторів формулюються таким чином. Для обраної формули рівняння регресії

(2.29)

необхідно підібрати параметри регресії так, щоб відхилення даних спостережень від лінії регресії були б мінімальними.

Для вирішення цієї задачі є декілька методів. Найпопулярніший і найчастіше використовуваний з них – метод найменших квадратів (МНК). Щоб визначити ступінь відхилення кривої від експериментальних точок (або навпаки, експериментальних точок від кривої регресії) введемо наступне визначення.

Відхиленням (або залишком) називається різниця між експериментальним значенням і теоретичним значенням :

.

(2.30)

Тут – дані спостережень, відомі числа. Покажемо ці відхилення на рис. 2.8:

Рисунок 2.8 – Відхилення

Знаходження оцінок МНК геометрично означає пошук функції, яка знаходиться найближче до даних точок (статистичних даних) у тому розумінні, що сума квадратів відстаней по вертикалі від даних точок до функції повинна бути найменшою. Обґрунтування такого вибору методу побудови оцінок полягає в їх оптимальних статистичних властивостях, які сформульовано вище.

Всі ці відхилення повинні бути якомога менші. Цього можна досягти, якщо узяти суму квадратів цих чисел і зажадати, щоб вона була мінімальна:

або .

(2.31)

Тобто, сума квадратів відхилень є функцією від коефіцієнтів регресії, а отже необхідно знайти мінімум функції декількох змінних. З курсу вищої математики відомо, що для цього необхідно знайти частинні похідні і прирівняти їх нулю:

(2.32)

Отримаємо систему рівнянь для знаходження коефіцієнтів регресії. Скільки коефіцієнтів присутньо в рівнянні регресії, стільки буде і рівнянь в цій системі. Ця система називається нормальною системою для визначення коефіцієнтів регресії. В результаті її розв’язання отримаємо коефіцієнти регресії .

Докладніше процес складання і розв’язання цієї системи буде розглянуто нижче для рівняння лінійної регресії.