2. Метод найменших квадратів

Суть методу: у якості міри відхилення обраної моделі залежності від правдивої залежності вибирається

(8)

тобто (8) функція від c і d.

Невідомі параметри c і d підбираються таким чином, щоб така функція F (сума квадратів відхилень) набувала найменше значення. А ця умова виконується тільки тоді, коли часткові похідні від цієї функції за невідомими параметрами дорівнюються нулю [1]. У випадку (5) min(c; d) виконується умова

(9)

Система рівнянь (9) називається нормальною системою рівнянь і її розв'язання дає нам оцінки невідомих параметрів c і d.

Якщо лінійна щодо невідомих параметрів, то їхнє визначення можна спростити, перейшовши до матричної форми:

(10)

де - n-мірний вектор - стовпець, де спостерігаються значення залежної перемінної;

- матриця розмірності , де n - обсяг вибірки (t=1; 2; ...;n), m - число незалежних перемінних (i = 1; 2; ... ; m);

- вектор - стовпець оцінюваних параметрів розмірності m;

- вектор - стовпець помилок розмірності n ( 1; 2; ... ; n).

Наприклад, (6) - лінійна щодо невідомих параметрів a; b; c. Запишемо її в матричній формі:

a; b; c); ; ; , де

- незалежні перемінні тобто , t=1; 2; ... ; n.

Тоді ; (t=1; 2; ... ; n) ( )

Перетворимо (10), помноживши спочатку обидві частини (10) зліва на матрицю (транспоновану відносно до К), а потім на матрицю ( , якщо . Одержимо

(11)

звідки

(12)

Звичайний метод найменших квадратів виходить із наступних передумов [2]

а) математичне сподівання від .

б) значення при різних t незалежні й мають постійну дисперсію , тобто , де I - одиночна матриця розмірності n;

в) незалежні перемінні не пов'язані з помилками, тобто ;

г) незалежні перемінні утворять лінійно-незалежну систему векторів, або, іншими словами, незалежні перемінні не повинні бути мультиколінеарні, тобто матриця повинна бути невироджена.

Якщо виконується умова (в), то - мале, отже, і - мале і можна як оцінки параметрів, що входять у , тобто замість , узяти вектор рівний

= (13)

Можна показати, що є розв'язанням системи нормальних рівнянь для (10) [3]

(14)

і що вони мінімізують суму квадратів помилок .

Матрицю називають матрицею моментів. Числа, що стоять на її головній діагоналі, відбивають величину дисперсій незалежних (екзогенних) перемінних, інші елементи відповідають взаємним коваріаціям , , перемінних. Таким чином, структура матриці моментів відбиває зв'язки між незалежними перемінними. Чим більші коваріації між екзогенними перемінними порівняно з їхніми дисперсіями, тим ближчий визначник до нуля і тим гірші, отже, оцінки .

Доведено [3] , що при виконанні умов:

1) в) оцінки параметрів незміщені, тобто ;

2) а) - г) оцінки параметрів достатні та ефективні.

Оцінка називається достатньою, якщо при збільшенні обсягу вибірки вона наближається до оцінюваного параметра.

Оцінка називається ефективною, якщо вона має найменшу порівняно з іншими оцінками дисперсію.

Одержимо нормальні системи рівнянь для оцінок залежностей (2) - (7).

Для залежності (6) знайдемо цю систему, використовуючи загальний підхід (система (9)) і матричний підхід (система (14)), що у даному випадку у вигляді лінійності 9(t) щодо а, b, c теж може бути застосовуваним.

Загальний підхід:

1) запишемо функцію і знайдемо її часткові похідні

2) запишемо нормальну систему рівнянь

(15)

Матричний підхід.

З огляду на (14) розпишемо матриці, у неї вхідні

t=1; 2; ...; n, тобто

;

Тоді

;

Прирівнявши ліву і праву частину (14), одержимо нормальну систему рівнянь (15).

Таким чином, у випадку лінійної залежності від невідомих параметрів обидва підходи при перебуванні нормальної системи рівнянь дають той самий результат. Тому при великій кількості незалежних перемінних застосовується матричний підхід, тому що його алгоритм простіший для програмування.

Зауваження 1. Як випливає з розглянутого прикладу, у випадку лінійної залежності від невідомих параметрів нормальна система рівнянь утворилася лінійною від цих параметрів. Це істотно полегшує їхнє визначення або в матричній формі (13), якщо це можливо, або методом Гауса.

Тому у випадку нелінійної залежності від параметрів необхідно намагатися шляхом яких-небудь перетворень звести цю залежність до лінійної від самих параметрів або відомих функцій від них.

Покажемо, як це зробити на прикладі залежності (7), .

Параметри m, n, k входять нелінійно в. Прологарифмуємо .

.

Одержали, що параметри ln m, n і k входять лінійно в ln . І якщо зробити перепозначення ln = , a=ln m, b=p, c=k, то ми потрапляємо в умови залежності (6), для котрої вже відома система нормальних рівнянь.

Тоді, замінивши в цій системі на і a, b, c на ln m, p, k, одержимо нормальну систему рівнянь для визначення ln m, p і k.

(16)

Визначивши ln m, знайдемо .

Аналогічно шляхом логарифмування знаходяться параметри у формулах залежностей (3) і (5). Можна показати, що нормальні системи рівнянь для залежностей (2)-(5) мають відповідно до нумерації вигляд:

(17)

(18)

(19)

(20)

Вирішивши ці системи або матричним способом (13), або методом підстановки, ми знайдемо значення шуканих оцінок параметрів. Підставивши їх як коефіцієнти у відповідну модель залежності (2) - (7), ми одержимо найкращу оцінку шуканої залежності для даного сімейства кривих, що у цьому випадку дає нам:

,

де являє собою суму двох складових: - помилку наближення і випадкової помилки (величину) .

Очевидно, що помилка наближення - не випадкова, а систематична помилка.

Тому, що для всіх оцінок (2) -(7) та сама, то змінюється для різних оцінок залежностей тільки за рахунок першої складової. Тому зі всіх обраних оцінок залежності з набору (2) - (7), та найкраща, для якої найменше .

Таким чином, визначивши найкращу оцінку шуканої залежності, тренду часового ряду , із набору (2) - (7), можна перейти до статистичного аналізу отриманої регресійної залежності.