Нелінійні методи

Нелінійна регресія

Для вибору й обґрунтування типу кривої регресії немає універсального методу. Однобічна стохастична залежність між явищами може бути описана, наприклад, за допомогою поліноміальної регресії:

y = b₀ + b₁x + b₂x² + b₃x³ + … (12)

або за допомогою гіперболічної регресії:

(13)

Нелінійні моделі краще класифікують об’єкти, однак їх побудова складніша. Задача також зводиться до мінімізації виразу (14).

(14)

При цьому множина F містить нелінійні функції.

В простішому випадку побудови таких функцій все-таки зводиться до побудови лінійних моделей. Для цього вихідний простір об’єктів перетвориться в новий:

O : X -> X’ (15)

У новому просторі будується лінійна функція, яка у вихідному просторі являється нелінійною. Для використання побудованої функції виконується зворотнє перетворення у вихідний простір.

Рис 2. Графічна інтерпретація прямого і зворотнього перетворення із лінійного простору в нелінійний

Ми розрізняємо два класи нелінійних регресій. До першого класу відносяться регресії, нелінійні щодо включених в аналіз пояснюючих змінних Хк, але лінійні по невідомій, підлягаючій оцінці параметрам регресії bк, к == 1, 2, …, p. Тому утворюючі цей клас нелінійні регресії називають також квазілінійними регресіями. Їхня перевага полягає в тому, що для них можливо безпосереднє застосування методу найменших квадратів, а отже, залишаються в силі усі вихідні передумови лінійного регресійного аналізу і властивості МНК -оцінок параметрів регресії (незміщенність, заможність, т.д.). Використовуються ті ж самі критерії значимості, аналогічно будуються довірчі інтервали і довірчі зони.

Другий клас регресій характеризується нелінійністю по оцінюваних параметрах. Цей клас регресій зустрічається досить часто при дослідженні економічних явищ. Однак він має істотний недолік – не допускає застосування звичайного метода найменших квадратів. Для рішення системи нелінійних рівнянь, що виходить при цьому, залучають ітераційні методи або прибігають до апроксимації параметрів шуканої залежності. Широко використовується також лінійне перетворення функції регресії, що дозволяє застосовувати до перетворених параметрів статистичні критерії лінійної регресії. Строгої теорії нелінійної регресії поки немає.

Розглянемо спочатку просту квазілінійну регресію. Нехай залежність між двома явищами (у і х) представлена у виді параболи другого порядку (цілої раціональної функції другого ступеня)

y = b₀ + b₁x + b₂x² + b₃x³ + … (16)

Тут bо - постійна, яка вирівнює та котра відповідає точці перетинання кривої регресії з віссю у; b₁ та b₂ - параметри регресії, що характеризують залежність змінної у від змінної х. Функція регресії (21) лінійна щодо параметрів і нелінійна щодо пояснюючих змінних х (квадратний тричлен). Отже, ми маємо типову функцію квазілінійної регресії.

Для оцінки параметрів (21) методом найменших квадратів потрібно виходити зі співвідношення

y_i = b₀ + b₁x_i + b₂x_i² + u_i, I = 1, 2, …, n, (17)

де и - похибка.

Прирівнявши до нуля частинні похідні від суми квадратів похибок по кожному з параметрів b₀, b₁, b₂, одержимо після деяких перетворень наступні нормальні рівняння:

(18)

(19)

(20)

Підставляючи в (21) обчислені значення b₀, b₁, b₂ ми тим самим знайдемо оцінку функції регресії. Після перевірки значимості оцінок параметрів регресії при прийнятній величині коефіцієнта детермінації можна визначити розрахункові значення регресії для аналізу залежності між економічними явищами.

Нехай виходячи з логічних міркувань для опису залежності

використовується гіперболічна форма зв'язку:

y^* = b^*₀ + b^*₁ (21)

Застосовуючи метод найменших квадратів до (26), знову одержимо систему нормальних рівнянь. Вирішуючи її, знаходимо b₀ і b₁:

, (22)

, (23)

По формулах (27) і (28) ми обчислюємо оцінки параметрів гіперболічного рівняння регресії.

Розглянемо тепер у загальному виді квазілінійну регресію, тобто функцію, нелінійну по пояснюючим змінним, але лінійну по оцінюваних параметрах:

y = b₀ + b₁F₁(x) + b₂F₂(x) + … + b_pF_p(x), (24)

де F₁(x), F₂ (х), ... - функції від пояснюючих змінних х. Вони не містять інших параметрів. Так, наприклад, це можуть бути функції виду F₁(x) = log х чи F₂(x) =1/х але не такі, як F₁(x) = log (х — k) чи F₂(x) = l/x^k

Таблиця 4. Квазілінійні функції

Функції	Нормальні рівняння
y = b0 + b1x + b2x2
y = b0 + b1x + b2x2 + b3x3
log y = b0 + b1x
log y = b0 + b1x + b2x2
log y = b0 + b1x + b2x2 + b3x3	Такі ж, як для функції 2 при заміні yi на log yi
y = b0 + b1 log x
log y = b0 + b1 log x
y = b0 + b1
y = b0 + b1 + b2	Такі ж, як для функції 1 при заміні

Застосовуючи метод найменших квадратів до (30), одержимо систему нормальних рівнянь:

(25)

(26)

(27)

З (30) - (32) можна вивести правило складання нормальних рівнянь. З огляду на те, що окремі значення сумуються, рівняння (30) будується аналогічно регресії (29). Нормальні рівняння (31), (32) і т.д. виходять, якщо функцію регресії (29) помножити відповідно на F_i (х) і F_у (x), а потім просумувати. Перш ніж перейти до прикладу, складемо зведення квазілінійних функцій, які застосовуються в економіці (див. табл. 4).

Вирішуючи систему нормальних рівнянь, ми знаходимо параметри регресії. Вкажемо ще один спосіб представлення квазілінійних функцій у виді лінійної множинної регресії. У цьому випадку часто говорять про функціональну регресію. Так, наприклад, зробивши в поліномі другого ступеня:

y^* = b^*₀ + b^*₁x + b^*₂x² (28)

наступну заміну:

x = x₁; x² = x₂;

b^*₀ = b₀; b^*₁ = b₁; b^*₂ = b₂, (29)

можна записати його у вигляді:

y^* = b₀ + b₁x₁ + b₂x₂ (30)

Ми отримали ту форму запису лінійної множинної регресії.

Приклад 2.

Нехай досліджується залежність собівартості одиниці продукції від обсягу зробленої продукції за даними 15 підприємств (див. табл. 4).

Рис.3. Залежність собівартості одиниці продукції від обсягу зробленої продукції

Таблиця 4. Собівартість одиниці продукції того самого виду й обсяг продукції на 15 підприємствах

Підприємство	Випуск у 1000 шт.	Собівартість 1 шт. у грн.
i	Xt	yi
1	2	8
2	3	10
3	4	7
4	4	6
5	5	5
6	6	5
7	6	4
8	6	3
9	7	4
10	8	5
11	9	3
12	10	2
13	12	1
14	13	1
15	14	2
∑	109	66

З рис. 3 видно, що між собівартістю й обсягом зробленої продукції існує нелінійний зв'язок. Виразимо спочатку залежність між цими змінними рівнянням параболи другого порядку, а потім гіперболічним рівнянням, використовуючи наступні значення:

Знайдемо оцінки параметрів полінома другого ступеня по (24), (25) і (22):

b₀ = 4,4+1,541*7,2667-0,0571*65,4=11,87

Рівняння регресії прийме вид:

Підставляючи в це рівняння значення х з табл. 9, одержимо розрахункові значення регресії, по яких побудуємо криву регресії на рис. 3:

y₁ = 9,02;

y₂ = 7,76;

y_3,4 = 6,62;

y₅ = 5,59;

y_6,7,8 = 4,68;

y₉ = 3,88;

y₁₀ = 3,18;

y₁₁ = 2,63;

y₁₂ = 2,17;

y₁₃ = 1,60;

y₁₄ = 1,49;

y₁₅ = 1,49.

Крива регресії перетинає вісь у точці з ординатою 11,87. Якщо скористатися даної кривої для прогнозу, то можна побачити, що вже при величині випуску, рівної 15 000 штукам, витрати в розрахунку на одиницю продукції знову збільшаться. З економічної точки зору це так само важко пояснити, як і величину собівартості в 11,87 марки при відсутності випуску продукції. Тому варто спробувати підібрати іншу функцію регресії, яка б відповідала емпіричним даним і в той же час була економічно обґрунтована. Якщо вибрати для опису залежності гіперболічну функцію

то по формулах (28) і (29) одержимо наступні оцінки параметрів:

Рівняння регресії в цьому випадку буде мати вигляд:

Розрахункові значення регресії, отримані після підстановки в це рівняння значень х, рівні:

Таблиця 5

Y1=10,51	Y2=7,30	Y3,4=5,69	Y5=4,73
H6,7,8=4,09	H9=3,63	H10=3,28	H11=3,01
H12=2,80	H13=2,48	H14=2,35	H15=2,25

Відповідна крива регресії зображена на рис. 3. Зі збільшенням х величина собівартості одиниці продукції наближається до 0,87 марки. Зі зменшенням х собівартість одиниці продукції зростає. Для вираження залежності собівартості одиниці продукції від обсягу продукції гіперболічна функція більш придатна, чим регресія (1). Однак на деяких ділянках змінної х функція (1) більше відповідає емпіричним даним.

Описаний підхід має один суттєвий недолік. Процес перетворення достатньо складний з точки зору обчислень, причому обчислювальна складність росте зі збільшенням числа даних. Якщо врахувати, що перетворення виконується два рази (пряме і зворотне), то така залежність не являється лінійною. У зв’язку з цим побудова нелінійних моделей з таким підходом буде неефективною. Альтернативою їй може служити метод Support Vector Machines (SVM), який не виконує окремих перетворень усіх об’єктів, а враховує це в обчисленнях.