5.4. Метод найменших квадратів

Один з найбільш загальних та цікавих типів експериментів полягає у вимірянні декількох значень двох різних величин для дослідження математичного зв'язку між ними.

При експериментальному (емпіричному) вивченні математичної залежності однієї величини у від іншої величини х проводять ряд вимірів величини у за різних значень величини х . Задача полягає в підборі формули, описуючої результати експериментів. Особли­вість задачі в тім, що наявність випадкових величин вимірювання робить нерозумним підбір такої формули, яка точно описувала б усі дослідні значення. Іншими словами, графік шуканої функції не по­винен проходити через усі точки, а повинен по можливості зглад­жувати випадкові помилки вимірів. Звичайно, це згладжування буде тим більш точним та надійним, чим більше проведено експериментів. Найбільш важливі і які часто зустрічаються є такі експерименти, де очікуваний зв'язок між у та х лінійний.

Якщо ми приймемо як факт, що у та х дійсно пов'язані ліній­но, то прийдемо до цікавої задачі визначення прямої лінії Y = А + Вх , яка найкращим чином апроксимує результати вимірів, тобто до задачі визначення найкращих оцінок постійних А і В (а і b), застосованих на даних (х₁, у₁), (х₂, у₂), ... , (х_п, у_п), тобто до одержання формули у = а + bх .

Аналітичний метод визначення найкращої прямої лінії, яка апроксимує серію експериментальних точок, називають лінійною регресією чи апроксимацією прямої методом найменших квадратів. Теорія ймовірностей показує, що найкращим наближенням буде така пряма лінія, для якої сума квадратів відстаней по вертикалі від точок до прямої буде мінімальною.

(5.7)

або

, (5.8)

де у - експериментальне значення результуючої ознаки при значенні чинникової ознаки

f(х_і)=у - значення апроксимуючої лінійної функції при х_і .

Із умови мінімуму система рівнянь для визначення найкращих значень параметрів рівняння прямої лінії а і b (оцінок параметрів А і В апроксимуючої функції) має вигляд

. (5.9)

Система (5.9) нормальних рівнянь розв'язується за допомогою визначників

, (5.10)

де θ - головний визначник.

Маємо:

; (5.11)

; (5.12)

. (5.13)

Звідки

; (5.14)

. (5.15)

У формулах (5.11) - (5.15) для скорочення у знака суми та змінних величин х і у опушені індекси.

У тому випадку, коли гіпотеза лінійності рівняння регресії може бути відкинута, або коли при графічному зображенні точок нелінійність чітко видно, є сенс для апроксимації експериментальних даних використовувати нелінійну форму парної залежності.

Формулу парної квадратичної регресії можна представити у вигляді

у = а + bх + сх² , (5.16)

а парної кубічної регресії − у вигляді

у = а + bх + сх² +dх³ . (5.17)

Із умови мінімуму суми квадратів відхилень система нормаль­них рівнянь для визначення найкращих параметрів рівняння квадра­тичної регресії має вигляд

(5.18)

та кубічної регресії

. (5.19)

Можна одержати аналогічну систему нормальних рівнянь для оцінки параметрів парної регресії будь-якого порядку. Однак тре­ба мати на увазі, що розв'язання системи нормальних рівнянь вже третього порядку (кубічної регресії) важко виконати вручну (слід для цього використовувати ЕОМ), причому з деякого моменту при підвищенні порядку рівняння регресії залишкова дисперсія замість того, щоб зменшуватись, може збільшуватись, а весь виграш від підвищення порядку регресії для одержання найкращих оцінок параметрів апроксимуючої функції зводиться нанівець.