Метод найменших квадратів (мнк)

Н ехай є дві змінні величини, і проведено n випробувань (експериментів), внаслідок яких отримано n пар значень цих величин. Аналіз результатів експериментів (див., наприклад, розташування точок на рис. 4) може привести до гіпотези про наявність деякої функціональної залежності між x і y, , з поки ще невідомими значеннями пара-метрів a, b, …. Треба підібрати ці значення в певний най-кращий спосіб.

Візьмемо до уваги, що кожному значенню Рис. 4 відповідає, по-перше, експериментально знайдене значення , по-друге – визначене зробленою гіпотезою значення . Ці значення, взагалі кажучи, не збігаються, і тому різниці (часто-густо вони називаються нев”язками або ж помилками) можна вважати ненульовими. Підбиратимемо значення a, b, … так, щоб сума квадратів різниць (нев”язок, помилок) була найменшою, тобто, щоб функція

( 28 )

набувала найменшого значення. На підставі теорії локального екстремуму необхідно знайти частинні похідні функції (28) по a, b, …, прирівняти їх до нуля й отримати систему рівнянь відносно a, b, …,

( 29 )

В цьому й полягає метод найменших квадратів. Вперше його винайшли французький математик Адрієн Марі Лежандр (1752 – 1833) і славетний німе-цький математик, астроном, фізик та геодезист Карл Фрідріх Ґаусс (1777 – 1855), а теоретично обгрунтували Ґаусс та послідовники.

Якщо, наприклад, гіпотеза полягає в тому, що x і y пов”язані лінійною залежністю

, ( 30 )

отримуємо задачу на відшукання мінімума функції

( 31 )

Оскільки

то отримуємо систему лінійних алгебричних рівнянь відносно a, b

( 32 )

П риклад 5. В результаті п”яти вимірювань величин x, y отримані зна­чення x – 0, 1.0, 1.5, 2.1, 3.0 та відповідні значення y – 2.9, 6.3, 7.9, 10.0, 13.2. Положення точок

на рис. 5 свідчить на користь Рис. 5 гіпотези про лінійну залежність між x і y, . Для знаходження значень a, b скористаємось методом найменших квадратів, розташувавши всі обчислення в таблиці 7.

На підставі (32) утворюємо систему рівнянь відносно a і b

розв”язуючи яку (наприклад, за правилом Крамера чи методом Ґаусса ), отримуємо

Таблиця 7. Метод найменших квадратів

№
1	0.0	2.9	0.00	0.00	2.86	0.04
2	1.0	6.3	1.00	6.30	6.28	0.02
3	1.5	7.9	2.25	11.85	7.99	0.09
4	2.1	10.0	4.41	21.00	10.04	0.04
5	3.0	13.2	9.00	39.60	13.12	0.08
Σ	7.6	40.3	16.66	78.75

В шостому стовпчику таблиці 7 наведено значення , обчислені за знайденою формулою, а в сьомому – абсолютні величини різниць між значеннями y, знайденими експериментально та обчисленими за формулою. Невеликі значення цих величин свідчать про добрий збіг експериментальних та теоретичних результатів.

Нехай тепер результати експериментів дають привід припускати наявність параболічної залежності між величинами x, y, тобто

. ( 33 )

Метод найменших квадратів веде до задачі на локальний екстремум функції

( 34 )

і, як наслідок, - до системи лінійних рівнянь відносно a, b, c

( 35 )