§14. Метод найменших квадратів

I Постановка задачі й суть методу

Припустимо, що зроблено виміри двох величин і , зв'язаних деякою залежністю . Наприклад, – температура розчинника, – кількість речовини, що розчиняється. Результати вимірів зведені в таблицю:

х			...
			…

Виміри неминуче містять помилки. Тому точки , , не “ляжуть” точно на графік функції. Наприклад, для лінійної залежності картинка може мати вигляд:

Завдання полягає в такому виборі параметрів функції , щоб її графік “найкращим” чином вписувався в множину точок , . Як міра близькості графіка до цих точок найчастіше використовується сума квадратів відхилень спостереженого значення від теоретичного значення :

Ті значення параметрів функції , які доставляють цій сумі мінімальне значення, вважаються “найкращими”.

У випадку лінійної залежності “найкращі” значення й мінімізують суму:

, (1)

тобто повинні перетворювати в нуль частинні похідні й . Обчислимо ці похідні:

,

.

Отже, для визначення стаціонарних точок функції маємо т.зв. систему нормальних рівнянь:

(2)

II Одна корисна нерівність

Щоб дослідити систему (2), а потім і стаціонарні точки, доведемо одну нерівність.

Розглянемо чисел , крім випадку . Позначимо – середнє арифметичне цих чисел: . Тоді:

Але сума квадратів, що стоїть на початку цього ланцюжка рівностей, строго позитивна (тому що не всі однакові), отже, і

.

Із цієї нерівності легко одержати необхідне нам:

.

Зауваження. Отримана нерівність є окремий випадок нерівності Коші-Буняковского

,

яка є узагальненням нерівності для векторів: .

III Дослідження системи нормальних рівнянь

Повернемося до системи (2). Її визначник:

,

тобто , отже система (2) має єдиний розв‘язок, а функція (1) одну стаціонарну точку . Щоб дослідити цю точку, знайдемо значення других похідних функції (1) у цій точці:

, , .

Визначник, складений із цих чисел

,

значить у точці є екстремум, а тому що , то цей екстремум – мінімум.

Отже, задача мінімізації функції завжди має єдиний розв‘язок.

Приклад. Результати вимірів наведені в таблиці:

	–1	0	1	2	3	4	5
	3	2	2	1	2	1	0

Використовуючи метод найменших квадратів, визначити “найкращі” значення параметрів лінійної функції .

Рішення. Обчислимо коефіцієнти системи нормальних рівнянь (2):

, , , .

Складемо систему:

Її розв‘язок: , . Лінійна функція, що “найкращим” чином описує результати вимірів, має вигляд:

.