Лінійні методи. Метод найменших квадратів.

Метод найменших квадратів – це метод регресійного аналізу для оцінки невідомих величин за результатами вимірів, що містять випадкові помилки. Метод найменших квадратів також застосовується для наближеного представлення заданої функції іншими більш простими функціями і часто є корисним для обробки спостережень.

Розрізняють два види функцій: лінійні і нелінійні. В першому випадку функції множини F мають вигляд:

y=ω₀+ ω₁x₁+ ω₂x₂+…+ ω_nx_n= ω₀+∑ ω_jx_j (4)

де ω₀, ω₁,…, ω_n – коефіцієнти при незалежних змінних.

Задача полягає у пошуці таких коефіцієнтів ω, щоби задовільнити умову (5) , використовуючи квадратичну функцію втрат і множину лінійних функцій F:

(5)

де f₁:X→R.

Необхідно знайти рішення наступної задачі:

(6)

Обчислюючи похідну R(f) по ω і вводячи позначення Y_ij:==f_i(x_i), отримуємо, що мінімум досяжний при умові:

Y^Ty=Y^TYω (7)

де Y^T=(Y₁, Y₂, …,Y_n)

(8)

Розв’язком цього виразу буде:

ω=(Y^TY)^-1Y^Ty. (9)

Матриця (Y^TY)^-1Y називається псевдозворотньою матрицею Мура-Пенроуза матриці Y.

Звідки і отримуються шукані коефіцієнти ω. Розглянутий приклад ілюструє пошук оптимальної функції f методом найменших квадратів.

Метод найменших квадратів використовується для рішення задач згладжування даних, задач інтерполяції.

Приклад 1

Експериментальні дані значень змінних наведені в таблиці 2.

Таблиця 2

	i=1	i=2	i=3	i=4	i=5
xi	0	1	2	4	5
yi	2,1	2,4	2,6	2,8	3,0

В результаті їх вирівнювань отримана функція g(x)=

Використовуючи метод найменших квадратів, необхідно апроксимувати (замінити на простіше) ці дані лінійною залежністю y=ax+b (знайти параметри a, b). З’ясувати яка з двох ліній краще вирівнює експериментальні дані.

Задача зводиться до знаходження коефіцієнтів лінійної залежності, при яких функція двох змінних a і b приймає найменше значення. Тобто за даних a і b сума квадратів відхилень експериментальних даних від знайденої прямої буде найменшою. В цьому суть методу найменших квадратів. Таким чином, рішення прикладу зводиться до знаходження екстремуму функції двох змінних.

Вивід формул для знаходження коефіцієнтів.

Складається система з двох рівнянь з двома невідомими. Знаходимо часткові похідні функції по змінним a і b, прирівнюємо ці похідні до нуля.

(10)

Розв’язуємо отриману систему рівнянь будь-яким методом ( підстановки, методом Крамера) і отримуємо формули для знаходження коефіцієнтів по методу найменших квадратів.

(11)

Формула для знаходження параметра a містить суми і параметр n – кількість експериментальних даних. Значення цих сум рекомендується обчислювати окремо. Коефіцієнт b знаходиться після обчислення a.

Для прикладу n=5. Заповнимо таблицю 3 для зручності обчислень.

Таблиця 3

	i=1	i=2	i=3	i=4	i=5	∑
xi	0	1	2	4	5	12
yi	2,1	2,4	2,6	2,8	3	12,9
xiyi	0	2,4	5,2	11,2	15	33,8
xi2	0	1	4	16	25	46

Підставляємо значення в формули

Таким чином, y=0,165x+2,184 – шукана апроксимуюча пряма.

З’ясуємо яка з ліній g(x)= чи y=0,165x+2,184 краще апроксимує вихідні дані, тобто проведемо оцінку методом найменших квадратів.

Для цього необхідно обчислити суми квадратів відхилень вихідних даних від цих ліній і , менше значення відповідає лінії, яка краще апроксимує вихідні дані з точки зору методу найменших квадратів.

Так як σ₁<σ₂ , то пряма y=0,165x+2,184 краще наближує вихідні дані.

Рис 1. Графік функцій для прикладу 1

Точки це вихідні дані. Верхня пряма – пряма y=0,165x+2,184. Нижня пряма - пряма g(x)=