9.4.3 Наближення функцій методом найменших квадратів
При вивченні деяких закономірностей на основі спостережень або експериментів отримують початковий матеріал, який є наближеним через похибки вимірювань, неповторюваності умов спостережень, випадкових помилок і. т. п. Звідси природне прагнення дослідника до накопичення якомога більше експериментального матеріалу, для того щоб певним чином його усереднити і отримати необхідні значення параметрів закономірностей, що вивчаються.
Припустимо, що між величинами
,
,
…,
і
існує певний функціональний зв'язок -
,
який нам невідомий. У таких випадках
проводиться серія дослідів, які дають
змогу отримати початкові емпіричні
дані, які можна подати у вигляді двох
матриць
,
,
де
- матриця спостережень;
- вектор експериментальних
даних величини
;
- кількість спостережень
.
,
- значення величин
.
та
в
-тому
спостереженні (
).
Величини , , …, носять назву вхідних величин досліджуваного об’єкта, а - вихідних величин. Залежність називають математичною моделлю об’єкта. Ця залежність об’єктивно існує, але вона, як правило, невідома досліднику. Тому її апроксимують вибраною певним чином іншою функцією. Найчастіше такою функцією, яка апроксимує залежність , виступає функція, яка є лінійною відносно своїх параметрів
,
(9.38)
де
- вектор вхідних величин;
- вектор параметрів моделі;
,
,
…,
- відомі функції.
Залежність
,
яка носить назву регресійної
моделі, подамо у більш
компактній формі
. (9.39)
Допустимо, що вектор параметрів
моделі (9.39), вибраний певним чином. Тоді
на точках матриці експерименту
можна обчислити значення
,
.
У результаті отримуємо систему рівнянь,
,
,
,
яку подамо у матрично-векторній формі
,
(9.40)
де
;
.
Таким чином, при відомій
матриці
вихід моделі
залежить тільки від вибору параметрів
регресійної моделі (9.39). Параметри моделі
(9.39) будемо вибирати такими, щоб сума
квадратів відхилень значень виходу
моделі, які обчислені на точках матриці
,
від відповідних даних
,
експериментального дослідження була
б мінімальною. Іншими словами, критерієм
вибору параметрів моделі (9.39) буде вираз
, (9.41)
який необхідно мінімізувати за вектор-параметром .
Оскільки мінімізується сума
квадратів відхилень
за вектор-параметром
,
то відповідна процедура носить назву
методу найменших
квадратів (МНК).
Знайдемо оцінку
,
яка мінімізує (9.41) за умови, що
.
Для цього критерій (9.41) подамо як квадрат
евклідової норми вектора
,
тобто
.
Якщо врахувати значення , яке визначається формулою (9.40), то отримаємо
.
В останньому виразі розкриємо
дужки і врахуємо те, що
і
.
У результаті приходимо до такого рівняння
,
(9.42)
де
- так звана матриця Фішера.
Знайдемо мінімум функції
(9.42) із умови
.
Виконавши формально операцію
диференціювання скалярної функції за
її вектор-аргументом, отримаємо
матрично-векторне рівняння
.
(9.43)
Якщо матриця
не вироджена, то рівняння (9.43) має єдиний
розв’язок
.
(9.44)
Приклад 9.2. Припустимо,
необхідно знайти лінійну
залежність між величинами
і
-
.
Параметри
і
моделі необхідно визначити, спираючись
на результати експерименту, який
отриманий у вигляді пар значень
,
.
У даному випадку матриця і вектор спостережень за вихідною величиною матимуть такий вигляд:
,
.
Знайдемо матрицю і обернену до неї матрицю
і
.
Підставивши значення
і
у формулу (9.44), знайдемо МНК-оцінки
і
параметрів
та
лінійної моделі
(лінійної регресії). Маємо
.
Після множення матриць у правій частині останньої рівності отримаємо
.
Із останнього матричного рівняння знаходимо, що
,
.
(9.45)
Приклад 9.4. Для даних, які наведені у табл. 9.2, знайти МНК-оцінки параметрів лінійної моделі .
Введемо нову змінну
.
Тоді
і
,
де
.
Візьмемо
і обчислимо значення нової змінної
.
Результати таких обчислень заносимо
до табл. 9.2.
Таблиця 9.2 – Вихідні дані до прикладу 9.3
|
0 |
1 |
2 |
3 |
4 |
|
-2 |
-1 |
0 |
1 |
2 |
|
0,5888 |
2,3853 |
4,3931 |
6,4191 |
8,2056 |
Для знаходження МНК-оцінок у формулах (9.45) замінимо на . Тоді
,
,
де
.
Аналізуючи дані табл. 9.2,
неважко помітити, що
.
Остання умова значно спрощує формули
для обчислення МНК-оцінок параметрів
і
.
Отже,
,
.
Дві останні формули дають
можливість знайти -
,
.
Оскільки
,
то
і
.
Графік залежності показаний на рис. 9.4, де «» відмічені табличні значення , а «+» - розрахункові значення.
Рисунок 9.4 – Залежність
Знайдемо тепер суму квадратів
відхилень розрахункових даних від
табличних -
.
Отриманий результат дає змогу стверджувати
про задовільну збіжність розрахункових
і табличних значень
і
.