4.7. Лінійна регресія.
Найбільш
простим є випадок лінійної регресії,
коли функція
(х)
лінійна відносно х.
Оцінки для параметрів при цьому
розподілені нормально із середніми
значеннями, рівними шуканим параметрам
і з найменшими можливими дисперсіями.
У випадку нелінійної регресії зводять,
якщо це можливо, задачу до лінійного
регресивного аналізу з декількома
незалежними змінними (наприклад, якщо
,
то, покладаючи
,
одержуємо
.
На площині (х,у)
рівняння
при фіксованих
визначає деяку криву, названу теоретичною
кривої регресії.
Розглянемо
найпростіший вигляд рівняння моделі,
у якій на вихідну величину у
впливає одна вхідна величина х:
.
Для визначення параметрів моделі варто
знайти значення коефіцієнтів
.
При відсутності перешкод для цього
достатньо двох дослідів і розв’язати
рівняння
;
.
Якщо
досліджувана система характеризується
лінійною залежністю і в ній не виникають
перешкоди, то всі інші експериментальні
дані повинні укладатися на прямій. Однак
на практиці завжди існує розкид
результатів, обумовлений впливом
випадкових факторів. У таких випадках
для знаходження коефіцієнтів
і
проводять N
дослідів і одержують невизначену систему
рівнянь
Після цього виникає задача усереднення експериментальних даних.
4.8.Метод найменших квадратів.
Найпоширенішим, хоча і не єдиним, методом усереднення експериментальних даних є метод найменших квадратів, який базується на мінімізації F — суми квадратів відхилень вихідного параметра об'єкта від моделі. Аналітично ця умова записується у вигляді
,
або для найпростішої моделі
.
Використання принципу найменших квадратів має ряд переваг як у простоті обчислювальних операцій, так і в точності їхніх результатів (при достатньому обсязі експериментальних даних).
Розглянемо більш загальний випадок, коли маємо р вхідних змінних х і модель представлена у вигляді полінома
Експериментальні
дані, що використовуються при цьому,
являють собою сукупність наборів значень
і відповідають кожному набору значення
(де
— номер експерименту).
Задачу
визначення коефіцієнтів розв’язують
таким чином, щоб розкид експериментальних
точок щодо розрахункової залежності
був мінімальний і підкорявся закону
нормального розподілу. Мірою цього
розкиду є вибіркова дисперсія. Якщо
позначити через
розрахункове, а через
— експериментальне значення у
в досліді
,
то вибіркову дисперсію визначають за
співвідношенням
,
де
п
— число дослідів;
— число незалежних дослідів, або число
ступенів свободи (тобто загальне число
дослідів мінус число дослідів, необхідне
для визначення коефіцієнтів у
рівнянні регресії).
Підбор
коефіцієнтів
повинний відповідати умові
,
або, що те ж саме,
.
Умовою мінімуму
або
є
рівність нулю їхніх частинних похідних
по
:
.
Приведені висновки справедливі для поліномів будь-якого степеня. У зв'язку з цим розглянемо лінійне рівняння регресії
,
де
— підлягаючі визначенню коефіцієнти.
Для зручності обчислень використовуємо новий масштаб і запишемо
;
,
де
— середні арифметичні значення х
і у
відповідно.
Тепер центр координатної системи перенесений у точку середніх значень. Лінійне рівняння регресії в новому центрованому масштабі запишеться у виді
Якщо
в це рівняння послідовно підставимо
табличні значення, то в результаті
одержимо систему рівнянь, що несумісна
(тобто рівняння, що входять в неї не
можуть бути роз’язані спільно) через
помилки вимірів і перешкод
.
Тому, як і вище, складемо функцію F
для такого лінійного полінома (тут і
далі символи центрування не вказуються);
,
де
— експериментальне значення
в досліді
.
Звідси одержимо для визначення
систему нормальних лінійних рівнянь,
у якій число рівнянь р
співпадає з числом невідомих:
;
......................
.
Позначимо
через
матрицю коефіцієнтів системи. Якщо
матриця В
є виродженою (особливою), тобто
,
розв’язок системи не існує. У цьому
випадку система є несумісною. Безпосередня
перевірка виродженості В
можлива лише у випадку ручного розрахунку
при малих числах р;
при обчисленні det
В на ЕОМ
завжди виникає випадкова погрішність
округлення, внаслідок чого не можна
достовірно твердити, що детермінант В
дорівнює нулю.
Матриця В буде виродженою, якщо в ній є два чи більше лінійно залежні рядки (стовпців), тобто елементи цих рядків пропорційні один одному. Наприклад, якщо перший і другий рядки лінійно залежні, то
Перевірка лінійної залежності рядків (чи стовпців) матриці високого порядку практично неможлива. Для встановлення виродженості В використовують поняття рангу матриці, під яким розуміють найвищий порядок R відмінних від нуля мінорів. Якщо R=р, то матриця В невироджена; якщо R < р, те det В = 0 і матриця вироджена. Для визначення R обчислюють усі мінори 2 * 2, потім 3 * 3; 4 * 4. Виконання таких розрахунків громіздке і не дає (через помилки округлення) точних результатів.
Для успіху ідентифікації математичних моделей методом найменших квадратів необхідно ретельно підходити до вибору змінних: при включенні в модель лінійно залежних координат розв’язок системи не є єдиним, В — виродженна матриця, а det В=0. При правильному виборі змінних х це буває рідко.