4.7. Лінійна регресія.

Найбільш простим є випадок лінійної регресії, коли функція (х) лінійна відносно х. Оцінки для параметрів при цьому розподілені нормально із середніми значеннями, рівними шуканим параметрам і з найменшими можливими дисперсіями. У випадку нелінійної регресії зводять, якщо це можливо, задачу до лінійного регресивного аналізу з декількома незалежними змінними (наприклад, якщо , то, покладаючи , одержуємо . На площині (х,у) рівняння при фіксованих визначає деяку криву, названу теоретичною кривої регресії.

Розглянемо найпростіший вигляд рівняння моделі, у якій на вихідну величину у впливає одна вхідна величина х: . Для визначення параметрів моделі варто знайти значення коефіцієнтів . При відсутності перешкод для цього достатньо двох дослідів і розв’язати рівняння

; .

Якщо досліджувана система характеризується лінійною залежністю і в ній не виникають перешкоди, то всі інші експериментальні дані повинні укладатися на прямій. Однак на практиці завжди існує розкид результатів, обумовлений впливом випадкових факторів. У таких випадках для знаходження коефіцієнтів і проводять N дослідів і одержують невизначену систему рівнянь

Після цього виникає задача усереднення експериментальних даних.

4.8.Метод найменших квадратів.

Найпоширенішим, хоча і не єдиним, методом усереднення експериментальних даних є метод найменших квадратів, який базується на мінімізації F — суми квадратів відхилень вихідного параметра об'єкта від моделі. Аналітично ця умова записується у вигляді

,

або для найпростішої моделі

.

Використання принципу найменших квадратів має ряд переваг як у простоті обчислювальних операцій, так і в точності їхніх результатів (при достатньому обсязі експериментальних даних).

Розглянемо більш загальний випадок, коли маємо р вхідних змінних х і модель представлена у вигляді полінома

Експериментальні дані, що використовуються при цьому, являють собою сукупність наборів значень і відповідають кожному набору значення (де — номер експерименту).

Задачу визначення коефіцієнтів розв’язують таким чином, щоб розкид експериментальних точок щодо розрахункової залежності був мінімальний і підкорявся закону нормального розподілу. Мірою цього розкиду є вибіркова дисперсія. Якщо позначити через розрахункове, а через — експериментальне значення у в досліді , то вибіркову дисперсію визначають за співвідношенням

,

де п — число дослідів; — число незалежних дослідів, або число ступенів свободи (тобто загальне число дослідів мінус число дослідів, необхідне для визначення коефіцієнтів у рівнянні регресії).

Підбор коефіцієнтів повинний відповідати умові , або, що те ж саме, . Умовою мінімуму або є рівність нулю їхніх частинних похідних по :

.

Приведені висновки справедливі для поліномів будь-якого степеня. У зв'язку з цим розглянемо лінійне рівняння регресії

,

де — підлягаючі визначенню коефіцієнти.

Для зручності обчислень використовуємо новий масштаб і запишемо

;

,

де — середні арифметичні значення х і у відповідно.

Тепер центр координатної системи перенесений у точку середніх значень. Лінійне рівняння регресії в новому центрованому масштабі запишеться у виді

Якщо в це рівняння послідовно підставимо табличні значення, то в результаті одержимо систему рівнянь, що несумісна (тобто рівняння, що входять в неї не можуть бути роз’язані спільно) через помилки вимірів і перешкод . Тому, як і вище, складемо функцію F для такого лінійного полінома (тут і далі символи центрування не вказуються);

,

де — експериментальне значення в досліді . Звідси одержимо для визначення систему нормальних лінійних рівнянь, у якій число рівнянь р співпадає з числом невідомих:

;

......................

.

Позначимо через матрицю коефіцієнтів системи. Якщо матриця В є виродженою (особливою), тобто , розв’язок системи не існує. У цьому випадку система є несумісною. Безпосередня перевірка виродженості В можлива лише у випадку ручного розрахунку при малих числах р; при обчисленні det В на ЕОМ завжди виникає випадкова погрішність округлення, внаслідок чого не можна достовірно твердити, що детермінант В дорівнює нулю.

Матриця В буде виродженою, якщо в ній є два чи більше лінійно залежні рядки (стовпців), тобто елементи цих рядків пропорційні один одному. Наприклад, якщо перший і другий рядки лінійно залежні, то

Перевірка лінійної залежності рядків (чи стовпців) матриці високого порядку практично неможлива. Для встановлення виродженості В використовують поняття рангу матриці, під яким розуміють найвищий порядок R відмінних від нуля мінорів. Якщо R=р, то матриця В невироджена; якщо R < р, те det В = 0 і матриця вироджена. Для визначення R обчислюють усі мінори 2 * 2, потім 3 * 3; 4 * 4. Виконання таких розрахунків громіздке і не дає (через помилки округлення) точних результатів.

Для успіху ідентифікації математичних моделей методом найменших квадратів необхідно ретельно підходити до вибору змінних: при включенні в модель лінійно залежних координат розв’язок системи не є єдиним, В — виродженна матриця, а det В=0. При правильному виборі змінних х це буває рідко.