2.4. Вычисление коэффициентов регрессионной модели и метод наименьших квадратов.

Метод вычисления коэффициентов в (2.10) называют методом наименьших квадратов (сокращенно - МНК), если при этом используется критерий наименьших квадратов .

Для упрощения записи будем использовать скалярную переменную , что соответствует , но все формулы верны, если - это массив.

Запишем условия минимума функции многих переменных :

,

и определим эти частные производные, дифференцируя . Получаем:

(2.12)

Подставим сюда

, ,

изменим порядок суммирования и обозначим через значение -го регрессора в -ой точке. Получаем систему уравнений с неизвестными величинами .

,

(2.13)

Система является линейной и решается стандартными методами. В результате получаем оптимальные коэффициенты .

Вводя матрицу коэффициентов системы (2.13), ,

и векторы , , , запишем её в компактном виде:

(2.14)

Часто вводят регрессионную матрицу c элементами .

;

транспонированная матрица:

.

Она полезна при вычислениях , , где , .

Подчеркнем, что полученная система линейна относительно коэффициентов , а зависимость от входных параметров может быть произвольной.

Пример регрессионной модели.

Пусть имеем исходных точек, входных параметра , регрессора: , , , что соответствует регрессионной модели . Решив систему трех линейных уравнений, получим аппроксимирующую функцию с конкретными числовыми коэффициентами.

Регрессорами могут быть в частности полиномы или просто степени , например: , , , , т.е. , это аппроксимирующий полином.

Достоинства регрессионных моделей: простота, наглядность, представление данных в многомерном пространстве, наличие стандартных статистических методов для проверки их адекватности. Недостатки: простота, произвольный выбор регрессоров, малая область адекватности.

Для аппроксимации в MathCAD есть ряд стандартных функций: slope, intersept, loess, regress, linfit, genfit. При выполнении аппроксимации можно провести предварительное сглаживание данных и для этого использовать стандартные функции MathCAD, например supsmooth.