2.14. Аппроксимация данных методом наименьших квадратов (мнк)
Пусть
– узлы исходной таблицы данных, а
– значения
экспериментальных данных или некоторой
неизвестной функции в узловых точках.
Введем непрерывную функцию
для аппроксимации дискретных значений
и обозначим
,
отклонения
в узлах
.
Тогда сумма квадратов отклонений
аппроксимирующей функции
от неизвестной функции
в узловых точках
,
,
запишется в виде:
.
(2.130)
Метод построения
аппроксимирующей функции
из условия минимизации суммы квадратов
отклонений
называется методом
наименьших квадратов (МНК).
Аппроксимирующую функцию зададим в виде:
,
(2.131)
где
,
,
линейно независимые базисные
функции,
неизвестные коэффициенты, определяемые
из условия минимума
,
т. е. из условий равенства нулю частных
производных
по
:
(2.132)
Таким образом,
получаем систему линейных алгебраических
уравнений вида
для определения коэффициентов
,
.
Эта система называется системой
нормальных
уравнений. Матрица системы имеет вид
(2.133)
и называется матрицей Грама.
Элементами матрицы Грама являются скалярные произведения базисных функций:
.
(2.134)
Вектор свободных членов системы нормальных уравнений имеет вид:
,
(2.135)
элементами этого вектора являются скалярные произведения
.
(2.136)
Матрица Грама обладает следующими основными свойствами:
1) она симметрична, что позволяет сократить объем вычислений при заполнении матрицы;
2) матрица является положительно определенной, поэтому при решении системы нормальных уравнений методом исключения Гаусса можно отказаться от процедуры выбора главного элемента, а сразу брать в качестве ведущего диагональный элемент;
3) определитель
матрицы Грама отличен от нуля, если в
качестве базиса выбраны линейно
независимые функции
.
Для аппроксимации
экспериментальных данных, определенных
с погрешностью
в каждой узловой точке, обычно сначала
функцию
задают в виде линейной комбинации из
одной или двух базисных функций и, если
после определения коэффициентов
окажется, что
,
то расширяют базис добавлением новых
функций
,
так до тех пор, пока не выполнится условие
.
Выбор конкретных базисных функций зависит от свойств аппроксимируемой функции таких, как периодичность, экспоненциальный или логарифмический характер, свойства симметрии, наличие асимптотики и т.д.
2.14.1. Аппроксимация алгебраическими полиномами
Пусть аппроксимирующая функция задана в виде алгебраического полинома степени :
.
(2.137)
Базисные функции в этом случае являются следующими:
.
Степень полинома
m
обычно выбирают меньше n.
Аппроксимирующая кривая в этом случае
не проходит через экспериментальные
точки, т.е. экспериментальные данные
«сглаживаются» с помощью функции
.
Если взять
,
то
совпадает с многочленом Лагранжа,
аппроксимирующая кривая пройдет через
все экспериментальные точки и
.
Это обстоятельство часто используется
для отладки и тестирования программ,
реализующих алгоритмы МНК.
Матрица A системы нормальных уравнений и вектор свободных членов для функции вида (2.137) записываются следующим образом:
,
(2.138)
(2.139)
Для решения систем
уравнений с матрицей Грама разработаны
методы
сингулярного разложения.
Если же
,
то такие системы можно решать и более
простым методом исключения Гаусса.
Пример 2.12. Исходные данные приведены в таблице:
Таблица 2.13.
|
-1,01 |
-0,42 |
0,14 |
0,52 |
0,79 |
1,23 |
|
-1,05 |
-0,45 |
0,52 |
0,51 |
0,81 |
0,39 |
Требуется
построить аппроксимирующий многочлен
3-го порядка по методу наименьших
квадратов. Сначала строятся матрица
и вектор
по формулам (2.138) и (2.139), затем решив
систему линейных алгебраических
уравнений
,
определяем коэффициенты многочлена:
,
,
,
.
На рис 2.7 приведены график аппроксимирующего
многочлена и исходные данные в виде
точек. Как видно из графика исходные
точки не лежат на аппроксимирующей
кривой.
Рис. 2.8. График аппроксимирующего многочлена
Система нормальных уравнений обычно бывает плохо обусловленной, что приводит к дополнительным сложностям при реализации МНК: вычисление с двойной (расширенной) точностью, введение весовых коэффициентов и т.д. Весовые коэффициенты выбираются из различных соображений, например, полагают:
,
.
В этом случае:
(2.140)
и скалярные произведения в матрице и векторе будут соответственно иметь вид
