20. Метод наименьших квадратов.

Пусть ф-ия f(x) задана табл. y_i=f(x_i); i=0,…n. Надо эту ф-ию приблизить ф-ей вида φ(x, a₀,...,a_m). Знач-я неизвест-х парам-ов a_j;j=0,...m надо выбрать т.ч. сумма кв-ов отклонений

(1) ф-ии f от ф-ии φ по всем табл-ым узлам x_i была мин-ой. Е. ф-ия φ явл. достаточно гладкой, то искомые зн. параметров м.б. найдены из условий Ферма . (2)

Когда ф-ия φ линейно зависит от параметров: , с-ма (2) будет линейной. После простых преобразований с-ма:

.(3)

Определитель с-мы - определитель Грама с элементамиA_kj, равными скалярным произвед-ям .

Теорема. Если последов-ть непрерывных ф-ций явл. сис-мой Чебышева на [a;b], то определитель с-мы (3) ≠ 0 при любых наборах попарно неравных узлов .

Доказательство. Противное: последов-сть ф-ий явл. сис-мой Чебышева на отр-е, но при некот-ом наборе попарно неравных узлов. Тогда столбцы определителя будут линейно зависимыми. =>. Умножая последние равенства на соответствующиеc_k и проводя суммирование по k, получим

, откуда . Т. о., нетривиальный обобщенный многочленобращается в 0 на отрезке не менее чем вn+1-й точке, что > m. Полученное противоречие доказывает теорему.

При m=n единственным решение – интерполяц-ый обобщенный многочлен φ(x); при этом min сумма квадратов отклонений: Ф=0.

Сис-ма ф-ий явл. сис-мой Чебышева на любом отр., поэтому наилучшее приближение табличной ф-ииy_i=f(x_i) алгебраическим многочленом степениm<=n по методу наименьших квадратов сущ-ет, явл. единственным и коэффиценты многочлена м.б. найдены из линейной алгебраической системы . Приm=2 система:

22.Обобщённые мног-ны наилучших среднеквадратических приближений.

Будем апроксим. ф-ию f(x) некот. ф-ей т.о. , чтобы ф-ияв среднем достаточно хорошо описывала поведение ф-ииf .Будем считать , что ф-ии f и непрерывны на. Одновременно будем рассм. Два случая:

1) f и непрерывны наи близость между ф-ямиf и понимается в интегральном смысле.

2) f и заданы только в точках,отрезкав которых производится согласование между этими ф-ями.

Двум случаям поставим в соответствие непрерывное и дискретное пр-во.

1) - пр-во непрерывных наф-ий с метрикой.

Скалярное произведение равно:

и нормой .

2) про-во сеточных ф-ийf(x), т.е. опред. В узлах сетки принадлежитс метрикой

Скалярное произведение равно:

и нормой

Введём в пр-вах иметрики по отношению приближённому равенствупредстовл. собой интегральную и дискретную (точечную) средне квадратические ошибки. Пусть ф-ия, гдеФ некоторое множество ф-ий. В соответствии с методом наименьших квадратов(МНК) имеем зад. опред. ф-ии такой, что(1).

Решив задачу (1) получим наилучшее среднеквадратическое приближение для ф-ии f.

Предположим, что есть некоторое подпространство натянутых на ф-ию, тогда несложно заметить, что решением (1) будет ф-ия, где коэффиц.удовлетворяет системе алг. ур.:(2)

Рассмотрим матрицу , которая наз. матрицей Грамма.

Лемма: Если ф-ия - лин. незав., то матрица G – положительно определённая.

Д-во:Имеем ,

, а - скалярное произведение в.

Поскольку , причём знак рав-ва имеет место только в случае, то кв. ф.. Т.о. система (2) однозначно разрешима. Из системы (2) находим коэфф.и многочлен, который называется многочленом наилучшего среднеквадратического приближения.

Наибольший интерес преедстовляет случай , когда ф-ия - ортогональны, в этом случае матрицаG имеет вид b решение (2) определяется формулой . В этом случаеG- наз. коэффиц. Фурье, а многочлен - обобщенным многочленом Фурье. Если ф-ия- ортонормированны, то обобщенный многочлен Фурье имеет вид:.