Метод скорейшего спуска (градиентный метод)

Дана система линейных уравнений:

(1)

В матричном виде

Считаем, что действительны и непрерывно дифференцируемы в их общей области определения.

Рассмотрим функцию

(2)

Очевидно, что если мы найдём решение системы уравнений 1 , то это решение является и решением системы уравнений 2 и наоборот.

Предполагаем, что система 1 имеет лишь одно изолированное решение, представляющего собой точку строго минимум функции . Таким образом задача сводится к нахождению минимум функции в -мерном пространстве.

Берём точку - нулевое приближение. Через точку проходит поверхность уровня и . Если близка , то поверхность = будет похожа на элипсоид.

Из точки движемся по нормали к поверхности до тех пор, пока эта нормаль не коснётся другой поверхности:

И так далее.

Так как , то двигаясь таким образом, мы быстро приближаемся к точке с минимальным значением , которая соответствует некоему корню .

Градиент функции u

- набла или grad - есть вектор приложенный к точке , имеющий направление нормали. Из векторных произведений

, (3)

Как определить ? Для этого рассматривают скалярную функцию :

Уравнение 3 можно преобразовать так, чтобы не было выражения градиента:

,

где

Пример:

I 1)

2. 

II 1)

2. 

Сходимость градиентного метода

Сходимость метода гарантируется при выборе начального приближения вблизи .

В любом случае метод может остановитья в точке относительного метода.

Лекции №11 и 12 Приближённое дифференцирование.

На практике часто возникает задача определить производную заданного порядка от функции, заданной таблично. Или возникает другая задача: получить значение производной достаточно сложной функции такой, что выражение производной принимает слишком неудобно для применения формул или достаточно сложно вычислить выражение производной. И в том, и в другом случае прибегают к численным методам дифференцирования.

Самый простой способ численного дифференцирования - графический.

Графический способ дифференцирования.

Задача графического дифференцирования заключается в построении по заданному графику функции y = f(x) придела её производной y₁= f ’(x).

Пусть дан график:

Алгоритм построения графика производной.

1. Выбираем точки на ?отрезках: сеть ?? достаточно густой и содержать все характерные для графика точки.

2. Проводим касательные в этих точках.

3. Выбираем полюс P(-l,0), если возможно, то лучше всего l=1, в противном случае график производной будет построен в масштабе l.

4. Из полюса проводим линии параллельные касательным, до их пересечения с осью Oy отрезки оси 01’, 02’, 03’, ... представляют собой величины пропорциональные значениям производной f ’(x).

5. Строим график производной.

Другой способ построения производной функции численным методом - это использование интерполяционных формул.

Для вывода формул приближённого дифференцирования заменяют данную функцию f(x) на отрезке [a, b] функцией P(x) (чаще всего полиномом), а далее полагают f ’(x)=P’(x) при .

Если для интерполирующей функции P(x) известна погрешность:

то погрешность производной определяется по формуле:

,

т.е. погрешность производной интерполирующей функции равна производной от погрешности этой функции.

Честно говоря, приближённое дифференцирование представляет собой операцию менее точно, чем интерполирования. Близость друг к другу ординат двух кривых на отрезке [a, b] ещё не характеризует близости их производных на этом отрезке

Формула приближённого дифференцирования, основанная на первой интерполяционной формуле Ньютона.

Дана функция y= f(x), заданная таблично, в равноотстоящих точках на отрезке [a, b].

Заменим функцию f(x) полиномом ????

Перемножим биномы:

Определим

Аналогично можно определить и т.д.

Иногда возникает задача производных функции f(x) в узловых точках x_i.

Тогда =>

Погрешность приближённого дифференцирования.

Пусть заменила интерполирующим полиномом и полюс

то погрешность производной:

Известно, что

Упрощённая формула погрешности

Выбор оптимального шага численного дифференцирования.

Общая погрешность вычисления производной представляет собой сумму погрешностей: погрешности усечения и погрешности округлённого.

Погрешность усечения - вызвана ? ?

Погрешность округления - ???????????????

Численное интегрирование.

Если функция непрерывна на отрезке и известна её первообразная , то определённый интеграл от этой функции в пределах от a до b вычисляется по формуле Ньютона-Лейбница:

где

Однако во многих случаях первообразная ??????? ?? ???? найдена с помощью элементарных средств или является слишком ?????????.

В этом случае прибегают к численным методам.

Численное вычисление одно?????? интеграла называется механической квадратурой, двойного - механической ????????, а соответственно формулы называются квадратурными и ??????????????.

Обычный приём механической квадратуры состоит в том, что функцию на заменяют интерполирующей функцией .

Рассмотрим интерполирующий полином Лагранжа

- ошибка формулы (остаточный член)

где

Если - узлы интерполирования, то квадратурная формула называется “заменного типа”, в противном случае - открытого типа.

Замечание: 1. не зависит от

2. Если - полином - ???????????????????

Квадратурная формула Ньютона-Естеса.

Пусть для данной функции необходимо вычислить интеграл

Выберем шаг , разобьём на n участков

Заменяя на , получаем

Выведем ????????????

,

тогда

,

т.е. , то

?????????? Кетеса

Формула Трапеций.

Пусть

тогда получим формулу трапеций

y

x₀ x_n x

, где

Уточнённая формула трапеций.

Формула Симпсона (парабол).