Методы с использованием производных

Логично предположить, что если в дополнение к условиям унимодальности и непрерывности ввести требование дифференцируемости функции, то эффективность поисковых процедур можно существенно повысить. Ранее мы установили, что необходимым условием существования локального минимума в некоторой точке, является равенство нулю производной в этой точке. Таким образом, решение задачи сводится к исследованию выражения для производной с целью нахождения корней уравнения

.

Если функция содержит в третьей и более высоких степенях, то аналитическое решение уравнения

может составлять проблему. В таких случаях используются приближенные поисковые методы вычисления стационарной точки функции . Классической схемой такого решения является метод Ньютона-Рафсона.

Метод Ньютона-Рафсона

Пусть функция дважды дифференцируема. И пусть у нас есть возможность найти аналитическое выражение для . Работа алгоритма начинается в точке начального приближения , которая представляет собой начальное приближение стационарной точки функции или корня уравнения (рис.2.8).

Рис. 2.8. Графическое представление метода Ньютона-Рафсона

Затем строится линейная аппроксимация функции в точке (проводится касательная до пересечения с осью ). Точка, в которой аппроксимирующая прямая обращается в нуль, принимается в качестве следующего приближения.

Линейная функция, аппроксимирующая функцию в точке , записывается в виде

.

Приравняв правую часть к нулю, получим следующее приближение

.

Пример. Минимизировать функцию на интервале . Воспользуемся методом Ньютона-Рафсона, положив . Имеем

, .

Итерация 1.

, , , .

Итерация 2.

, , , .

Итерации продолжаются до тех пор, пока не будет выполняться неравенство , где - заранее установленная величина допустимого отклонения.

Метод средней точки

Если имеется возможность вычислять как значения самой функции, так и ее производной, то для нахождения корня уравнения можно воспользоваться эффективным алгоритмов исключения интервалов, на каждой итерации которого рассматривается лишь одна пробная точка. Если в точке выполняется неравенство , то с учетом унимодальности естественно утверждать, что точка минимума не может лежать левее точки . Соответственно интервал может быть исключен. И наоборот, если в точке выполняется неравенство , то естественно утверждать, что точка минимума не может лежать правее точки .

Определим две точки и таким образом, что и .Тогда стационарная точка расположена между и . Вычислим производную в средней точке рассматриваемого интервала . Если , то интервал можно исключить из интервала поиска. Если , то интервал можно исключить из интервала поиска.

Логическая структура поиска в соответствии с изложенным методом исключения интервалов основана лишь на исследовании знака производной, независимо от значений, которые эта производная принимает.

Метод секущих

Метод секущих, являющийся комбинацией метода Ньютона и общей схемы исключения интервалов, ориентирован на нахождение корней уравнения в интервале , если такой корень существует.

Предположим, что в точках и знаки производной различны (рис.2.9). Аппроксимируем функцию секущей прямой, соединяющей точки и и найдем точку, в которой секущая графика пересекает ось абсцисс. Определим уравнение секущей по обычной методике.

Рис. 2.9. Иллюстрация метода секущих

Пусть заданы точки и соответствующие этим точкам значения функции . Известно, что секущую можно записать как

.

Коэффициенты находятся из условий

Тогда , и уравнение для нахождения точки пересечения с осью абсцисс имеет вид

.

Отсюда следующее приближение к точке определяется по формуле

.

Пример. Требуется минимизировать функцию на интервале . Найдем первую производную .

Итерация 1.

Шаг 1.

Шаг 2. .

Шаг 3. . Поскольку знак производной в новой точке положителен, отбрасываем интервал и принимаем . Значение производной в новой точке

Итерация 2.

Шаг 2. .

Шаг 3. . Производная опять положительна, поэтому корректируем правый конец интервала. Принимаем .