15.Х. Метод Дэвидона-Флетчера-Пауэлла

Сокращенно этот метод называют ДФП, но не ДПФ. Поиск начинается с выбранной начальной точки в многомерном пространстве, т.е. точкаимееткоординат. Для этой точки начальная матрицав (20.6) обычно полагается единичной порядка . Задается так же допустимая погрешность EPS для точки минимума. Итерационная процедура может быть представлена следующим образом.

1. Вычислить вектор .

2. Определить направление поиска - это вектор , где.

3. Произвести одномерный поиск вдоль этого направления и найти шаг , где- число, как и в (20.2).

4. Найти и градиентв точке(см. рис.20.2).

5. Проверить условие окончания итераций. Итерации прекращаются, если нормы векторов илименьше EPS.

6. Вычислить вектор u=g1-g

7. Найти поправочные матрицы А1 и А2:

, .

(20.7)

8. Обновить матрицу Н:

.

9. Текущей точкой сделать , т.е.,и вернуться на шаг 2.

 

20.5. Минимизация в задаче о наименьших квадратах и нелинейные регрессионные модели.

В лекции 2 рассматривались регрессионные модели, которые можно использовать для аппроксимации функции многих переменных. Критерий наименьших квадратов позволил записать эту задачу в виде задачи минимизации (2.2 - 2.3)

,

(20.8)

где - многомерная целевая функция,- коэффициенты регрессионной модели (2.1), количество которых равно . В обозначениях лекции 15 эта же задача может быть записана как

,

(20.9)

c количеством неизвестных коэффициентов N=J.

Если внимательно посмотреть на формулу (2.1), то видим, что она линейна относительно неизвестных компонент вектора . В связи с этим в формулу (2.3) для целевой функции они входят в первой и второй степенях, т.е. зависимость от них квадратичная. Условие при дифференцировании функциипо этим коэффициентам дает систему линейных уравнений (2.6), решение которой сразу дает коэффициенты .

Модели (2.1) с линейной зависимостью от коэффициентов называют линейными регрессионными моделями и эти коэффициенты получают, решив СЛУ (2.6). Но в общем случае зависимость от неизвестных параметров модели может быть более сложной, т.к. каждый регрессор может зависеть от одной или нескольких компонент вектора . Например,

Такие модели называют нелинейными регрессионными моделями. В этом случае целевая функция уже не будет квадратичной и для настройки регрессионной модели необходимо решать задачу безусловной минимизации (20.9). Для ее решения возможно применение любого из рассмотренных методов минимизации. Но обычно для задач с наименьшей суммой квадратов некоторых функций 

,

(20.10)

используют специальные эффективные методы, учитывающие специфику структуры матрицы Гессе для этих задач. Методы похожи на рассмотренные квазиньютоновские и являются итерационными. В них используется матрица Якоби для всехфункцийи на основе произведения матриц () формируется на каждой итерации аппроксимация для матрицы Гессе в (20.4), т.е. на каждой итерации для определения шага s решается СЛУ (20.5). Одним из известных таких методов является метод Левенберга-Маркардта, реализованный в системе MathCAD.

При описании методов минимизации для (20.10) используют термин "невязка" , т.к. обычно - это разность двух каких-то функций. Например, при решении одного нелинейного уравнения

,

(20.11)

с заданными функциями ,(см. раздел 5.1) невязкой будет разность . Для точного решения уравнения или системы уравнений все невязки должны быть равны нулю. Но если точного решения нет, то можно найти решение, минимизирующее норму невязки. Поиск приближенного решения системы нелинейных уравнений (СНУ), минимизирующего невязки, приводит к задаче о наименьших квадратах, т.е. к минимизации функции (20.10).