21.13 Методы нулевого порядка.
21.13.1 Основные определения
В случаях, когда вычисление производных стóит дорого, применяют методы, не требующие вычисления производных - методы нулевого порядка. Общая их схема такова. Итерации строятся в виде
xn+1 = xn – αnsn,
где αn - длина шага, а направление sn шага обычно выбирается в виде
sn = |
1
h |
n ∑ i = 1 |
[f(xn + hei) – f(xn)]ei; |
здесь ei ∈ Rm, i = 1, ..., k — некоторый, обычно фиксированный набор.
Часто в качестве ei выбираются векторы базиса в Rm. Очевидно, в этом случае при h → Θ выражение, стоящее в правой части аппроксимирует f ′(xn). Тогда метод принимает вид
xn+1 = xn – |
αn
h |
n ∑ i = 1 |
[f(xn + hei) – f(xn)]ei; |
и называется разностным вариантом градиентного метода.
Если k = 1 и векторы базиса ei "циклически" меняются с изменением n, то получается метод покоординатного спуска:
xn+1 = xn – |
αn
h |
[f(xn + he{n/m}·m+1) –f(xn)]e{n/m}·m+1. |
где {a} — дробная часть числа a. На каждом шаге в нем изменяется только одна координата вектора xn (см. 21.9).
Рис.
21.9.
Имеется масса модификаций методов нулевого порядка. В них по разному выбираются векторы ei, шаги αi, параметр h и т. д.
21.13.2 Общая характеристика методов нулевого порядка
В этих методах для определения направления спуска не требуется вычислять производные целевой функции. Направление минимизации в данном случае полностью определяется последовательными вычислениями значений функции. Следует отметить, что при решении задач безусловной минимизации методы первого и второго порядков обладают, как правило, более высокой скоростью сходимости, чем методы нулевого порядка. Однако на практике вычисление первых и вторых производных функции большого количества переменных весьма трудоемко. В ряде случаев они не могут быть получены в виде аналитических функций. Определение производных с помощью различных численных методов осуществляется с ошибками, которые могут ограничить применение таких методов. Кроме того, на практике встречаются задачи, решение которых возможно лишь с помощью методов нулевого порядка, например задачи минимизации функций с разрывными первыми производными. Критерий оптимальности может быть задан не в явном виде, а системой уравнений. В этом случае аналитическое или численное определение производных становится очень сложным, а иногда невозможным. Для решения таких практических задач оптимизации могут быть успешно применены методы нулевого порядка. Рассмотрим некоторые из них.
21.14 Метод покоординатного спуска
Одними из методов нахождения минимума функции n-переменных являются методы прямого поиска. Методы прямого поиска являются методами, в которых используются только значения функции.
Рисунок 21.10 - Метод прямого поиска
Рассмотрим функцию двух переменных. Ее линии уровня представлены на рис.21.10, а минимум лежит в точке (x1*,x2*). Простейшим методом поиска является метод покоординатного спуска. Из точки А произведем поиск минимума вдоль направления оси х1 и, таким образом, находим точку В, в которой касательная к линии постоянного уровня параллельна оси х1. Затем, производя поиск из точки В в направлении оси х2, получаем точку С, производя поиск параллельно оси х2, получаем точку D, и т.д. Таким образом, мы приходим к оптимальной точке. Очевидным образом эту идею можно применить для функции n переменных.
Теоретически данный метод эффективен в случае единственного минимума функции. Но на практике он оказывается слишком медленным. Поэтому были разработаны более сложные методы, использующие больше информации на основании уже полученных значений функции.