Метод покоординатного спуска

Идея всех методов спуска состоит в том, чтобы из начального приближения точки x⁽⁰⁾=(x₁⁽⁰⁾, x₂⁽⁰⁾,…, x_n⁽⁰⁾) перейти в точку x⁽¹⁾=(x₁⁽¹⁾, x₂⁽¹⁾,…, x_n⁽¹⁾) такую, чтобы f(x⁽⁰⁾)> f(x⁽¹⁾).

Пусть в области D задано нулевое приближение x⁽⁰⁾. Фиксируем значение x₂⁽⁰⁾,x₃⁽⁰⁾,…, x_n⁽⁰⁾ и рассматриваем функцию f(x₁, x₂⁽⁰⁾,…, x_n⁽⁰⁾) как функцию одной переменной x₁. Находим минимум этой функции . Пусть x₁⁽¹⁾ доставляет минимум этой функции. f(x₁⁽¹⁾, x₂⁽⁰⁾,…, x_n⁽⁰⁾)≤ f(x₁⁽⁰⁾, x₂⁽⁰⁾,…, x_n⁽⁰⁾).

Далее фиксируем значения x₃⁽⁰⁾,x₄⁽⁰⁾,…, x_n⁽⁰⁾ и рассматриваем функцию

f(x₁⁽¹⁾, x₂,x₃⁽⁰⁾,…, x_n⁽⁰⁾) как функцию одной переменной x₂ и т.д.

После n шагов получим f(x₁⁽¹⁾, x₂⁽¹⁾,x₃⁽¹⁾,…, x_n⁽¹⁾)≤ f(x₁⁽⁰⁾, x₂⁽⁰⁾,x₃⁽⁰⁾,…, x_n⁽⁰⁾).

В результате первого шага покоординатного спуска происходит переход из начальной точки x₀ в точку x₁.

1) если f(x⁽⁰⁾)= f(x⁽¹⁾), то x⁽⁰⁾ – точка минимума f(x).

2) если f(x⁽⁰⁾)> f(x⁽¹⁾), то выполняется следующий шаг покоординатного спуска, в котором за начальную точку принимается x⁽¹⁾.

Этот процесс продолжается до тех пор, пока f(x^(k+1))-f(x^(k))<ε, где ε – заданная точность.

Метод градиентного спуска

Численные методы отыскания минимума состоят в построении последовательности векторов {x^(k)}, удовлетворяющих условию f(x⁽⁰⁾)> f(x⁽¹⁾)>…> f(x^(k)). В этих методах элементы последовательности вычисляются по формуле x^(k+1)=x^(k)+h_k* ^(k), где ^(k) – направление спуска, h_k – длина шага в этом направлении.

Как известно, градиент функции в некоторой тоске направлен в сторону наискорейшего локального возрастания функции, следовательно, спускаться нужно в направлении, противоположному градиенту. Этот вектор называется антиградиентом.

Используя антиградиент в качестве направления спуска, приходим к итерационному процессу вида:

(1)

Все методы спуска, в которых вектор ^(k) совпадает с антиградиентом, называются градиентными методами.

Для минимизации функции используется метод градиентного спуска с дроблением шага. Процесс (1) с дроблением шага протекает следующим образом: выбираем некоторое значение x⁽⁰⁾, затем выбираем h_k=h=const и на каждом шаге процесса выбираем условие монотонности f(x^(k+1))<f(x^(k)). Если это условие нарушается, то h дробим до тех пор, пока монотонность не восстановится.

Для окончания счета можно использовать критерии:

Наиболее важным моментом в этом методе - это выбор шага. Формула (1) с постоянным шагом практически не применяется.

Метод наискорейшего спуска

Вычисление градиента на каждом шаге, позволяющее всё время двигаться в направлении наиболее быстрого убывания функции, в то же время может замедлить вычислительный процесс. Часто пользуются модификацией градиентного метода, получившее название метод наискорейшего спуска.

Согласно этому методу после вычисления в начальной точке градиента функции делают в направлении антиградиента не маленький шаг, а движутся до тех пор, пока функция убывает. Достигнув точки минимума на выбранном направлении, снова вычисляют градиент функции и повторяют процедуру. Таким образом, в методе наискорейшего спуска величина h_k определяется из условия:

,

т.е. на каждом шаге решается задача минимизации.

15. Задачи линейного программирования.

Задачи оптимизации, в которых целевая функция представлена в виде линейной комбинации, а ограничения в виде линейных неравенств, называются задачами линейного программирования.

Задачи линейного программирования заключаются в нахождении таких значений , которые максимизируют или минимизируют линейную функцию в условиях ограничений:

Среди ограничений часто встречаются условия неотрицательности всех или части переменных: