4. Метод градиента

В этом регулярном градиентом методе оптимизации движение совершается в направлении наибольшего изменения параметра оптимизации, т.е. в направлении антиградиента целевой функции. Направление движения корректируется после каждого рабочего шага, т.е. каждый раз заново определяется значение градиента по результатам специально поставленных пробных экспериментов.

Поскольку координатами вектора

служат коэффициенты при линейных членах разложения функции в ряд Тейлора по степеням , то соответствующие компоненты вектора градиента могут быть получены как коэффициенты b₁, b₂, …, b_п аппроксимации поверхности отклика вблизи исходной точки линейным уравнением регрессии:

Линейные координаты b_i обычно оцениваются экспериментально. Наиболее просто каждый из коэффициентов b_i определяется по результатам двух пробных экспериментов по каждой переменной (координате) в окрестности исходной точки. В этом случае приращение целевой функции ΔF, соответствующее приращению Δх_i можно считать пропорциональным значению величины частной производной (рис. 4.28)

-Δхⁱ х +Δхⁱ

Рисунок 4.28.

Объем эксперимента в каждой точке равен 2n.

После нахождения составляющих градиента выполняется рабочий шаг по направлению к экстремуму. Рабочий шаг производится так, чтобы приращения координат были пропорциональны соответствующим составляющим градиента

где – предыдущая точка поиска;

–новая точка поиска;

ρ – величина рабочего шага;

–производная от целевой функции по координате х_i в точке h.

Знак минус означает поиск минимума целевой функции.

Затем снова определяется направление градиента, делается рабочий шаг и т.д.

При поиске оптимума методом градиента один из важных вопросов – выбор величины шага ρ. При малой величине шага – много шагов, длительное движение к оптимуму. При большой величине шага – можно проскочить оптимум. Меняют шаг при приближении к экстремуму. Но это уже будет новый метод – метод Кифера-Вольфовица.

Поиск экстремума заканчивается при условиях:

– разность между значениями целевой функции в точках х^h и х^h+1 становится меньше заданной точности определения экстремума ε₁

<ε₁,

– расстояние между точками х^h и х^h+1 становится меньше заданной точности ε₂

<ε₂.

Показателем выхода в область оптимума является также малое значение модуля градиента |grad F(x)| ≈ 0, т.е. все коэффициенты становятся незначительными или равными нулю.

На рис. 4.29 представлен поиск экстремума в двумерной системе координат F(х₁, х₂).

y₁ < y₂ < … < y₆

Рисунок 4.29.

Для нахождения коэффициентов b_i используется также метод планирования эксперимента.

Задача планирования эксперимента состоит в том, чтобы с помощью специальных экспериментов получать представление о поверхности отклика и затем осуществлять движение сразу по всем факторам в область оптимума. Это поиск оптимальных условий проведения процесса.

Если исходная область далека от области оптимума, то описания поверхности отклика с помощью линейного уравнения регрессии, как правило, оказывается достаточным, так как в этом случае важно знать направление движения в область оптимума, а не точное описание поверхности отклика.

После постановки эксперимента осуществляется движение в область оптимума по направлению антиградиента (или в противоположном направлении – по градиенту). В каждом эксперименте оценивают минимально возможное число факторов.

Когда эксперимент ставят вблизи оптимума, линейная модель оказывается существенно неадекватной. Задача планирования эксперимента также меняется. В этом случае необходимо оценивать параметры квадратичной модели для того, чтобы уточнить положение точки оптимума, т.е. переходят к планам второго порядка. Обычно этого достаточно. Если нет, то переходят к планам k-го порядка.

Н

y₁ < y₂ < … < y₆

аиболее ценным свойством метода градиента является его точность.

К недостаткам метода градиента следует отнести необходимость перед каждым рабочим шагом производить довольно сложный предварительный анализ объекта (2 пробных шага), что увеличивает потери поиска.