3. Реализация метода поиска минимума функции нескольких переменных с использованием метода хука-дживса

3.1. Постановка задачи и алгоритм решения

Требуется найти безусловный минимум функции f(x) многих переменных, т.е. найти такую точку x^*  Rⁿ, что

f(x^*) = min f(x), для x  Rⁿ.

Данный метод относится к методам прямого поиска для определения минимума функции n переменных.

Стратегия поиска. Метод конфигураций (метод Хука-Дживса) представляет собой комбинацию исследующего поиска с циклическим изменением переменных и ускоряющего поиска по образцу. Исследующий поиск ориентирован на выявление локального поведения целевой функции и определение направления ее убывания вдоль «оврагов». Полученная информация используется при поиске по образцу при движении вдоль «оврагов».

Исследующий поиск начинается в некоторой начальной точке х⁰, называемой старым базисом. Исследующий поиск реализуется следующим образом:

- в качестве множества направлений поиска выбирается множество координатных направлений (изменение первой координаты, остальные остаются неизменными; изменение второй координаты, остальные остаются неизменными и т.д.). Задается величина шага, которая может быть различной или постоянной для разных координатных направлений;

- фиксируется первое координатное направление и делается шаг в сторону увеличения соответствующей переменной. Если значение функции в пробной точке меньше значения функции в исходной точке, то шаг считается удачным и фиксируется новое значение координаты. В противном случае необходимо вернуться в исходную точку и сделать шаг в противоположном направлении в сторону уменьшения соответствующей переменной с последующей проверкой значения функции. Если в этом направлении функция уменьшается, то фиксируется новое значение координаты. Если оба направления изменения координаты оказались неудачными, то значение координаты остается старым;

- реализуется перебор всех остальных координат переменной х и исследующий поиск завершается.

Полученная точка называется новым базисом.

Если исследующий поиск с данной величиной шага неудачен, то шаг уменьшается и процедура повторяется.

Поиск по образцу заключается в движении по направлению от старого базиса к новому (из точки х⁰ через точку х¹, из точки х¹ через точку х², из точки х² через точку х³ и т.д.). Величина ускоряющего шага задается ускоряющим множителем λ. Успех поиска по образцу определяется с помощью исследующего поиска из полученной точки. Если при этом значение в наилучшей точке меньше, чем в точке предыдущего базиса, то поиск по образцу удачен. Если поиск по образцу неудачен, происходит возврат в новый базис, где продолжается исследующий поиск с уменьшенным шагом.

Обозначим через d₁, d₂, …, d_n – координатные направления

.

При поиске по направлению d_i меняется только переменная x_i, а остальные переменные остаются зафиксированными.

Алгоритм. Алгоритм реализации метода конфигураций следующий.

Шаг 1. Задать начальную точку х⁰, число ε > 0 для остановки алгоритма (например, ε=0.1 или ε =0.3), начальные величины шагов по координатным направлениям Δ₁, Δ₂, …, Δ_n ≥ ε (можно использовать одинаковую величину шага по координатным направлениям – Δ, значения Δ можно взять равными 1 или 2 или меньшими 1 (0.1, 0.2); ε должно быть меньше Δ), ускоряющий множитель λ > 0 (например, λ=1 или λ=1.5), коэффициент уменьшения шага α > 1 (например, α=2 или α=4). Положить y¹ = x⁰, i=1, k=0.

Шаг 2. Осуществить исследующий поиск по выбранному координатному направлению:

а) если f(yⁱ + Δ_id_i) < f(yⁱ), т.е. f(y₁ⁱ, …, y_iⁱ+Δ_i, …, y_nⁱ) < f(y₁ⁱ, …, y_iⁱ, …, y_nⁱ), шаг считается удачным. В этом случае следует положить yⁱ⁺¹ = yⁱ + Δ_id_i и перейти к шагу 3;

б) если в п. «а» шаг неудачен, то делается шаг в противоположном направлении. Если f(yⁱ - Δ_id_i) < f(yⁱ), т.е. f(y₁ⁱ, …, y_iⁱ-Δ_i, …, y_nⁱ) < f(y₁ⁱ, …, y_iⁱ, …, y_nⁱ), шаг считается удачным. В этом случае следует положить yⁱ⁺¹ = yⁱ - Δ_id_i и перейти к шагу 3;

в) если в пп. «а» и «б» шаги неудачны, положить yⁱ⁺¹ = yⁱ.

Шаг 3. Проверить условия:

а) если i < n, то положить i = i+1 и перейти к шагу 2 (продолжить исследующий поиск по оставшимся направлениям);

б) если i = n, проверить успешность исследующего поиска:

- если f(yⁿ⁺¹) < f(x^k), перейти к шагу 4;

- если f(yⁿ⁺¹) ≥ f(x^k), перейти к шагу 5.

Шаг 4. Провести поиск по образцу. Положить x^k+1 = yⁿ⁺¹, y¹ = x^k+1 + λ(x^k+1 – x^k), i=1, k=k+1 и перейти к шагу 2.

Шаг 5. Проверить условие окончания:

а) если все Δ_i ≤ ε, то поиск закончить, х^* = х^k;

б) для тех i, для которых Δ_i > ε, уменьшить величину шага: Δ_i = Δ_i / α. Положить y¹ = x^k, x^k+1 = x^k, k=k+1 и перейти к шагу 2.

Блок-схема данного метода приведена на рис. 4.

Рис. 4. Блок схема метода Хука – Дживса

На рис. 5 приведена блок схема процедуры исследования вокруг базисной точки.

Рис. 5 – Блок-схема процедуры исследования

вокруг базисной точки