1. Метод релаксации.

Применяется в задачах, где трудно или невозможно отыскать оптимум в аналитической форме (ЦФ имеет сложную структуру).

Исходная задача разбивается на ряд подзадач.

В области определения выбирается точка и составляется функция вида:

_{Все переменные делаем постоянными, а x1 освобождаем:}

Находим производную:

^{=0 => x}₁^=х₁^{(1) =const.}

Это значение подставляется в функцию , освобождая переменную х₂:

Дальше таким же образом берется производная и находится:

и т.д.

Находим:

Т. е. за шагов вычисляем , производим сравнение и . Далее снова освобождаем переменную х₁ и составляем новую ЦФ:

;

……….

и так к раз. Сравнивая ,…, выбирают max или min значение ЦФ. Т.о. общее число вычислений kn.

После сравнения выбирается максимальное или минимальное значение функции, которое и дает оптимальное значение вектора Х_опт.

– оптимальное значение.

Достоинства:

1. Простота и наглядность.

Недостатки:

2. Долгий путь решения задачи.

3. Необходимо иметь аналитические выражения производных ЦФ по всем параметрам.

1. Метод градиента.

Исключает недостатки предыдущего метода и использует основное свойство градиента: вектор градиента всегда направлен в сторону наибольшего изменения функции.

Требование: Функция должна быть дифференцируема, унимодальная (иметь 1 экстремум) на определенном промежутке.

или:

,

здесь К – постоянная, определяющая величину шага.

3. Метод наискорейшего спуска (метод Коши).

Величина шага выбирается из условия максимизации или минимизации целевой функции при движении в направлении градиента.

Используется информация о поведении первых производных.

Отсюда малая сходимость метода.

4. Метод Ньютона.

Производится квадратическая аппроксимация целевой функции, что позволяет использовать информацию о поведении вторых производных. Это позволяет менять шаг в зависимости от расстояния до оптимума: увеличивать шаг, где градиент изменяется медленно и наоборот.

Достоинства:

1. Лучшая сходимость относительно методов, работающих с первой производной;

2. Не нужно иметь аналитических выражений производных ЦФ, а необходимо знать только их численные значения.

Недостаток: Нужно 2 раза дифференцировать.

Поисковые методы

Безградиентные методы.

1. Используются для поиска экстремума унимодальных функций.

2. Не надо искать производные, нужно лишь знать значения целевой функции в определенных точках.

3. Все методы многошаговые (итерационные, т.е. необходимо провести однотипные вычисления определенное число раз, чтобы найти экстремум с заданной точностью).

4. Они имеют разную сходимость.

К ним относятся:

• Методы общего поиска,

• Метод дихотомии.

• Метод золотого сечения.

• Метод чисел Фибоначчи.

1. Метод общего поиска

а) Метод покоординатного поиска (метод Гаусса-Зейделя).

Все переменные, кроме одной, фиксируются, а одна, нефиксированная – изменяется, пока ЦФ не достигнет наилучшего значения (max или min). Затем эта переменная фиксируется, освобождается следующая, с которой проделывается то же самое (см. рис. ниже).

Недостатки:

1. малая сходимость, большое число шагов;

2. слабо используется информация, полученная на предыдущем шаге;

3. малая точность метода при одинаковом шаге.

х2-фиксированная, х1-свободная (затем –наоборот).

Достоинства:

1. Целевая функция может зависеть от нескольких переменных.

б) Покоординатный поиск с циклическим изменением координат.

Все переменные, кроме одной фиксируются, а одна изменяется следующим образом: делается один шаг в одну сторону и два шага в обратную. Во всех трех точках вычисляются значения целевой функции, из них выбирается наилучшее (точка, которая наиболее близка к оптимуму).

Достоинства:

1. Сходимость немного лучше.

Недостатки:

1. Те же.

в) Метод комбинированный.

Вначале используется покоординатный поиск, а вблизи экстремума используется метод б) с переменным шагом.

Достоинства:

1. Сходимость и точность стали лучше.