Нахождение экстремумов функции нескольких переменных

Задача нахождения максимума функции сводится к задаче нахождения минимума функции. Поэтому в дальнейшем мы будем искать только точки, в которых функция принимает наименьшие значения.

Сначала рассмотрим более простую задачу, а именно, нахождение безусловного минимума функции. Задача ставится так: дана функция ,, т.е., требуется найти точку локального минимума функции.

Точка локального минимума – это любая точка ,, такая, что для всех, близких к, выполнено неравенство.

Замечание. Используя только численные методы, невозможно установить, является ли точка локального минимума одновременно точкой глобального минимума, т.е. что неравенство выполняется длявсех . Эта задача может быть решена только с учетом особенностей поведения функции.

В связи со сделанным замечанием в дальнейшем будем говорить о нахождении минимума функции, подразумевая, что ищем локальный минимум. Эта задача сокращенно записывается так: .

Для решения задачи разработано очень много различных численных методов. Подавляющее большинство из них относится к методам спуска. Каждый метод спуска находит последовательность точек, которые сходятся к точке локального минимума. Для этой последовательности точек должно выполняться условие. То есть если представить график(для) как поверхность котловины, то с каждым шагом мы «спускаемся» все ниже и ниже.

Методы спуска различаются правилом выбора направления спуска и выбором шага в направлении спуска. Отличаются они также тем, какую информацию о функции они используют: только значения функции или же еще значения ее производных. В связи с этим скорость сходимости последовательности точекк точке минимума у разных методов может быть различной. Рассмотрим методы спуска, последовательно повышая порядок используемых производных.

Метод покоординатного спуска

Выбирается начальная точка , желательно поближе к искомой точке минимума. Затем функцияограничивается на прямую, проходящую через точкуи параллельную оси первого переменного

, ,.

Ограничение функции на прямуюявляется функцией одного переменного. Находим минимум функции. Пусть этот минимум достигается в точке. Тогда полагаем,. Получаем следующее приближение.

Затем функция ограничивается на прямую, параллельную оси:. Находится точка минимума функции. Обозначим ее. Получаем новое приближение:

, ,, …,.

Процесс повторяется, пока не будет произведен сдвиг вдоль всех осей ,, …,. После этого сдвиг производится вновь вдоль первой оси, затем вдоль второй и т.д.

Вычисления обычно останавливают, если приближения, полученные после сдвига по всем осям, отличаются меньше, чем на заданную точность ε, т.е. если . Нужно учесть: гарантии, чтохорошо приближает точку минимума, мы при этом не получаем. Можно попробовать повторить процесс для другой начальной точки. Если результаты будут отличаться мало, то, скорее всего, мы действительно получили ответ.

Симплекс-метод

Этот метод тоже требует вычисления только значений функции. Его модификация называется методом деформируемого многогранника. Точное описание этих методов довольно сложное. Суть симплекс-метода разберем для случая двух переменных.

На плоскости выбираются три точки ,,, являющиеся вершинами правильного треугольника. Вn-мерном пространстве придется выбрать n+1 одну точку, которые будут служить вершинами правильного симплекса. Затем вычисляются значения функции в этих точках: ,i = 1, 2, 3. Выбираем наибольшее из этих трех значений. Предположим, что это , т.е.,. Тогда через центрO стороны проводим отрезок, что изображено на рис. 4.Получаем точку. Вычисляем значениефункции в этой точке. Если, то точки,,считаем вершинами нового треугольника и весь процесс повторяем. Если же, то стороны исходного треугольника уменьшаем в два раза, оставив на месте ту точку, значение функции в которой было наименьшим. Процесс останавливаем, когда размеры треугольника становятся достаточно малыми.

В методе деформируемого многогранника фактически очень грубо ищется точка минимума функции на прямой OA (рис. 4) и эта точка минимума становится вершиной нового треугольника. Треугольник при этом уже перестает быть равносторонним, но дальнейшие действия выполняются так же, как и для равностороннего.