5. Метод золотого сечения

Золотым сечением отрезка называется деление отрезка на две неравные части так, чтобы отношение длины всего отрезка к длине большей части равнялось отношению длины большей части к длине меньшей части отрезка.

Золотое сечение отрезка [a, b] производится двумя точками и , где .

Точки x₁ и x₂ расположены симметрично относительно середины отрезка и выполняется

и .

Упражнение 6. Точка x₁ в свою очередь производит золотое сечение отрезка [a, x₂]. Аналогично точка x₂ производит золотое сечение отрезка [x₁, b]. Доказать это.

Опираясь на это свойство золотого сечения, предложен следующий метод минимизации унимодальной функции на отрезке [a, b]. Его суть - деление интервала поиска минимума по правилу золотого сечения, вычисление значения в точках деления, сравнение значений и отбрасывание той части интервала, на которой заведомо отсутствует минимум. Точка x₁ производит золотое сечение [a, x₂], точка x₂ - золотое сечение отрезка [x₁, b]. Поэтому на оставшемся интервале нужно определить одну точку, производящую золотое сечение. Процесс деления продолжают до тех пор, пока длина интервала неопределенности не станет меньше заданной точности . На каждом шаге длина нового интервала неопределенности равна 0,618 длины старого интервала и на каждом шаге вычисляется лишь одно значение , а не два, как в методе деления отрезка пополам.

Упражнение 7. Найти наименьшее n, начиная с которого точность метода золотого сечения больше точности метода деления отрезка пополам в 2 раза, в 10 раз.

Упражнение 8. Написать алгоритм описанного метода.

Сравнение методов одномерной оптимизации показывает, что в большинстве случаев для гладких метод квадратичной интерполяции дает заметный выигрыш во времени. При сложных метод золотого сечения может давать существенный выигрыш во времени. Метод квадратичной интерполяции удобен тем, что обнаруживает как максимумы, так и минимумы , причем даже за пределами первоначально заданного интервала поиска.

2. Численные методы поиска экстремумов функций многих переменных

Наибольшие трудности поиска минимума функции возникают, когда размерность n вектора x велика. Поэтому важнейшей является проблема уменьшения размерности вектора минимизируемой функции на этапе построения математической модели решаемой задачи. В модели следует сохранить только те переменные , которые сильнее других влияют на изменение рассматриваемой функции.

1. Метод координатного спуска

Идея всех методов спуска состоит в том, чтобы исходя из начального приближения - точки

Dⁿ (Dⁿ - область определения функции) перейти в следующую точку

D так, чтобы значение уменьшилось, т.е. .

Рассматриваем функцию при фиксированных значениях как функцию одной переменной . Находим одним из описанных выше методов . Значение доставляющий минимум обозначаем . 

После нахождения точки минимума по координате переходим к нахождению минимума по координате от новой точки и так далее по всем оставшимся координатам.

Для гладких функций погрешность вычислений в данном методе складывается из погрешностей при вычислении минимума по каждой переменной, хотя для некоторых функций специального вида погрешность может быть и очень велика.

Центральным звеном рассматриваемого алгоритма является поиск минимума функции одной переменной. Методы применимые к этому случаю рассмотрены выше.