РЕФЕРАТ
На тему: «Методы Флетчера-Ривса, Дэвидона-Флетчера-Пауэлла, Кубической интерполяции»
Оглавление
Введение 3
Метод Флетчера-Ривза 5
Сходимость метода 9
Алгоритм Дэвидона - Флетчера - Пауэлла 13
Доказательство 19
Метод кубической интерполяции 24
Заключение 28
Список литературы 29
ВВЕДЕНИЕ
Оптимизация в математике, информатике и исследовании операций задача нахождения экстремума (минимума или максимума) целевой функции в некоторой области конечномерного векторного пространства, ограниченной набором линейных и/или нелинейных равенств и/или неравенств.
Теорию и методы решения задачи оптимизации изучает математическое программирование.
Общая запись задач оптимизации задаёт большое разнообразие их классов. От класса задачи зависит подбор метода (эффективность её решения). Классификацию задач определяют: целевая функция и допустимая область (задаётся системой неравенств и равенств или более сложным алгоритмом).
Методы оптимизации классифицируют в соответствии с задачами оптимизации:
Локальные методы: сходятся к какому-нибудь локальному экстремуму целевой функции. В случае унимодальной целевой функции, этот экстремум единственен, и будет глобальным максимумом/минимумом.
Глобальные методы: имеют дело с многоэкстремальными целевыми функциями. При глобальном поиске основной задачей является выявление тенденций глобального поведения целевой функции.
Существующие в настоящее время методы поиска можно разбить на три большие группы:
Детерминированные;
Случайные (стохастические);
Комбинированные.
По критерию размерности допустимого множества, методы оптимизации делят на методы одномерной оптимизации и методы многомерной оптимизации.
МЕТОД ФЛЕТЧЕРА-РИВЗА
Метод сопряженных градиентов формирует направления поиска, в большей мере соответствующие геометрии минимизируемой функции. Определение. Два n-мерных вектора х и у называют сопряженными по отношению к матрице H (или H-сопряженными), если скалярное произведение (x, Ну) = 0. Здесь Н симметрическая положительно определенная матрица размером nхn.
Стратегия метода Флетчера-Ривса состоит в построении последовательности точек {xk}, k=0, 1, 2, ... таких, что
f(xk+1) < f(xk), k=0, 1, 2, ...
Точки последовательности {xk} вычисляются по правилу: xk+1=xk-tkdk, k = 0, 1, 2,…
dk = ▽f(xk) + bk-1▽f(xk-1)
Величина шага выбирается из условия минимума функции f(х) по t в направлении движения, т. е. в результате решения задачи одномерной минимизации: f(xk-tkdk) → min (tk>0)
В случае квадратичной функции f(x)= (х, Нх) + (b, х) + а направления dk, dk-1 будут H-сопряженными, т.е. (dk, Hdk-1)=0
При этом в точках последовательности {xk} градиенты функции f(x) взаимно перпендикулярны, т.е. (▽f(xk+1),▽f(xk))=0, k =0, 1, 2…
При минимизации неквадратичных функций метод Флетчера-Ривса не является конечным. Для неквадратичных функций используется следующая модификация метод Флетчера-Ривса (метод Полака-Рибьера), когда величина bk-1 вычисляется следующим образом:
Здесь I множество индексов: I = {0, n, 2n, 3n, ...}, т.е. метод Полака-Рибьера предусматривает использование итерации наискорейшего градиентного спуска через каждые n шагов с заменой x0 на xn+1. Построение последовательности{xk} заканчивается в точке, для которой |▽f(xk)|<ε.
Геометрический
смысл метода сопряженных градиентов
состоит в следующем. Из заданной начальной
точки x0 осуществляется
спуск в направлении d0 =
▽f(x0).
В точке x1
определяется
вектор-градиент ▽f(x1).Поскольку
x1 является
точкой минимума функции в направлении
d0,
то▽f(x1)
ортогонален вектору d0.
Затем отыскивается вектор d1,
H
сопряженный к d0.
Далее отыскивается минимум функции
вдоль направления d1 и
т. д.
Алгоритм метода
Начальный этап. Задать x0, ε > 0.
Найти градиент функции в произвольной точке
k=0.
Основной этап
Шаг 1. Вычислить f(xk)
Шаг 2. Проверить выполнение критерия останова |▽f(xk)|< ε а) если критерий выполнен, расчет окончен,x*=xk
б) если критерий не выполнен, то перейти к шагу 3, если k=0, иначе к шагу 4. Шаг 3. Определить d0= ▽f(x0)
Шаг 4. Определить
или в случае неквадратичной функции
Шаг 5. Определить dk = ▽f(xk) + bk-1▽f(xk-1)
Шаг 6. Вычислить величину шага tk из условия f(xk - tkdk) → min (tk>0) Шаг 7. Вычислить xk+1=xk-tkdk
Шаг 8. Положить k= k +1 и перейти к шагу 1.
