
- •5. Поисковая минимизация
- •5.1.Метод покоординатного спуска Гаусса-Зейделя (Gauss - Seidel)
- •5.2.Метод конфигураций Хука – Дживса (Hooke - Jeeves)
- •7. Градиентные методы
- •7.1.Градиентный метод
- •7.1.1.Итерационная схема метода
- •7.1.2.Основные модификации метода
- •7.2.Оптимальный градиентный метод
- •7.2.1.Итерационная схема метода
- •7.2.2.Анализ сходимости метода
- •7.2.3.Траектория поиска
- •7.2.4.Выводы
- •7.4.Метод сопряженных градиентов
- •7.4.1.Оценивание направления поиска
- •7.4.2.Оценивание шага
- •7.4.3.Основные соотношения метода сопряженных градиентов Флетчера-Ривса
- •7.4.6.Траектория поиска и некоторые выводы
- •7.4.7.Модификации метода сопряжённых градиентов
- •8. Ньютоновские методы
- •8.1.Методы Ньютона и Ньютона-Рафсона
- •8.2.Скорость сходимости методов Ньютона и Ньютона - Рафсона
- •8.3.Модификации методов Ньютона и Ньютона – Рафсона
- •8.4.Некоторые результаты и выводы
- •10. Методы штрафных и барьерных функций
- •10.1.Методы преобразования
- •10.2.Условия Куна - Таккера
- •10.3.Барьерные функции
- •10.3.1.Функция барьера
- •10.3.2.Сходимость методов барьерных функций
- •10.3.5.Многократная безусловная минимизация
- •10.3.6.Проблемы применения барьерных методов
- •10.4.Штрафные функции
10.3.2.Сходимость методов барьерных функций
Полагая
функции задачи (10.1.1) непрерывными и
дифференцируемыми, а локальные минимумы
существующими в замыкании множества
,
Фиакко и Мак-Кормик(1972) доказали, что
при малых
генерируемые алгоритмом
точки
существуют, сходятся к
и выполняются соотношения:
1)
;
(10.3.5)
2)
и
монотонно убывает;
(10.3.6)
3)
;
(10.3.7)
4)
монотонно возрастает.
(10.3.8)
10.3.5.Многократная безусловная минимизация
В
алгоритме
итеративно повторяется процедура
безусловной минимизации
по
,
при уменьшающихся значениях параметра
,
но не указано правило построения ряда
.
Однако это правило значимо влияет на
объем вычислительной работы при поиске
.
Рациональное правило построения ряда
должно отвечать компромиссу между
небольшим числом сложных задач безусловной
минимизации, получающихся при быстро
убывающих значениях
,
и большим числом относительно простых
задач, возникающих при медленном убывании
.
Лутсма (1972) показал, что для обратной функции барьера (10.3.2)
,
(10.3.13)
а для логарифмической функции барьера (10.3.3)
.
(10.3.14)
Выражение (10.3.14) служит основанием для построения по формуле
(10.3.15)
Тогда точность оценки от шага к шагу возрастает, примерно, на порядок.
Выбор
должен отвечать хорошей масштабируемости
функции
,
при которой ни одна из величин
и
не доминирует над другой.
Другой выбор определяется формулой
.
(10.3.16)
10.3.6.Проблемы применения барьерных методов
Применение стандартных алгоритмов безусловной минимизации для поиска минимума функции оказывается, как правило, не слишком успешным, особенно когда значение параметра мало и точка лежит вблизи границы допустимого множества .
При этом возникают следующие проблемы.
1.В
стандартных алгоритмах безусловной
минимизации предполагается, что целевая
функция определена на всем пространстве.
Для
это условие не выполняется, причем, чем
ближе
к границе множества
,
тем реальнее сделать шаг за пределы
(области определения
).
Следовательно, необходима процедура
проверки ограничений при спуске и
эффективное правило сокращения
недопустимого шага.
2.Во многих алгоритмах безусловной минимизации применяется одномерный поиск с квадратичной или кубической аппроксимацией целевой функции. Однако такая модель весьма плоха для аппроксимации барьерной функции с её особенностью на границе множества .
3.Обычные правила останова процесса безусловной минимизации оказываются малопригодными. Действительно, с уменьшением функция приобретает овражную структуру и в малой окрестности точки норма градиента функции может принимать очень большие значения. В таких случаях практически невозможно численно получить точку с близкими нулю величинами первых производных, а значит, правило окончания процесса минимизации по малости градиента неприменимо.
4.Овражность
влечет за собой плохую обусловленность
матрицы Гессе
в окрестности решения. Как показано,
например, Флетчером (1969), если в
активны (т.е. нарушены)
ограничений, то
собственных значений матрицы
будут порядка
,
а остальные
собственных значений положительны и
ограничены при любом
.
Это означает, что число обусловленности
матрицы
растет как
и матрица
“стремится” к особенной.