4. Правилами останова алгоритма

(7)

где - некоторые достаточно малые положительные числа.

5. Выбор точки начального приближения

2.4. Численные методы одномерной минимизации

Постановка задачи

Для функции одной переменной необходимые условия локальной оптимальности определяется следующими соотношениями:

(1)

Достаточное условие

(2)

Определение1. Пусть . Одномерная действи­тельная функция называется унимодальной на , если существует такая точка , что

Рис. 1

Задача одномерной минимизации ставится следующим образом. Найти точку локального минимума унимодальной на отрезке целевой функции с абсолютной ошибкой . Формально эту задачу записывают так

(3)

Метод перебора

Идея метода состоит в переборе некоторого множества точек отрезка и вычислении соответствующих значений целевой функ­ции. Точка с минимальным значением целевой функции объявляется ре­шением задачи (3).

• Отрезок разбивается на равных частей

(4)

точками деления

;

• вычисляются значения функции в этих точках;

• 

Искомая точка мини­мума

Точка минимума локализована в отрезке

Отрезок локализации

Рис. 2

Длина отрезка локализации

Абсолютная ошибка определения

.

Число вычислений значений ЦФ

2.5. Численные методы многомерной оптимизации

(1)

Метод конфигураций (метод Хука – Дживса) – представляет собой комбинацию «исследующего» поиска и ускоряющего поиска.

Метод нулевого порядка

Исследующий поиск ориентирован на выявление характера локального поведения ЦФ в окрестности точки приближения к оптимуму.

Полученная на этом этапе информация используются при проведении ускоряющего поиска

Вычислительная процедура

1. Выбирается точка ,

шаг для каждой переменной .

;

2. Проводится «исследующий» поиск в окрестности т.

2.1. Вычисляется ;

2.2. Каждая переменная поочередно изменяется путем добавления величины :

,

иначе

После перебора всех координат - «исследующий» поиск

завершается

2.3. Проверяется результативность «исследующего» поиска:

- поиск признается неудачным п. 2.4.

переход к ускоряющему поиску п.3

2.4. Проверка условий окончания поиска () и ,

Если условия окончания поиска выполняются и

,

иначе п.2.1.

3. Осуществляется ускоряющий поиск

(2)

Если

(2)

Если

п.2.1

Особенности метода:

• несложная стратегия поиска;

• относительная простота, невысокие требования к объему памяти ЭВМ;

• из-за циклического движения по координатам может не сходится к точке минимума; в ряде случаев вырождается в последовательность исследующих поисков, что снижает эффективность процедуры минимизации;

• метод – бесконечношаговый.

Градиентные методы поиска

Методы используют информацию о градиенте це­левой функции и относятся к методам первого порядка.

(3)

дифференцируема на

(4)

(5)

Поскольку , то

(6)

(7)

Из свойства скалярного произведения

. (8)

- (9)

градиентные методы

,

(10)

Методы спуска

1. Простейший градиентный метод ;

2. Метод наискорейшего спуска

(11)

Из (11) следует:

3. Градиентный метод с дроблением шага

3.1. часто ;

3.2. к следующей итерации

Особенности методов:

• относятся к локальным методам оптимизации;

• используются для решения как одномерных, так и многомерных экстремальных задач;

• выпуклая ЦФ – метод сходится к точке минимума;

сильно выпуклая ЦФ - метод сходится к точке минимума с линейной скоростью;

невыпуклая ЦФ - метод сходится ко множеству стационарных точек

• градиентные методы относятся к методам спуска ;

• низкая скорость сходимости в окрестности точки минимума; метод чувствителен к ошибкам вычислений; градиентные методы целесообразно применять на начальном этапе оптимизационной процедуры.

Методы сопряженных направлений

а) - квадратичная ЦФ

(12)

Определение. Пусть - система линейно независимых векторов, - симметрическая неотрицательно определенная матрица; при этом выполняются условия

(13)

Тогда совокупность векторов называется системой сопряженных направлений относительно матрицы .

Определение. Алгоритм

, (14)

(15)

при (13) называется методом сопряженных направлений

Утверждение

- система сопряженных направлений относительно матрицы .

Тогда (14) в случае (12) при условии (15) и произвольном за шагов обеспечивает достижение точки минимума (12), т.е.

Формирование системы сопряженных направлений

(16)

(17)

б) ЦФ не является квадратичной

1. вычислений (14),(15) при (16), (18) ;

(18)

2. Проверка выполнения условий останова:

Условия выполняются Поиск завершен;

Условия не выполняются

Идти к п.1

Метод сопряженных градиентов (метод Ривса), метод первого порядка

в) Лемма.

- подпространства;

;

-

точки минимума функции в подпространствах

при поиске вдоль направления .

Тогда вектор сопряжен с направлением

Рис. 1

Метод Ньютона

(1)

Процедура поиска

(2)

Из (1) имеем

, (3)

(3) в (2)

(4)

- оптимизационный метод Ньютона

Особенности метода Ньютона

1. Трудоемкость, обусловленная вычислением и обращением матрицы Гессе на каждой итерации;

2. Выбор ;

3. Метод Ньютона сходится к точке минимума произвольной ЦФ с квадратичной скоростью, если матрица Гессе положительно определена, а располагается «достаточно близко» к .

Метод Ньютона с регулировкой шага:

(5)

,

Скорость сходимости – сверхлинейная;

квадратичная

Понятие о квазиньютоновских методах

,

(6)

где ;

Квазиньютоновский поиск:

(7)

, (8)

(9)

Эквивалентность матриц (6), (9)

Если ,

- симметрические и положительно определенные, то квазиньютоновский метод относится к методам спуска

Практические вопросы безусловной оптимизации

Выбор метода

Самое общее правило: чем больше информации о производных будет использовано при решении задачи, тем лучше. При условии, что цена затрат будет приемлемой.

Матрица Гессе свободно помещается в ОЗУ

В этой ситуации известные методы поиска минимума можно ранжировать следующим образом:

• ньютоновские методы;

• квазиньютоновские методы;

• методы сопряженных градиентов;

• методы сопряженных направлений нулевого порядка;

• градиентные методы;

• метод Хука - Дживса.

Оценка пригодности численного решения.

Тесты:

а) выполнено ли неравенство ?

б) достигнута ли на завершающих итерациях высокая скорость сходимости?

в) является ли матрица Гессе хорошо обусловленной?

а)

б) Скорость сходимости можно оценить по значениям разностей

на нескольких последних итерациях.

- квадратичная скорость сходимости;

- сверхлинейная скорость сходимости

- предполагают линейную скорость сходимости к точке минимума ЦФ.

в) - итерация оценка точки минимума

Близость оценки к искомой точке минимума можно определить нормой разности

Обусловленность оптимизационной задачи определяется обусловленностью матрицы Гессе целевой функции

,

число обусловленности матрицы

Обозначим через собственные числа матрицы Гессе, получаемые из уравнения

.

Тогда .

(1)

Любую точку, удовлетворяющую (1), можно называть решением задачи

- точка строгого локального минимума, - положительно определенная матрица.

(2)

Отсюда следует

,

что эквивалентно

(3)

Пример. ,

,

а)

б)

.

Понятие о квазиньютоновских методах

,

,

где ;

, (6)

,

, (7)

где ;

. (8)

Квазиньютоновский поиск:

(9)

, (10)

Эквивалентность матриц

(11)

(10) в (11)

(12)

Если ,

- симметрические и положительно определенные, то квазиньютоновский метод относится к методам спуска