35. Основные понятия численных методов безусловной оптимизации.
Нижеприведенные определения справедливы как для задач условной так и безусловной оптимизации.
Будем
строить последовательность точек
сходящихся к
для которых с достаточной степенью
точности выполняются условия стационарности
Если ф-ция сильно выпуклая в точке , то - точка минимума.
Опр.
Говорят, что функция
сильно выпуклая в точке
если существуют такие числа
, что выполняется неравенство
.
Опр.
Метод, строящий последовательность
называется релаксационным или методом
спуска, если последовательность точек
такова, что
(1)
Все методы строят последовательность (осуществляют итерационный процесс по формуле
(2)
где
- предыдущая точка приближения;
- последующая;
- шаг;
- направление перехода от точки
к
Обычно
считают
, если в процессе итерации
, то направление
меняют на противоположное.
Направление
наз направлением спуска. Для него
Каждый
итерационный процесс должен на каком-то
этапе остановиться. Для этого проверяют
одно из следующих условий:
Различные численные методы строят итерации по формуле (2), но отличаются друг от друга способом выбора шага и направления спуска. Шаг может быть выбран одним из 3-х способов:
1)
постоянный шаг:
(очень грубый, редко применяется);
2)
дробление шага (применяется когда
выполняется условие релаксации
, но не выполняется условие остановки.
Тогда шаг дробят одним из 2-х способов:
или
3) шаг выбирается из условия наискорейшего спуска
(3)
(задача
одномерной минимизации относительно
)
Для
нахождения решения задачи (3) необходимо
воспользоваться усл стационарности
. Т.о. шаг
ищем так, чтобы точка
была точкой касания какой-либо линии
уровня целевой ф-ции
,
- максимально возможный шаг вдоль
выбранного направления
35. Основные понятия численных методов безусловной оптимизации.
Будем
строить методы, кот. конструируют
последовательность точек
сходящихся к
, где
-
точка, в кот.
с достаточной степенью точности
выполняется условие стационарности
Если ф-ция сильно выпуклая в точке , то - точка минимума.
Опр.
Говорят, что функция
сильно выпуклая в точке
если существуют такие числа
, что выполняется неравенство
, где m
и M
соответственно наименьшее и наибольшее
собственные числа матрицы
.
Метод, строящий последовательность называется релаксационным или методом спуска, если последовательность точек такова, что
Все методы осуществляющие итерационный процесс (процесс построения точек) строятся по формуле
(1)
где
- вектор, указывающий направление
движения от точки
к
,
- шаг вдоль этого направления,
.
Направление
наз направлением спуска.
Любой численный метод на каком-то этапе должен остановиться. Для этого используют одно или несколько условийостановки:
Различные
численные методы выбирают шаг
одним
из 3-х способов:
1) постоянный шаг для каждой итерации;
2) дробление шага (применяется когда не выполняется условие релаксации . Тогда шаг дробят одним из 2-х способов:
или
3) метод найскорейшего спуска
(2)
(после подстановки получится ф-ция от одной переменной , т.е. получилась задача одномерной минимизации).
Для нахождения решения задачи (2) необходимо воспользоваться усл. стационарности
.
Согласно
этому методу шаг
выбирается так, чтобы точка
была точкой касания какой-либо линии
уровня целевой ф-ции
,
- максимально возможный шаг вдоль
выбранного направления.