5. Циклически покоординатный спуск. Алгоритм, оценка сходимости.

Метод подразумевает последовательное нахождение экстремума функции цели по каждой из координат.

Пусть имеем . Производится последовательная минимизация функции по каждой из координат. Пусть , — стандартный базис в . Выберем начальную точку х0. Поиск точки минимума функции в методе циклического покоординатного спуска проводят в соответствии с рекуррентным соотношением . Значение находят из решения задачи одномерной минимизации . Подчеркнем, что индекс j изменяется циклически, пробегая на каждом шаге покоординатного спуска все значения от 1 до , причем значение может быть как положительным, так и отрицательным. Для каждого значения из решения задачи одномерной минимизации находят значение и затем вычисляют , и . Далее проверяют выполнение одного (или обеих) условий: - сильное условие сходимости. - слабое условие сходимости. В случае их выполнение полагают .

6. Метод сопряженных направлений. Алгоритм. Сходимость для квадратичных функций.

Этот метод, который за н итераций в н-мерном пространстве для квадратичной функции цели дает точное решение (нахождение точки минимума) с учетом точности вычислений.

Алгоритм: 1) выбирают ОДР. 2) положив осуществляют исчерпывающий спуск по направлению вектора : , . В результате получим . 3) Из -исчерпывающий спуск по направлению вектора . В результате которая гарантированно не будет давать вектор коллинеарный р1. 4) Исчерпывающий спуск из точки по вектору , получая . Имея 2 точки - делаем вектор спуска по ним, получая новую точку . А далее вычисляем значение функции в найденной точке, и проверяем условия сильной и слабой сходимости.

7. Алгоритмы прямого поиска. Метод регулярного симплекса. Достижение редукции.

Правильным симплексом называют n-мерный многогранник, содержащий n+1 вершину, у которого расстояние между вершинами одинаково.

Пусть имеем опорную точку , l-длинна ребра. Она задается для нахождения остальных опорных точек.

i – количество вершин правильного симплекса,

j – количество переменных, n – размерность пространства.

Так как , то вычесляются координаты точки тяжести противоположной грани.

Критерий остановки для слабой сходимости или для сильной сходимости.

Алгоритм

1. По заданой базисной точке и ребру l вычисляются остальные координаты вершин симплекса.

3. Упорядочим вершины симплекса так, чтобы f в было максимальным и

4. Проверяем условие остановки вычислительного процеса (находим слабую, сильную сходимость).

5. Находим координаты центра тяжести грани противоположной вершине с наибольшим значением функции цели и находим координаты отраженной вершины, вычисляем значение ф-ции цели в отраженной вершине.

6. Если значение функции цели в отраженной вершине меньше чем в отражаемой, то переходим в 2. В противном случае в 6.

7. Проводим редукцию симплекса (уменьшаем длинну ребра симплекса). Редукцию симплекса проводят к вершине с наименьшим значением функции. Редукция проводится до того как растояние между вершинами симплекса меньше заданого(2 пункт)

8. Метод Хука-Дживса. Исследующий поиск.

1. Проведение исследующего поиска. - шаг

Ищем в котором функция уменьшается.

2. Определим направление спуска

3. Осуществим спуск по вектору p. Переходим к

4. Проверяем условие достижения минимума. Можно произвести редукцию . . Лучшая сходимость чем по симплексу.