23. Эвристические схемы градиентного метода.

Первая эвристическая схема содержит два основных этапа. Оба этапа представляют собой

аналоги градиентного спуска с постоянным шагом. Только вместо градиента

используется вектор g(x), формируемый из координат , но на каждом из этапов по разным правилам.

(1 этап ) С переключением процедур поиска

1.​ Задаем некоторое , принудительно считаем частные производные для

j, для которых в действительности выполняется соотношение ; в этом случае выбираем направление к дну оврага, движемся до зацикливания.

Таким образом, спуск производится лишь по тем переменным, в направлении которых производная целевой функции достаточно велика. Это позволяет быстро спуститься на «дно оврага». Мы спускаемся до тех пор, пока метод не зациклится, то есть до тех пор, пока каждая следующая итерация позволяет найти точку, в которой значение функции меньше, чем значение, найденное в предыдущей итерации. После этого переходим к

следующему этапу.

2.​ Задаем некоторое (намного (в 10 раз)), считаем для j, для которых в

действительности выполняется соотношение двигаемся вдоль оврага.

Как и на первом этапе, спуск продолжается до тех пор, пока метод не зациклится.

​После выполнения первого и второго этапов принимается решение о завершении работы или продолжении. Для этого сравнивается норма разности предыдущей точки, то есть

точки, которую мы имели до применения первого и второго этапов, с текущей точкой, то есть

полученной после применения с точностью решения задачи e1. Если эта норма меньше e1 и норма градиента в текущей точке меньше e3, то поиск заканчивается и последняя вычисленная точка принимается за приближенное решение задачи. Иначе для текущей точки вновь повторяем первый и второй этапы и т. д.

( - частная производная , просто брал из другой статьи)

Метод Гельфанда (1966 гг.)

Пусть и - две произвольные близкие точки. Из совершают обычный градиентный спуск с постоянным шагом и после нескольких итераций с малым шагом a

попадем в точку . Тоже самое делаем для точки , получая точку . Две точки лежат в

окрестности «дна оврага». Соединяя их прямой, делаем «большой шаг» в полученном

направлении, перемещаясь «вдоль дна оврага» (шаг называют овражным шагом). В

результате получаем точку . В ее окрестности выбираем точку и повторяем процедуру.

Схема овражного метода 1

Шаг 1.

​Вводятся начальное приближение х0, точность решения и , шаг для ​

​ градиентного спуска, начальное значение для овражного шага. Из точки осуществляется градиентный спуск с постоянным шагом a на дно оврага. В результате получается точка . Полагается к=0.

Шаг 2.

В окрестности берется точка и из нее осуществляется градиентный спуск. В

результате получается точка Шаг 3.

Новая точка определяется следующим образом. По формуле

или

(штрих здесь не значит производная!!!)

вычисляется точка . Из нее осуществляется градиентный спуск и мы получаем точку .

Если , то полагаем и

Иначе уменьшаем овражный шаг l (например в 2 раза l=l/2)и повторяем шаг 3. Шаг 4.

Если , то полагаем:

и поиск минимума на этом заканчивается, иначе к=к+1 и переходим к шагу 2. Рассмотрим другую реализацию той же идеи.

​ Пусть и – две произвольные близкие точки. Как и в предыдущем случае, из каждой точки осуществим градиентные спуски с постоянным шагом . Получим точки и , лежащие в окрестности «дна оврага». Соединяя их прямой, делаем «большой шаг» l в полученном направлении. В результате получим точку . Из этой точки осуществим градиентный спуск и получим точку . А вот далее, для того чтобы осуществить «овражный шаг», берем

предпоследнюю точку u1. Соединяя прямой точки и , делаем шаг в полученном направлении и определяем х3. Дальше аналогичным образом вычисляются .

Схема овражного метода 2

Шаг 1.

Задаются начальное приближение , точность решения и , шаг для градиентного спуска, начальное значение для овражного шага.

Из точки осуществляется градиентный спуск с постоянным шагом на «дно оврага».

Врезультате получается точка .

Вокрестности берется точка , из которой тоже осуществляется градиентный спуск

на «дно оврага». В результате получается точка . Полагается к=1. Если , то

полагаем . Если , то .

Шаг 2.

​ Новая точка определяется следующим образом. По формуле:

вычисляется точка . Из нее осуществляется градиентный спуск и мы получаем точку .

Если , то полагаем .

Иначе уменьшаем овражный шаг (например в 2 раза )и повторяем шаг 2.

Шаг 3.

Если и то полагаем:

и поиск минимума на этом заканчивается, иначе к=к+1 и переходим к шагу 2.

24. Оптимизация многомерных функций методами второго порядка.

Эти методы быстрее чем градиентные.

1)​ Метод Ньютона: точки минимизирующей последовательности

(треугольник – это набла: матрица, обратная гессиану)

определяем оптимальную длину шага и направления затем осуществляем переход из в .

​Выводы:

​ и - взаимно ортогональны

​ - взаимно сопряжены относительно матрицы H умножим на матрицу H и прибавим к левой и правой части :

значит

Алгоритм (по ебаной библии пирога):

1)​ 2)​

3)​

переходим к пункту 2 алгоритма

Для квадратичных функций с положительной определенностью метод дает точное решение, для более сложных функций нужно повторять пока не выполнится условие остановки.

Алгоритм (норм)

1)​ Задать: начальную точку -малые положительные числа, M –

предельное число итераций. Найти градиент . 2)​ Положить k=0.

3)​ Вычислить

4)​ Проверить выполнение критерия окончания

а) если критерий выполняется, , расчет окончен;

б) если нет, то перейти к шагу 5.

б) если нет, то при k = 0 перейти к шагу 6, а при перейти к шагу 7.

6)​ Определить 7)​ Определить

10)​ Вычислить 11)​ Проверить выполнение условий

​​ а) если выполняются оба условия в двух последовательных итерациях с номерами k и k-1, то расчет окончен, найдена точка ;

​​ б) если не выполняется хотя бы одно из условий, то положить k = k + 1 и перейти к шагу 3.

​​ Геометрическая интерпретация метода для n = 2 приведена на рисунке

Проанализируем полученную точку: