Шпоры ГОС / МО-1

15. MO - Варианты градиентных методов на примере одного из методов: Марквардта, Флетчера-Ривза, Поллака-Рибьера.

Метод Флетчера-Ривза

Флетчер и Ривз расширили метод сопряженных градиентов (МГС) для квадратичных функций на случай произвольных функций. В применении к квадратичным функциям он становится равносильным методу сопряженных градиентов.

К достоинствам данного метода можно отнести: малый объем памяти (необходимо хранить 3 n-мерных вектора); скорость сходимости значительно выше классических градиентных методов. Данный метод полезен для решения задач большой размерности.

Алгоритм Флетчера-Ривза:

Шаг 1. Задаем начальную точку x⁰ положить .

Шаг 2. Выбрать значение λ^k, минимизирующее значение функции g(λ)=f(x^k+λd_k)

Положить: x^k+1=x^k+ λ_kd_k , ,

Шаг 3. Проверка критерия останова:

Да: конец. Нет: k=k+1 -> Ш.2.

Таким образом, на каждом этапе требуется хранить в памяти лишь три n-мерных вектора: и , а также текущее направление d^k.

17. MO - Сравнение эффективности одномерных методов оптимизации.

С помощью теоретических выкладок можно показать, что такие методы точного оценивания, как метод Пауэлла, метод поиска с использованием кубической аппроксимации и производных существенно эффективнее методов исключения интервалов, среди которых выделяется метод золотого сечения. Данный вывод справедлив лишь в предположении, что интервалы сходимости сравнимы между собой, а исследуемая функция является достаточно гладкой и унимодальной.

1. Если необходимо получить решение с очень высокой степенью точности, то лучшими оказываются методы на основе полиномиальной аппроксимации.

2. Если важно добиться надежной работы алгоритма, то целесообразно выбрать метод золотого сечения.

3. Поисковые методы типа метода Пауэлла следует использовать совместно с МЗС, когда возникают затруднения с реализацией соответствующих итераций на ЭВМ.

Для оценки эффективности методов обычно используются три характеристики:

- время, затраченное на получение решения;

- точность решения;

- чувствительность к изменениям параметра сходимости.

МЗС обладает высокой вычислительной эффективностью и простотой реализации.

Методы точечного оценивания позволяют определить точки экстремума с помощью квадратичной и кубической аппроксимации целевой функции.

Если интервалы сходимости сравнимы между собой, а целевая функция гладкая и унимодальная, о методы точечного оценивания сходятся значительно быстрее, чем методы исключения интервалов. Однако при исследовании мультимодальных или быстроизменяющихся функций (типа min f(x)=sin^k(x), которая, обладает узкими впадинами вблизи точки минимума) наиболее надежным оказывается метод «золотого сечения».

18. MO - Методы полиномиальной аппроксимации.

Основная идея рассматриваемых методов связана с возможностью аппроксимации гладкой функции полиномом и последующего использования этого полинома для оценивания координаты точки экстремума.

Необходимые условия эффективной реализации такого подхода – унимодальность и непрерывность исследуемой функции.

Квадратичная аппоксимация.

Простейший вариант полиномиальной аппроксимации основан на факте, что функция f(x) имеет экстремум во внутренней точке интервала и должна быть по крайней мере квадратичной. Линейная функция достигает экстремума в двух граничных точках интервала.

Если задана последовательность x₁, x₂, x₃ и известны соответствующие этим последовательностям значения функции f₁, f₂, f₃, то можно определить константы a₀, a₁, a₂ таким образом, что значения квадратичной функции:

Если точность аппроксимации исследуемой функции высока на интервале от x₁ до x₂ то построенный полином можно использовать для оценивания координаты точки экстремума. В данном случае из уравнения можно получить стационарную точку: .

Т.к. f(x) и аппроксимирующий полином унимодальный на рассматриваемом интервале, то является приемлемой оценкой координаты точки истинного экстремума x*.

20. MO - Сравнение многомерных методов оптимизации.

Сравнение методов безусловной оптимизации

Предполагается, что выполняются следующие условия: f(x) дважды дифференцируема; гессиан ²f(x*) положительно определен.

1. Метод наискорейшего спуска (метод Коши). Последовательность f(x^k) удовлетворяет неравенству: , где λmax, λmin - соответственно наибольшее и наименьшее собственные значения матрицы Гессе ²f(x*) вычисленные в точке x*. Таким образом, в худшем случае имеет место линейная сходимость, для которой коэффициент асимптотической сходимости α (называемый отношением Канторовича) непосредственно связан с K(A) - обусловленностью матрицы H_f(x*). Для плохо обусловленной функции (овражного типа) сходимость может быть очень медленной (α≈1).

2. Ускоренные методы наискорейшего спуска.

Для ускоренного метода второго порядка имеем ,

λ_m2 - второе наибольшее собственное значение ²f(x*). В двумерном случае имеем λ_m2=λmin, и следовательно, ускоренный метод второго порядка имеет сходимость высшего порядка, что очень эффективно. Однако в размерностях выше 2-ой сходимость методов с p=2 может практически быть такой же плохой, как и в обычном методе, т.к. 2-ое собственное значение может мало отличаться от λmax.

При p=n (размерность производства) имеем суперлинейную сходимость. Но при этом на каждой итерации требуется применение (n+1) одномерных минимизаций. В таком случае метод становится эквивалентным методу сопряженного градиента.

19. MO - Связь методов оптимизации и поиска нулей функции. Критерии останова. Численная аппроксимация градиента.

Поиск нулей функции f(x) широко используется в методах оптимизации. Например, такая необходимость возникает при определении стационарной точки f^‘(x)=0 или решении системы нелинейных уравнений df/dx_i=0, i=1,n, как в методе Ньютона. Кроме широко известных методов поиска нулей функции таких как, например, метод золотого сечения, Фибоначчи, дихотомии, Ньютона (метод касательных), метод хорд, существуют следующие методы:

• Упрощенный метод Ньютона (сходимость линейная)

Этот метод имеет вид: где x⁽⁰⁾ - некоторое начальное приближение к корню. Критерий окончания данного итерационного процесса имеет вид: | x^(k+1) - x^(k) | ≤ ε

К достоинствам этого метода следует отнести простоту его реализации и возможность обобщения на системы уравнений, а к недостаткам - более медленную по сравнению с методом Ньютона сходимость.

• Метод ложного положения (сходимость линейная)

• М

  

  етод Стефенсена (квадратичная сходимость)

• Метод Уолла (кубическая сходимость)

16. MO - Приближенные методы решения ЗЛП на примере транспортной задачи.

Метод северо-западного угла.

При этом методе на каждом шаге построения первого опорного плана заполняется левая верхняя клетка (северо-западный угол) остав­шейся части таблицы. При таком методе заполнение таблицы начи­нается с левого верхнего угла, двигаясь далее или по строке вправо, или по столбцу вниз. В клетку (1,1) заносится меньшее из чисел a₁ и b₁, т.е. x₁₁=min{a₁,b₁}.

Если a₁>b₁, то x₁₁=b₁ и первый столбец «закрыт», т.е. потребности первого потребителя удовлетворены полностью. Двигаемся далее по первой строке, записывая в соседнюю клетку (1,2) меньшее из чисел a₁-b₁ и b₂, т.е. x₁₂=min{a₁- b₁,b₁}.

Если b₁>a₁, то x₁₁=a₁, то аналогично «закрывается» первая строка и далее переходим к заполнению соседней клетки (2,1), куда заносим . x₂₁=min{a₁,b₁-a₁}.. Будем продолжать этот процесс до тех пор, пока на каком-то этапе не исчерпаются ресурсы a_p и потребности b_q.

Метод наименьшей стоимости.

Суть метода заключается в том, что из всей таблицы стоимостей выбирают наименьшую и в клетку, которая ей соответствует, помещают min{a_i,b_j}. Затем из рассмотрения исключают либо строку, соответствующую поставщику, запасы которого полностью израсходованы, либо столбец, соответствующий потребителю, потребности которого полностью удовлетворены. Либо и строку, и столбец, если израсходованы запасы поставщика и удовлетворены потребности потребителя. Из оставшейся части таблицы стоимостей снова выбирают наименьшую стоимость, и процесс распределения запасов продолжают, пока все запасы не будут распределены, а потребности удовлетворены.

Метод Фогеля.

В распределительной таблице по строкам и столбцам определяется разность между двумя наименьшими тарифами. Отмечается наибольшая разность. Далее в строке (столбце) с наибольшей разностью заполняется клетка с наименьшим тарифом. Строки (столбцы) с нулевым остатком в дальнейшем в расчет не принимаются.

20. MO - Сравнение многомерных методов оптимизации. Продолжение

Метод Ньютона. Обладает квадратичной локальной сходимостью. На практике глобальная сходимость не гарантируется.

Методы сопряженных направлений (относительно метода Флетчера-Ривза). Доказано, что ,т.е. последовательность x⁰, xⁿ, x²ⁿ,…,x^gn сходится к x^k суперлинейно.

Если удовлетворяет условию Липшица в окрестности точки x*, то имеем квадратичную сходимость по n шагам: .

К

Преимущества квазиньют-ких мет. по сравнению с методами сопряженных градиентов: требуют в n раз меньше этапов (шагов), т.е. в n раз меньше числа одномерных минимизаций. Сходимость для одного и того же поведения - квадратичная или суперлинейная. Недостатки. загрузка памяти пропорциональна n²; объем вычислений пропорционален n². Выводы: метод Коши+дихотомия – обеспечивает нахождение наиболее точного значения ЦФ, но требует больших затрат машинного времени; метод Б-Ф-Г-Ш с использованием кубичной аппроксимации – самый эффективный по количеству вычислений функции.

Продолжение

18. MO - Методы полиномиальной аппроксимации.

Метод Пауэлла.

Этот метод основан на последовательном применении процедуры оценивания с использованием квадратичной аппроксимации.

Схема алгоритма Пауэлла: пусть x₁ – начальная точка; Δx – выбранная величина шага по оси x.

Шаг 1: Вычислить x₁=x₂+Δx

Шаг 2: Вычислить f(x₁) и f(x₂)

Шаг 3: Если f(x₁) > f(x₂), положить x₃=x₁+2Δx, если f(x₁) ≤ f(x₂), то x₃=x₁-Δx

Шаг 4: Вычислить f(x₃). Найти F_min=min{f₁,f₂,f₃}, x_min равно точке x_i, которая соответствует F_min

Шаг 5: Вычислить

Шаг 6: Проверка на окончание поиска.

Проверить: является ли разность |F_min-f(z)|≤ε; является ли разность |X_min-|≤δ, где ε>0 и δ>0 – заданные точности. Если условия выполняются одновременно, то закончить поиск, иначе переход на Шаг 7.

Шаг 7: Выбрать «наилучшую» точку (X_min или ) и две точки по обе стороны от нее. Обозначить эти точки в естественном порядке и перейти на Шаг 4.

После 5-го шага необходимо провести дополнительную поверку, т.к. точка может находиться за точкой x₃. В этом случае точка заменяется точкой, координата которой вычисляется с учетом заранее установленной длины шага.