Метод покоординатного спуска

Рассмотрим еще один простой метод безусловной опти­мизации, идея которого состоит в том, чтобы свести опти­мизацию в многомерном пространстве к многократно по­вторяемой одномерной оптимизации. Метод состоит в сле­дующем:

1. В начальной точке х⁰ фиксируем все координаты, кроме xi.

2. Определяем такое значение x₁, при котором целевая функция достигает минимума. Это одномерная задача, так как все переменные, кроме х₁ фиксированы.

3. Фиксируем найденную координату x₁ и все остальные, кроме х₂.

4. Определяем х₂ из условия минимума целевой функции и т.д.? пока не переберем все координаты.

5. Проверяем условия окончания счета и, если они не вы­полнены, возвращаемся к пункту 1, приняв полученную точку за х⁰. В качестве условия прекращения счета мож­но взять малое изменение функции после поочередного изменения всех координат или малые изменения всех координат.

О методах второго порядка

Методы второго порядка предусматривают использова­ние вторых частных производных целевой функции. По­скольку для квадратичной задачи целевая функция l/2(Qx, x) + (с, х), необходимое условие экстремума дает

Получаем критическую точку х* = -Q^-1 с.

Если исходная точка х⁰и градиент в ней g ⁰ = Qx⁰ + с, то выражение для х можно записать так:

Другими словами, можно найти критическую точку за один шаг из любой точки. Но идти надо не по антиградиенту, а сначала умножить антиградиент на Q^-1 (см. формулу 2.6). При положительно определенной квадратичной форме кри­тическая точка будет точкой минимума. Но для этого надо знать обратную матрицу Q^-1 или (что равносильно) решить систему линейных уравнений Qx + с = 0. При большой раз­мерности задачи это требует большого объема вычислений (порядка n³ умножений).

О методах прямого поиска

Методами прямого поиска называются методы, в ко­торых используются только значения функции и не ис­пользуются ее производные (градиент и матрица Гессе). Таким образом, они относятся к методам нулевого по­рядка. Если известно градиентное направление, то отно­сительно любого направления можно установить, являет­ся ли оно улучшающим (по знаку его скалярного произ­ведения на градиент). Если же неизвестно градиентное направление, то относительно любого направления ничего не ясно, если пробный шаг по нему был не удачным, так как всегда можно предположить, что этот шаг был велик. Другими словами, если есть возможность вычис­ления градиента, то этой возможностью пренебрегать не следует, так как методы прямого поиска, как правило, менее эффективны, чем методы первого и второго поряд­ка.

Методы одномерной минимизации

Существует много методов поиска минимума функции одной переменной на заданном отрезке. Как правило, функция предполагается унимодальной, т.е. имеющей один минимум. Для гладких унимодальных функций точка минимума совпадает с точкой, в которой производная Функции равна нулю. Поэтому вместо точки минимума Функции f(x) можно искать корень уравнения f (х) = 0.

Вопросы для самоконтроля:

1.Методы спуска для задач безусловной оптимизации.

2.Метод Ньютона для задач безусловной оптимизации.

3.Квазиньютоновские методы.

Рекомендуемая литература:

1.Измаилов А.Ф., Солодов М.В. Численные методы оптимизации. М.: Физматлит, 2003.

2.Банди Б. Методы оптимизации. Вводный курс. М.: Радио и связь, 1988.

Лекция 12. Задачи с линейными ограничениями

Содержание лекционного занятия:

• Этапы развития информационных систем

• Задачи с ограничениями-равенствами

• Задачи с ограничениями-неравенствами

• Метод проекции градиента

• Метод приведенного градиента

Ограничения в задачах оптимизации являются отраже­нием реальных ситуаций, имеющих место в технических, экономических, социальных и др. сложных системах. Огра­ничены различные виды ресурсов, наличествуют связи, за­висимости между теми или иными переменными, описы­вающими реальные процессы и т.д.

Линейные ограничения — это частный случай ограни­чений. Но многие задачи сводятся к задачам оптимизации именно с линейной системой ограничений. Относительно допустимой области при наличии линейной системы ограничений справедливо все, что сказано об ОДР в раз­деле «Линейное программирование». Однако наличие нелинейной целевой функции приводит к тому, что тео­рия линейного программирования уже не применима. В частности, точкой минимума может быть и внутренняя точка допустимой области, а крайние точки (вершины многогранника) уже не играют той исключительной роли, как в линейных задачах. Минимум может достигаться во внутренней или в граничной точке, как в вершине, так и на граничных линейных многообразиях различной раз­мерности.