13.Метод покоординатного спуску. Алгоритм розрахунку.

Введение

Рассмотрим задачу поиска минимума функции  , записываемую в виде:

(1)

В этой статье описан метод покоординатного спуска, решающий поставленную задачу. Также приведена теорема сходимости метода покоординатного спуска.

Метод покоординатного спуска

Алгоритм

Вход: функция 

Выход: найденная точка оптимума 

1. Инициализация некоторым значением 

2. повторять:

   • для 

     1. фиксируем значения всех переменных кроме  , получая одномерную функцию 

     2. проводим одномерную оптимизацию по переменной  , любым методом одномерной оптимизации

     3. если выполен критерий останова (варианты описаны ниже), то возвращаем текущее значение 

Критерий останова

Критерии остановки процесса приближенного нахождения минимума могут быть основаны на различных соображениях. Некоторые из них:

1. 

2. 

Здесь   - значение, полученное после  -го шага оптимизации.   - наперед заданное положительное число.

Сходимость метода

Легко убедится, что существуют функции, когда метод координатного спуска не приводит даже в локальный оптимум.

Пусть линии уровня образуют истинный овраг (рис.2), когда спуск по любой координате приводит на <<дно>> оврага, а любое движение по следующей координате (пунктирная линия) ведет на подъем. Никакой дальнейший спуск по координатам в данном случае невозможен, хотя минимум еще не достигнут.

Теорема о сходимости метода покоординатного спуска.

Для простоты рассмотрим функцию двух переменных  . Выберем некоторое начальное приближение   и проведем линию уровня через эту точку. Пусть в области  , ограниченной этой линией уровня, выполняются неравенства, означающий положительную определенность квадратичной формы:

Тогда спуск по координатам сходится к минимуму из данного начального приближения, причем линейно.

14. Приклад побудови канонічної форми задачі лп

Загальна лінійна економіко-математична модель економічних процесів та явищ – так звана загальна задача лінійного програмування подається у вигляді:  (3.1) за умов:  (3.2)  (3.3) Отже, потрібно знайти значення змінних x₁, x₂, …, x_n, які задовольняють умови (3.2) і (3.3), і цільова функція (3.1) набуває екстремального (максимального чи мінімального) значення. Для довільної задачі математичного програмування у п.2.1 були введені поняття допустимого та оптимального планів.

18) Умовний та безумовний екстремуми функції

У теорії дослідження функцій задача на відшукання екстремальних значень не містить ніяких додаткових умов щодо змінних і такі задачі належать до задач відшукання безумовного екстремуму функції. Локальний та глобальний екстремуми тоді визначаються з необхідних та достатніх умов існування екстремуму функції.

Нагадаємо, що необхідна умова існування локального екстремуму функції двох змінних формулюється так: для того, щоб точка   була точкою локального екстремуму, необхідно, щоб функція   була неперервною і диференційовною в околі цієї точки і перші частинні похідні за змінними   та   у цій точці дорівнювали нулю:

.

Точка   називається критичною.

Достатня умова існування локального екстремуму функції двох змінних формулюється так: для того, щоб критична точка   була точкою локального екстремуму, достатньо, щоб функція   була визначена в околі критичної точки   та мала в цій точці неперервні частинні похідні другого порядку.

Тоді, якщо

,

то в точці   функція   має екстремум, причому, якщо

,

тоді   — точка локального максимуму функції  , а якщо

,

тоді   — точка локального мінімуму функції  .

У разі, якщо

,

то в точці   функція   екстремуму не має.

Якщо

,

то питання про існування екстремуму залишається відкритим.

Якщо задача полягає у відшуканні локального чи глобального екстремуму деякої функції за умови, що на змінні такої функції накладаються додаткові обмеження, то маємо задачу пошуку умовного екстремуму функції. Термін «умовний» означає, що змінні задачі мають задовольняти деякі умови.

Розглянемо таку задачу для випадку двох змінних:

знайти   (8.4)

за умови, що  . (8.5)

Найпростіший спосіб розв’язання задачі такого виду полягає в тому, що спочатку з обмеження (8.5) знаходять вираз однієї змінної через іншу. Приміром, визначають   через  . Отриманий вираз виду  підставляють у функцію (8.4), що після цього стає функцією однієї змінної  , і далі знаходять її безумовний екстремум.

Якщо деяка точка   є точкою екстремуму функції  , то точка   є точкою умовного екстремуму функції (8.4) за умови (8.5).

Однак не завжди вдається відшукати аналітичний вираз однієї змінної через іншу в умові (8.5). Часто це досить важко здійснити або неможливо. Також іноді складно узагальнити даний спосіб для функції n змінних, на які накладено m обмежень. Тому описана досить проста ідея зведення задачі відшукання умовного екстремуму функції кількох змінних до задачі на безумовний екстремум функції однієї змінної не може бути використана як основа універсального методу розв’язування задач на умовний екстремум. Цікавий метод розв’язування задач типу (8.4), (8.5) запропонував Лагранж.