4.4. Вектор-градієнт і деякі його властивості
У §4.1 (визначення 4.3) нами був введений вектор-градієнт, координати якого (див. (4.5)) збігалися з першими похідними функції по всім незалежним змінним. Вивчимо більш докладно цей вектор.
Розглянемо
функцію
,
показану на
рис.
4.8. Виберемо довільно в площині
(області визначення) точку
А
с координатами
і знайдемо
напрямок максимального росту поверхні в точці В, що лежить над точкою А, тобто в точці перетину перпендикуляра до площини , проведеного в точці А, і поверхні . Цей напрямок в площині , рух вздовж якого із точки А призводить до найбільш крутого підйому поверхні при відповідному пересуванні по цій поверхні з точки В, спробуємо охарактеризувати деяким вектором (див. рис. 4.8). У малому околі точки А довільна гладка (рівна) поверхня може бути наближена дотичною площиною, рівняння якої запишемо у вигляді
(4.19)
де
,
(4.20)
а
константа
може бути визначена з рівняння
яке
отримано прирівнюванням значень поверхні
і дотичної
площини (4.19) у розглянутій
точці
А
Рис. 4.8
Побудуємо
тепер коло
малого радіуса
з центром
в точці
А
, як це
показано
на рис.
4.9, де зображені лінії рівня поверхні
.
Довільна
точка
на цьому
колі
може бути задана (при відомому
значенні
)
за
допомогою кута повороту
її радіуса-вектора відносно деякого
фіксованого напрямку, наприклад, осі
.
Рис. 4.9
Порушимо питання про відшукання максимального значення функції (4.19) на цьому колі. Точка, у якій буде досягнутий максимум, і покаже напрямок максимального росту дотичної площини (рис. 4.9), а разом з нею і функції в малому околі точки А.
Для
координат довільно обраної точки
на колі
справедливі співвідношення
.
В
точці
розглянутого
кола площина
(4 19) приймає значення
(4.21)
Для визначення напрямку максимального росту дотичної площини (4.19) прирівняємо відповідно до теореми 3.1 першу похідну виразу (4.21) по до нуля:
звідки
(4.22)
Функція
арктангенс, як відомо, багатозначна;
для нас, однак, становлять інтерес лише
ті її значення, що задовольняють умові
.
Таких значень два, вони відрізняються
один
від одного
на 180°. Легко перевірити, що значення
кута
,
визначеного рівностями
(4.23)
по-перше, задовольняє умові (4.22) і, по-друге, забезпечує виконання достатньої умови максимуму, заснованого на від’ємності другої похідної (теорема 3.2). Дійсно,
(4.24)
Підставивши (4.23) у (4.24), одержимо значення другої похідної в стаціонарній точці:
.
Отже, вектор, проекції якого на координатні осі дорівнюють
(4.25)
чи
однаково
з ним
спрямований вектор, проекції якого на
координатні
осі
збігаються
з
числами (4.20), тобто відрізняються від
(4.25) множником
,
вказує
напрямок максимального зростання
(підйому) дотичної площини
,
а,
виходить, і функції
.
При
додаванні 180° до
кута
,
що
задається рівностями (4.23),
одержимо,
очевидно,
вектор, що
вказує напрямок максимального убування
(спуску)
вище
згаданих
поверхонь.
Можна показати, що й у загальному випадку (n + 1)-вимірного простору напрямок максимального росту поверхні вказує вектор з координатами
названий
градієнтом, що, як уже говорилося,
позначається
чи
.
Зауваження 4.5. Математиками доведено [27, 28, 29], що вектор-градієнт ортогональний лініям (поверхням) рівня, на яких поверхня приймає постійні значення. Довжина градієнта, що зветься також нормою й обумовлена рівністю
,
(4.26)
дорівнює швидкості зміни функції в напрямку максимального росту. В екстремальних точках, де функція стаціонарна, норма градієнта дорівнює нулю, тому що в цих точках дорівнюють нулю всі частинні похідні (4.5).
4.5. Метод найшвидшого підйому (спуску)
Дотримуючись образного викладу монографії [29], розглянемо досить частинну задачу пошуку вершини пагорба, що сильно заріс лісом і розташований на низовині. Хоча через лісову хащу подорожанин не тільки не бачить вершини, але навіть не може довідатися форму пагорба, він зрештою досягає вершини (у випадку унімодальності і, тим більше, опуклості поверхні) просто за рахунок того, що він неперервно піднімається нагору. До вершини його приведе будь-як дорога, але якщо він квапиться, то, імовірно, він буде рухатися по тим напрямкам, де нахил пагорба найбільший, за умови, звичайно, що йому під силу такий підйом.
Ця інтуїтивно приваблива ідея сходження по найкоротшій дорозі є основою методу пошуку, відомого під назвою методу найшвидшого підйому, що належить до класу градієнтних методів. В описаному вище географічному прикладі напрямок найбільш крутого підйому змінюється від точки до точки, але в кожній точці визначається єдиним чином. Цей напрямок збігається, як неважко здогадатися, з напрямком перпендикуляра до лінії рівня, чи, по-іншому, вектора-градієнта, проекції якого мають вигляд (4.5).
Існує кілька різновидів градієнтних методів оптимізації, що ефективно «працюютьх» на опуклих (опуклих униз) цільових функціях, однак загальною для них усіх є циклічна повторюваність наступних операцій. Спочатку виконується група пробних експериментів (чи обчислень) для визначення напрямку градієнта. Ці експерименти полягають, власне кажучи, у наближеному (чи точному) диференціюванні досліджуваної функції. Далі виконується просування в напрямку градієнта (чи в зворотному градієнту напрямку - у випадку мінімізації) на деяким чином обрану відстань. Потім усе повторюється - проходить новий цикл (ітерація) процесу.
Якщо просування в напрямку градієнта здійснюється аж до точки, де починається убування функції, то такий алгоритм зветься методу найшвидшого підйому (в задачах мінімізації шукають мінімум у напрямку, зворотному градієнту; тоді ітераційну процедуру називають методом найшвидшого спуску).
Математичний
опис переходу від k
- ї точки
з координатами
до (k+1)
- ї точки
з координатами
при послідовному наближенні до максимуму
методом найшвидшого підйому полягає в
наступному:
де
величина
вибирається в результаті одновимірної
оптимізації - відшукання максимуму
поверхні
при русі з
точки
з координатами
в напрямку вектора-градієнта
,
обчисленого
в точці
.
Траєкторію
пошуку максимуму двовимірної поверхні
методом найшвидшого підйому ілюструє
рис.
4.10, де послідовність точок,
одержаних ітераціями, позначена буквами
В цих точках
лінія градієнта, обумовлена, наприклад,
точкою
,
торкається
поверхні (у даному випадку, лінії) рівня
в точці
.
Така поведінка
траєкторії пошуку породжується його
стратегією: рух уздовж лінії градієнта
в методі найшвидшого підйому супроводжується
переходами з лінії деякого рівня на
лінію більш високого рівня доти, доки
це можливо, тобто до тієї точки
,
де подальше просування вздовж лінії
градієнта призведе
до переходу на поверхню (точніше, лінію)
більш низького рівня. Як і в методі
перерізів,
Рис. 4.10
траєкторія пошуку тут має вигляд сходів; тепер, однак, окремі ланки траєкторії вже не обов'язково рівнобіжні координатним осям. Така свобода вибору напрямку руху істотно підвищує ефективність пошуку.
У випадку задачі пошуку мінімуму всі приведені міркування зберігають силу, слід лише замінити рух у напрямку градієнта рухом у зворотному напрямку.
Застосування даного алгоритму до мінімізації середньоквадратич - ної похибки коригування - опуклої вниз функції - виявляється дуже ефективним і часто знаходить застосування при дослідженні і проектуванні пристроїв і систем зв'язку.
3ауваження 4.6. Для збіжності процедури найшвидшого підйому (спуску) властивість опуклості (опуклості вниз) практично не є необхідною; у цій ситуації часто достатнє виконання більш слабкої умови унімодальності. Однак фізична реалізація процесу настроювання коректора можлива лише при наявності відповідного автоматичного пристрою, тому що проведення «ручного» настроювання в цьому випадку вкрай складне.