4. Метод найшвидшого підйому

Як відзначалося вище, більшість правил вибору напрямку для є „недальновидними” у тому сенсі, що в них використовується інформація відносно , яка відноситься тільки до поточної пробної крапки . Нижче описується добре відомий обчислювальний процес такого типу, застосовуваний на кроці 2.

Метод найшвидшого підйому з оптимальною довжиною кроку. а) Приймемо всі у пробній точці . б) Знайдемо , при якому максимізується . в) На кроці 2 приймемо що, всі .

Цей підхід уперше був запропонований у 1847 р. Коші. Ідея використовувати в якості напрямку набір часткових похідних, звичайно іменований градієнтом функції у точці , що позначається скорочено символом , є інтуїтивно привабливою. Нестрого говорячи, градієнт являє собою напрямок якнайшвидшого зростання в околиці точки . Проте даний підхід не може забезпечити швидку збіжність до оптимального рішення, оскільки, як і для всіх „недалекоглядно” визначених напрямків, ріст значень функції може сповільнитися, як тільки ми зрушимося по обраному напрямку за межі безпосередньої околиці точки .

Так називана похідна по напрямку функції , взята у точці х по напрямку d₁, d₂, ..., d_n, визначається як межа виразу

(І)

при прагненні до нуля позитивного h. Якщо врахувати допущення про гладкість , приведені в раніше, ця межа дорівнює

(ІІ)

Якщо d_j нормовані таким чином, що значення знаменника (П) дорівнює 1, то похідна по напрямку досягає максимуму при d_j, пропорційних dc/dx_j. Іншими словами, швидкість приросту значення у розрахунку на одиницю евклідової відстані є найбільшою при русі в напрямку градієнта. Саме в цьому сенсі і говориться, що градієнт є напрямок найшвидшого підйому.

Модифікація методу найшвидшого підйому. Попередній алгоритм називається методом першого порядку, оскільки в ньому використовуються тільки часткові похідні першого порядку. Якщо його не модифікувати, метод найшвидшого підйому зазвичай забезпечує повільну збіжність після перших ітерацій, а також має інші неприємні особливості. Так, наприклад, властивість ортогональності обумовлює зигзаговидність руху. Існує кілька чисельних методів, що дозволяють модифікувати метод найшвидшого підйому таким чином, щоб уникнути подібних зиґзаґів, що прискорює збіжність.

Один з таких методів, названий методом Ньютона – Рафсона, використовує напрямок, установлений виходячи з квадратичної апроксимації цільової функції. У цьому методі другі часткові похідні використовуються для побудови середньозваженої перших часткових похідних; метод відноситься до категорії так званих модифікованих градієнтних методів.

Зокрема, знаходяться на основі рішення системи лінійних рівнянь

(7.10)

де передбачається, що таке, що (7.10) завжди має регулярне рішення в кожній пробній точці x^k. Цей метод другого порядку у випадку його застосування до квадратичної функції дозволяє при будь-якому х⁰ за одну ітерацію потрапити в стаціонарну точку. Якщо ж прийняти всі , то рішення системи (7.10) еквівалентно рішенню системи dc/dx_j = 0 для j = 1, 2, . . ., п.

При іншому методі прискореного пошуку, іменованому методом субрелаксації, довжина кроку приймається меншою, ніж оптимальна. Безліч корисних модифікацій методу якнайшвидшого підйому занадто велика, а питання є занадто спеціальним, щоб розглядати його більш докладно в дійсному контексті.