4.6. Спрощені градієнтні процедури

Одновимірний пошук, який слід проводити в методі найшвидшого спуску (підйому), є дуже громіздкою процедурою, що вимагає часом великих часових витрат, а також деякого ускладнення програмної реалізації в порівнянні зі спрощеними градієнтними процедурами.

Однією з важливих процедур такого типу є градієнтний пошук з фіксованим (постійним) кроком. Координати точок, що відповідають ітераціям, як і раніше, описуються рівністю:

так що збільшення кожної з координат при переході з k - ї спробної точки в (k + 1) - у дорівнює

Для руху з постійним кроком слід зажадати, щоб довжина кроку

залишалася постійною (не залежною від номера ітерації k) величиною. Якщо довжина кроку задана (позначимо її буквою ), то величину на кожнім кроці слід вибирати з умови

Вигляд траєкторії пошуку екстремуму в даному випадку характеризує рис. 4.11. Як видно, розглянута процедура дозволяє «швидким кроком» наблизитися до точки екстремуму, однак надалі спостерігається блукання в досить «великому» околі екстремальної точки.

Рис. 4.11 Рис. 4.12

Практично зручно використовувати кілька значень величини , наприклад, два. У віддалених від екстремуму точках параметр вибирають досить великим, при підході до екстремальної точки (щоб її не «проскочити») переходять до меншого значення (рис. 4.12).

Описаний метод позбавлений, як сказано, від необхідності проводити на кожнім кроці одновимірну оптимізацію. Але він істотно спирається на обчислення точних значень похідних, завдяки чому виявляється можливим рух уздовж лінії градієнта. Однак ряд експериментальних досліджень, проведених розроблювачами коректорів [15], показав, що заміна похідних

величинами

де

(при цьому зберігається інформація тільки про знак похідної), дозволяє успішно настроювати коректори навіть за допомогою такої спрощеної градієнтної процедури, що використовує до того ж кроки фіксованої довжини (рис. 4.13). Даний алгоритм настроювання коректорів, що одержав назву знакового [15], знайшов широке поширення в апаратурі високошвидкісної передачі дискретної інформації (при цьому реалізують автоматичний режим настроювання).

Рис. 4.13

4.7. Процедури підвищеної ефективності

Швидкість збіжності методу найшвидшого підйому (спуску) при

вирішенні ряду обчислювальних задач виявляється недостатньою. Це цілком з'ясовно, тому що зміни змінних при переході від однієї ітерації до наступної стають усе меншими (див. рис. 4.10) і в міру наближення до екстремуму спостерігається істотне уповільнення процесу. Метод найшвидшого підйому (спуску), дуже ефективний при русі з точок, далеких від екстремуму (і тому часто використовуваний на початковому етапі оптимізації), може бути істотно поліпшений на завершальному етапі пошуку екстремуму^.

Сформулюємо одну з можливих ідей поліпшення методу найшвидшого підйому. У загальному випадку траєкторія пошуку максимуму має вигляд ламаної лінії (див. рис. 4.10). При цьому зиґзаґоподібна траєкторія пошуку цілком лежить в області, обмеженій двома штрих-пунктирними лініями, що перетинаються в точці екстремуму. Це наводить на думку про те, що пошук із точки слід вести не в напрямку лінії градієнта до точки , а уздовж прямої . У цьому випадку точка максимуму може бути знайдена після трьох одновимірних переміщень від точки до у напрямку градієнта, від точки до також у напрямку градієнта і з точки в напрямку прямої .

Викладений метод прискорення найшвидшого підйому являє собою двовимірний варіант прискореного методу рівнобіжних дотичних (УПК) [29].

Однак найбільшу популярність серед фахівців, що використовують при дослідженнях, проектуванні і розрахунках методи оптимізації, набув метод сполучених градієнтів, суть якого зводиться до наступного.

Початкові операції тут такі ж, як і в методі найшвидшого підйому: визначається напрямок градієнта в початковій точці (рис. 4.14) і робиться крок у напрямку градієнта (або в зворотному напрямку - при відшуканні мінімуму) до точки , максимізуючої функцію на прямій лінії, обумовленій вектором-градієнтом. Знайдений на цьому етапі градієнт нормується

При цьому проекції вектора мають вигляд

У точці аналогічним образом обчислюється градієнт , але крок робиться в напрямку вектора , що є лінійною комбінацією (тобто сумою з деякими коефіцієнтами) вектора і знову знайденого вектора - градієнта (рис. 4.14):

Рис. 4.14

де

Новий напрямок називається «сполученим». По цьому напрямку знову проводиться одновимірний пошук і знаходиться екстремальна точка . Якщо необхідний ступінь близькості значень функції в сусідніх спробних точках (у даному випадку і ) не досягнута, знову визначається градієнт і дається переміщення в напрямку вектора , рівного лінійної комбінації вектора і градієнта , і т.д.

Якщо функція є квадратичною (як, наприклад, ), знаходження екстремуму гарантується в точності за n+1 кроків, як це показано на рис. 4.14 (нагадаємо, що n+1 - число незалежних змінних). У загальному ж випадку доводиться переходити до нового циклу перебору всіх змінних g₀, g₁, …, g_n. Даний метод, мабуть, є найбільш ефективним серед відомих методів, що використовують відомості лише про перші похідні.

 Прикладом ітерацій можуть слугувати приведені вище п’ять послідовних обчислень значень x_k і f(x_k), k = 1, 2, …, 5, при визначенні меж інтервалу пошуку максимуму функції f(x) = -(100 - x)².

 Дана таблиця є виправленим варіантом таблиці 22 із [28], в якій дані з помилками значення n з першого рядка.

 Тут і в подальшому для стислості точку (n+1)–вимірного простору з координатами x₀, x₁, …, x_n будемо позначати x. Таким чином, на відміну від функції однієї змінної f(x), яку ми вивчали у попередньому розділі, функція f(x) залежить від n+1 змінних.

 Поверхнею рівня функції f(x₀,x₁, …, x_n) звуть множину точок області x з координатами x₀ ,x₁, …, x_n, які задовольняють рівнянню f(x₀,x₁, …, x_n) = c, c = const.

У випадку двовимірних поверхонь f(x₀, x₁) говорять про лінії рівня f(x₀, x₁)= с, c = const. Лінії рівня дозволяють наочно передавати характер зміни поверхні, не користуючись аксонометрією, і використовуються в різних прикладних питаннях, наприклад, в топографії.

 Геометричний смисл рівностей (4.20) полягає в тому, що похідні поверхні і дотичної площини до цієї поверхні (похідні обчислюються у точці дотику) співпадають.

 Довжина і напрям градієнту є локальними характеристиками поверхні на протилежність до такої глобальної властивості (тобто яка характеризує усі точки поверхні), як, наприклад, унімодальність.

 Ця обставина показує, що назва методу найшвидшого під’йому (спуску) є у певному розумінні невдалою.

74