Градієнтний метод

Це один із най­по­ши­ре­ні­ших ре­гу­ля­р­них, тобто ме­то­дів, що де­тер­мі­ну­ю­ть­ся, оп­ти­мі­за­ції. Про­цес оп­ти­мі­за­ції по да­но­му ме­то­ду по­ля­гає у ви­зна­чен­ні на­пря­м­ку най­біль­шої змі­ни ці­льо­вої фун­к­ції і пе­ре­мі­щен­ня по цьо­му на­пря­м­ку, тобто на­пря­мок най­біль­шої змі­ни фун­к­ції ви­зна­чає на­пря­мок пе­ре­хо­ду від од­ні­єї то­ч­ки до ін­шої.

Не­хай ці­льо­ва фун­к­ція за­да­на у ви­ді

y=f( x₁, x₂, …, x_n)

І дана функція має безупинні частинні похідні по кожній із змінної.

То­ді grad f, об­чи­с­ле­ний у по­ча­т­ко­вій то­ч­ці N, ха­ра­к­те­ри­зує на­пря­мок, у ко­т­ро­му не­об­хід­но зро­би­ти крок для оп­ти­маль­но­го роз­в'я­зан­ня.

k= 0, 1, 2, … i= 1, 2, …, n

а – де­який па­ра­метр, що ви­зна­чає дов­жи­ну ро­бо­чо­го хо­ду. Як­що а=const і не змі­ню­є­ть­ся на ко­ж­ній іте­ра­ції, то ве­ли­чи­на кро­ку бу­де про­по­р­цій­на ве­ли­чи­ні гра­ді­ен­ту.

x₂

x₁

y⁰()

Обчислення припиняються, якщо

i= 1, 2, …, n

Переваги: простота алгоритму і програми.

Недоліки:

1) не­об­хід­ність ви­ко­ну­ва­ти до­ста­т­ньо скла­д­ні об­чи­с­лен­ня на ко­ж­но­му кро­ку;

2) функція повинна бути диференційовною;

3) ме­тод уск­ла­д­ню­є­ть­ся в тих ви­пад­ках, ко­ли є об­ме­жен­ня на об­ласть рі­шень, що до­пу­с­ка­ю­ть­ся.

Метод найскорішого спуска

Су­т­ність у мо­ди­фі­ка­ції гра­ді­є­н­т­но­го ме­то­ду. Для зме­н­шен­ня кіль­ко­с­ті об­чи­с­лень, по­в'я­за­них з об­чи­с­лен­ням по­хі­д­них у ко­ж­ній то­ч­ці на но­вій іте­ра­ції, у да­но­му ви­пад­ку, пі­с­ля ви­ко­нан­ня пер­шо­го кро­ку про­ва­ди­ть­ся пря­му­ван­ня в то­му ж на­пря­м­ку без об­чи­с­лен­ня по­хі­д­ної. Як­що зна­чен­ня фун­к­ції зро­с­тає (при зна­хо­джен­ні ма­к­си­му­му), то зно­ву ру­ха­є­мо­ся в то­му ж на­пря­м­ку, по­ки фун­к­ція бу­де зро­с­та­ти. Іна­к­ше зно­ву об­чи­с­лю­є­мо зна­чен­ня гра­ді­ен­ту і ру­ха­є­мо­ся в на­пря­м­ку зро­с­тан­ня фун­к­ції.

x₂

y⁰

x₁

Метод Ньютона

Усі ра­ніш роз­г­ля­ну­ті ме­то­ди ма­ють за­галь­ний не­до­лік: по­ві­ль­на збі­ж­ність, як­що по­вер­х­ня ви­тя­г­ну­та, тобто си­ль­но від­рі­з­ня­є­ть­ся від сфе­ри.

Ме­тод Нью­то­на до­зво­ляє усу­ну­ти цей не­до­лік для кіль­кох змін­них за ра­ху­нок об­чи­с­лен­ня дру­гих по­хі­д­них.

Не­хай ці­льо­ва фун­к­ція f(x)=f( x₁, x₂, …, x_n) в окру­зі сво­го оп­ти­маль­но­го зна­чен­ня (х^*)

двічі безупинно диференційовна і її матриця Гессе H(x)

по­зи­ти­в­но ви­зна­че­на. То­ді мо­ж­на ви­ко­ри­с­то­ву­ва­ти ме­тод Нью­то­на для зна­хо­джен­ня оп­ти­маль­но­го зна­чен­ня фун­к­ції на ос­но­ві іте­ра­цій­ної фор­му­ли

де H^-1 – обернена матриця Гессе;

k – номер ітерації;

Ітераційний процес завершиться, якщо виконає нерівність

j= 1, 2, …, n

де зараннє задане мале число.

По­зи­ти­в­на ви­зна­чен­ність ма­т­ри­ці Гес­се за­без­пе­чує збі­ж­ність ме­то­ду. При­чо­му ця збі­ж­ність бу­де ква­д­ра­ти­ч­ної.

Не­до­лік: не­об­хід­ність об­чи­с­лен­ня на ко­ж­ній іте­ра­ції ма­т­ри­ці H^-1, при цьо­му збіль­шу­є­ть­ся кіль­кість об­чи­с­лень і зро­с­тає по­хиб­ка об­чи­с­лень.

У зв'яз­ку з цим для фун­к­ції ба­га­тьох змін­них при ве­ли­ко­му n за­сто­со­ву­ють мо­ди­фі­ко­ва­ний ме­тод Нью­то­на, від­по­ві­д­но до яко­го іте­ра­цій­ний про­цес ви­ко­ну­є­ть­ся по на­сту­п­ній фор­му­лі