Choliy.NumericaMethods.2011Dec01

3. Екстремуми

У цьому роздiлi розглядається задача знаходження екстремумiв функцiї на iнтервалi [a, b], з точнiстю ε, що задається умовою задачi:

Бiльшiсть методiв попереднього роздiлу можна використовувати для знаходження екстремумiв, замiнивши функцiю на її похiдну, оскiльки за зовнiшнiм виглядом ця задача не вiдрiзняється вiд задачi попереднього роздiлу, окрiм того, коренi рiвняння f(x) = 0 можна шукати мiнiмiзуючи f2(x).

Метод Фiбоначчi. Нехай на iнтервалi [x1, x2] знаходиться найменше значення функцiї f(x). Знайдемо його за умови, що нам дозволяється лише n разiв знаходити значення f(x). Алгоритм розв’язання задачi полягає у поступовому зменшеннi iнтервалу [x1, x2] аж поки його довжина не стане меншою потрiбної точностi ε.

Припустимо спочатку, що всерединi iнтервалу вже є точка x3, i задамося питанням як найбiльш ефективно поставити x4 (рис. 3.1, лiва частина). При цьому:

якщо f(x4) < f(x3), то вiд [x1, x2] переходимо до [x1, x3], довжиною L,

якщо f(x4) > f(x3), то вiд [x1, x2] переходимо до [x4, x2], довжиною R.

Очевидно, що найбiльш ефективно вибрати точку x4 так, щоб L = R. У такому разi iнтервал для кореня на n-й iтерацiї, що рiвен Ln зменшується в однаковiй мiрi. При цьому x4 − x1 = x2 − x3. На останнiй iтерацiї така технологiя, на жаль, не пiдходить. Можна було б поставити останню точку посерединi iнтервалу, але тодi 2Ln = Ln−1, xn = xn−1 i нової iнформацiї отримати не вдасться, тому покладемо останню точку недалеко вiд передостанньої так, щоб вiдстань ε мiж ними була рiвною, наприклад кроку таблицi для заданої функцiї, чи вiдстанi мiж окремими реалiзацiями експерименту: Ln−1 = 2Ln − ε

21

Рис. 3.1: Метод Фiбоначчi.

(рис. 3.1, права частина) Тодi:

Ln−4 = Ln−3 + Ln−2 = 8Ln − 3ε

Коефiцiєнти в правих частинах формул є числами Фiбоначчi:

F0 = 1, F1 = 1, F2 = 2, F3 = 3, F4 = 5, F5 = 8, . . .

що дозволяє узагальнити отриманi формули:

Ln−4 = 8Ln − 3ε = F5Ln − F3ε Ln−k = Fk+1Ln − Fk−1ε.

Для перших двох iнтервалiв по аналогiї запишемо:

(3.3) звiдки знаходимо довжину другого iнтервалу L2 за вiдомої довжини початкового L1 та кiлькостi n дозволених значень функцiї f(x). Координати точок на подальших iтерацiях отримуються за формулою:

xn+1 = xn−2 + xn−1 − xn.

22

Останнiй перехiд у формулi (3.3) потребує доведення. Для цього скористаємося аналiтичним виразом для чисел Фiбоначчi (а для спрощення викладок введемо скорочення для виразiв з коренями):

Тодi:

Fn−1Fn−2 − FnFn−3 =

=15 ((+)n−1 − (−)n−1)((+)n−2 − (−)n−2) − ((+)n − (−)n)((+)n−3 − (−)n−3) =

=15(+)n−3(−)n−3 −(+)2(−) − (+)(−)2 + (+)3 + (−)3 = X,

тому

X = 15(−1)n−3((+)2((+) − (−)) + (−)2((−) − (+))) = 15(−1)n−3((+)2√5 − (−)2√5) = (−1)n−3 = (−1)n−1.

Метод золотого перерiзу. У цьому методi обмеження на кiлькiсть дозволених значень функцiї f(x) знiмається, тому для будь-якого кроку

23

Пошук квадратичною апроксiмацiєю. Взявши на iнтервалi [x1, x2] ще одну точку x3, наприклад методом золотого перерiзу, проводимо через них

параболу:

ϕ(x) = ax2 + bx + c.

Пiдставивши в це рiвняння координати усiх трьох точок (x1, x2, x3) маємо систему трьох лiнiйних рiвнянь, розв’язок якої дає a, b, c, за допомогою яких можна знайти координати екстремума:

x = −2ba.

При a > 0 маємо мiнiмум.

Пошук кубiчною апроксимацiєю. Цей метод, цiлком аналогiчний попередньому, застосовуємо, якщо на кiнцях iнтервалу [x1, x2] вiдомi не тiльки значення функцiї, але i її похiдної:

f(x1) = A, f(x2) = B, f0(x1) = α, f0(x2) = β.

Поклавши для спрощення формул x1 = 0, x2 = q, для y = a + bx + cx2 + dx3

24

Прирiвняємо y0(x) до нуля i знайдемо коренi отриманого квадратного рiвняння:

p

переконуємося, що вона додатня у точцi

x= q(α + z) + w :

α+ β + 2z

що дає нам у цiй точцi мiнiмум. Якщо перед w вибрати знак мiнус - матимемо точку максимуму.

Метод найшвидшого спуску. Є щонайменше два варiанти використання цього методу у обчисленнях. Спочатку розглянемо задачу знаходження найменшого значення функцiї багатьох змiнних f(~x) за умови iснування якогось початкового значення ~x(0). У точцi ~x(0) знайдемо градiєнт функцiї f, який, як вiдомо, спiвпадає з напрямком найшвидшого зростання функцiї. Очевидно, що функцiя спадає у напрямку, протилежному градiєнту i десь на цiй лiнiї є локальний мiнiмум (щонайменше, ми на це сподiваємося). Нехай мiнiмум лежить на вiдстанi λ вiд точки ~x(0), тодi наступною точкою можна вибрати:

На кожному кроцi λ повинна визначатися заново. Це можна зробити будьяким з методiв знаходження екстремумiв, що розглянутi вище у цьому роздiлi.

Розглянемо тепер задачу знаходження коренiв системи нелiнiйних рiвнянь розмiрностi n:

~ ~

f(~x) = 0,

25

або аналогiчну їй задачу знаходження мiнiмуму скалярної функцiї

У точцi, що вiдповiдає кореню, u(~x) = 0, але якраз ця точка є точкою мiнiмуму, бо у всiх iнших точках сума квадратiв буде > 0. Отже, як i ранiше

Рис. 3.2: Метод найшвидшого спуску.

Знайдемо λ ще одним способом. Введемо функцiю вiд λ:

n

Взявши похiдну вiд Φ(λ) по λ i прирiвнявши її до нуля, маємо:

26

що дає розв’язок як умову екстремуму:

Компоненти градiєнта:

Пiдставивши отриманий результат в вираз для λ, маємо спосiб знаходження кроку:

27

Задачi. Задачi цього роздiлу мiстять по двi функцiї, одновимiрну та багатовимiрну. Потрiбно знайти екстремуми вказаних функцiй, вибравши метод самостiйно. У кожному випадку достатньо знайти один екстремум. Точнiсть розв’язання повинна задаватись наперед. Якщо в умовi задачi задано буквеннi сталi, то вони можуть приймати довiльнi значення бiльшi нуля, якi повиннi вводитись у програму користувачем.

28

29

4. Прямi методи для лiнiйних рiвнянь

У цьому роздiлi розглядаються прямi методи для систем лiнiйних рiвнянь

~

A~x = b,

~

де A - невироджена матриця, b - вiдомий вектор правих частин, обидва роз-

−1~

мiром n. Теоретичний результат ~x = A b виявляється надзвичайно неефективним з точки зору обчислень, як i метод Крамера.

Метод Гауса. З рiвнянь поступово виключають невiдоме за невiдомим, шляхом комбiнацiї рядкiв. Так, на першому кроцi система:

для цього до k-го рiвняння системи (всiх, окрiм першого) потрiбно додати перше, помножене на −ak1/a11. Штрихами позначено змiненi процесом коефiцiєнти матрицi. Процес повторюється, аж допоки система рiвнянь не стане трикутною:

30