19. Опуклі функції та їх основні властивості.

Опукла функція — функція, яка визначена на опуклій множині лінійного простору, і задовольняє нерівності

при всіх λ ∈ [0, 1].

Нехай область визначення опуклої функції f(x) лежить в скінченовимірному просторі, тоді f(x) неперервна в будь якій внутрішній точці цієї області.

Властивості опуклих функцій

Нехай x₁, ..., x_m — будь які точки із області визначення опуклої функції f(x), λ₁, ..., λ_m — невід'ємні числа, які в сумі дорівнюють 1. Тоді

.

Якщо f(x) — двічі неперервно-диференційована опукла функція, то матриця її других похідних напівдодатньо визначена.

20. Методи оптимізації диференційованих функцій

Градієнтні методи

Задача 1. Знайти для заданої функції .

Припущення 1. Функція диференційована в .

В градієнтних методах мінімізації за напрямок руху в -й ітерації обирається вектор, протилежний градієнту функції в точці . Різні варіанти градієнтного методу відрізняються один від одного способом вибору крокового множника в -й ітерації, а також тими чи іншими способами (різницевої) апроксимації градієнтів.

21. Необхідні умови мінімуму в задачах оптимізації.

Теорема.1. Якщо диференційована функція  має в точці  екстремум, то .

Теорема 2. У точці екстремуму функції кількох змінних кожна її частинна похідна першого порядку або дорівнює нулю, або не існує.

Означення. Точки, в яких частинні похідні першого порядку деякі функції дорівнюють нулю або не існують, називаються критичними точками.

Достатні умови існування екстремуму.

Теорема. Нехай  є критична точка функції , яка в цій точці є неперервною, і нехай існує окіл точки , в якому  має похідну , крім, можливо, точка . Тоді:

1) якщо в інтервалі  похідна , а в інтервалі  похідна , то  є точкою максимуму функції ;

2) якщо в інтервалі , а в інтервалі  то  є точкою мінімуму функції ;

3) якщо в обох інтервалах  і  похідна має той самий знак ( набуває або тільки додатних, або тільки від’ємних значень), то  не є екстремальною точкою функції .

22. Теорема Куна-Таккера.

В математиці, умови Каруша — Куна — Такера — необхідні умови оптимальності розв'язку задачі нелінійного програмування, при виконанні деяких умов регулярності. Нехай маємо наступну задачу оптимізації:

при виконанні умов

де — функція, що мінімізується, — функції обмежень-нерівностей і — функції обмежень-рівностей.

Необхідні умови

Припустимо, що задана функція мети (функція значення якої слід мінімізувати) і обмежуючі функції і .

Позначимо підмножину для елементів якої в обмеженнях-нерівностях виконується рівність Припустимо, що дані функції є неперервно диференційованими в точці . Якщо є локальним мінімумом, що задовольняє деякі умови регулярності, то існують константи, і такі що виконуються властивості:

Стаціонарність

Допустимість

Двоїста допустимість

Спряженість

Умови регулярності

• Найпоширенішою умовою регулярності є умова лінійної незалежності градієнтів:

якщо для локального мінімуму вектори — лінійно незалежні, то в точці виконуються умови Каруша — Куна — Такера.

• Умови Мангасар'яна — Фромовіца. Якщо для локального мінімуму існує вектор для якого:

1. 

2. 

3. Вектори — лінійно незалежні,

то в точці виконуються умови Каруша — Куна — Такера.