- •Множество и функция Множество
- •Функция
- •Поле и пространство Поле
- •Пространство
- •Обозначение векторов и скаляров
- •Вопросы для самопроверки
- •Экстремумы. Критические и стационарные точки. Задача оптимизации Экстремумы
- •Локальные и глобальные минимумы
- •Задача оптимизации
- •Вопросы для самопроверки
- •Ряд тейлора и его свойства Градиент и матрица Гессе
- •Ряд Тейлора
- •Квадратичная форма Квадратичная форма и ее виды
- •Собственные числа и собственные вектора
- •Гессиан и квадратичная функция
- •Вопросы для самопроверки
- •Окончание поиска и численное дифференцирование Критерий останова для методов оптимизации
- •Численное дифференцирование
- •Вопросы для самопроверки
- •Методы дихотомии и трехточечного деления Метод дихотомии
- •Теорема
- •Метод трехточечного деления
- •Вопросы для самопроверки
- •Метод золотого сечения
- •Метод Фибоначчи
- •Метод ньютона, метод секущих Метод Ньютона
- •Метод секущих
- •Вопросы для самопроверки
- •Метод Мюллера
- •Методы градиентного спуска Условные обозначения
- •Градиентный методы спуска с постоянным шагом
- •Градиентный метод спуска с убывающим шагом
- •Вопросы для самопроверки
- •Метод наискорейшего спуска. Овражные задачи Метод наискорейшего спуска
- •Вопросы для самопроверки
- •Метод Ньютона
- •Модифицированные ньютоновские методы Демпфированный метод Ньютона с переменным αk
- •Метод Левенберга-Марквардта
- •Вопросы для самопроверки
- •Методы барзилая-борвейна
- •Стабилизированный метод Барзилая-Борвейна
- •Вопросы для самопроверки
- •Условия вульфа
- •Алгоритм 2: Линейный поиск на основе условий Вульфа
- •Вопросы для самопроверки
- •Методы сопряженных градиентов
- •Методы сопряженных градиентов
- •Дополнение
- •Вопросы для самопроверки
- •Метод бфгш с ограниченной памятью Классический метод бфгш и его проблемы
- •Алгоритм экономии памяти для метода l-bfgs
- •Алгоритм l-bfgs
- •Вопросы для самопроверки
- •Идея метода доверительных областей
- •Основные положения
- •Метод доверительных областей
- •Вопросы для самопроверки
- •Метод хука-дживса Описание метода
- •Вопросы для самопроверки
Обозначение векторов и скаляров
Скаляр обозначается курсивом: x ∈ R
Вектор обозначается жирной буквой: x ∈ Rn,
где x = (x1, x2, . . . xn)T. Вектор состоит из скалярных величин. Значок T означает транспонирование, таким образом, x – вектор- столбец. В курсе мы будем рассматривать именно векторы-столбцы.
В качестве примера нотации запишем скалярную функцию векторного аргумента: y = f (x). у - скаляр х - вектор.
Вопросы для самопроверки
1. Докажите, что последовательность (1) сходится к числу √2.
2. Пусть F754 – поле, определенное на множестве всех чисел, представимых в компьютере в соответствии со стандартом IEEE 754-2008. Является ли метрическое пространство над этим полем полным?
3. Пусть некоторая программа порождает фундаментальную последовательность (1). При этом она исполняется на компьютере произвольной архитектуры. Предложите архитектуру этого компьютера, если известно, что на нем последовательность (1) сойдется за 16 итераций.
Экстремумы. Критические и стационарные точки. Задача оптимизации Экстремумы
Экстремум – максимальное или минимальное значение функции на заданном множестве.
fmin = min f (x), fmax = max f (x).
x∈X x∈X
Точка, в которой достигается экстремум, называется точкой экстремума.
xmin = arg min f (x), xmax = arg max f (x).
x∈X x∈X
Экстремумы могут быть локальные и глобальные, как показано на рисунке 1.
Рис. 1 – Локальные экстремумы отмечены красным, глобальный экстремум отмечен синим.
Локальные и глобальные минимумы
Точка x∗ является локальным минимумом, если для любой другой точки x ∈ Uε(x∗), где Uε – ε-окрестность x∗ в области определения функции, выполняется неравенство
f (x∗) ≤ f (x).
Точка x∗ является глобальным минимумом, если для любой другой точки x ∈ X, где X – область опреде- ления функции, выполняется неравенство
f (x∗) ≤ f (x).
Аналогичным образом определяются локальные и глобальные максимумы. По числу экстремумов функции делятся на: унимодальные (с 1 экстремумом), многоэкстремальные.
Критические точки функции f (x) – точки, в которых производная f ′(x) не существует или обращается в нуль. Разновидность: Стационарные точки функции f (x) – точки, в которых производная f ′(x) обращается в нуль.
Стационарные точки, в свою очередь, делятся на: экстремумы, седловые точки (точки перегиба).
Важное значение для поиска экстремумов имеет лемма Ферма.
Лемма Ферма
Производная f ′(x) дифференцируемой функции в точке экстремума равна нулю .
Н
еобходимое,
но
недостаточное
условие
экстремума
гласит:
экстремум
достигается
в
критической
точке.
Это следует из леммы Ферма.
Д
остаточных
условий
экстремума
два,
они
взаимозаменяемые.
Рассмотрим
только
условия
минимума,
по-
скольку для максимума выкладки будут
аналогичными.
Первое достаточное условие минимума иллюстрирует рисунок 2.
Оно формулируется следующим образом. Пусть функция f (x) принадлежит классу непрерывных функций C0, т.е. не претерпевает разрывов. Пусть x∗ – критическая точка. Пусть в окрестности этой точки есть две односторонние производные, левая f ′ - (x) < 0 и правая f ′ + (x) > 0. Тогда x∗ – минимум.
В
торое
достаточное
условие
минимума
иллюстрирует
рисунок
Оно формулируется следующим образом. Пусть f (x) дважды дифференцируема в точке x∗. Если первая производная функции в этой точке нулевая, а вторая – положительная, то x∗ – минимум.
В качестве примера функции, для определения экстремума которой можно применить оба критерия, рассмотрим f (x) = x2. Поведение функции и ее производных иллюстрирует рисунок 4.
П
ример
функции,
у
которой
имеется
стационарная
точка,
не
являющаяся
экстремумом,
показан
на
рисунке
5.
Это
f
(x)
= x3,
ее
стационарная
точка
x
=
0 –
точка
перегиба.
При этом и первая, и вторая производная ее нулевые. Как определить точку перегиба в этом случае? Если первая и вторая производные функции равны нулю, то проверяются производные высших порядков.
Е
сли
первая ненулевая производная имеет
четный порядок m
=
2k,
k ∈
Z, то это точка экстремума. Если первая
ненулевая
производная
имеет
нечетный
порядок
m
=
2k
+
1,
k ∈
Z, то
это
точка
перегиба.
