- •Множество и функция Множество
- •Функция
- •Поле и пространство Поле
- •Пространство
- •Обозначение векторов и скаляров
- •Вопросы для самопроверки
- •Экстремумы. Критические и стационарные точки. Задача оптимизации Экстремумы
- •Локальные и глобальные минимумы
- •Задача оптимизации
- •Вопросы для самопроверки
- •Ряд тейлора и его свойства Градиент и матрица Гессе
- •Ряд Тейлора
- •Квадратичная форма Квадратичная форма и ее виды
- •Собственные числа и собственные вектора
- •Гессиан и квадратичная функция
- •Вопросы для самопроверки
- •Окончание поиска и численное дифференцирование Критерий останова для методов оптимизации
- •Численное дифференцирование
- •Вопросы для самопроверки
- •Методы дихотомии и трехточечного деления Метод дихотомии
- •Теорема
- •Метод трехточечного деления
- •Вопросы для самопроверки
- •Метод золотого сечения
- •Метод Фибоначчи
- •Метод ньютона, метод секущих Метод Ньютона
- •Метод секущих
- •Вопросы для самопроверки
- •Метод Мюллера
- •Методы градиентного спуска Условные обозначения
- •Градиентный методы спуска с постоянным шагом
- •Градиентный метод спуска с убывающим шагом
- •Вопросы для самопроверки
- •Метод наискорейшего спуска. Овражные задачи Метод наискорейшего спуска
- •Вопросы для самопроверки
- •Метод Ньютона
- •Модифицированные ньютоновские методы Демпфированный метод Ньютона с переменным αk
- •Метод Левенберга-Марквардта
- •Вопросы для самопроверки
- •Методы барзилая-борвейна
- •Стабилизированный метод Барзилая-Борвейна
- •Вопросы для самопроверки
- •Условия вульфа
- •Алгоритм 2: Линейный поиск на основе условий Вульфа
- •Вопросы для самопроверки
- •Методы сопряженных градиентов
- •Методы сопряженных градиентов
- •Дополнение
- •Вопросы для самопроверки
- •Метод бфгш с ограниченной памятью Классический метод бфгш и его проблемы
- •Алгоритм экономии памяти для метода l-bfgs
- •Алгоритм l-bfgs
- •Вопросы для самопроверки
- •Идея метода доверительных областей
- •Основные положения
- •Метод доверительных областей
- •Вопросы для самопроверки
- •Метод хука-дживса Описание метода
- •Вопросы для самопроверки
Поле и пространство Поле
Поле – множество, над которым определены операции сложения, умножения и выполнены аксиомы поля:
1. Коммутативность сложения: a + b = b + a
2. Ассоциативность сложения: a + (b + c) = (a + b) + c
3. Существование нуля: a + 0 = a
4. Существование противоположного элемента: a + (−a) = 0
5. Коммутативность умножения: a · b = b · a
6. Ассоциативность умножения: a · (b · c) = (a · b) · c
7. Существование единицы: a · 1 = a
8. Существование обратного элемента: a · a−1 = 1
9. Дистрибутивность умножения относительно сложения: a · (b + c) = a · b + a · c
10. Нетривиальность поля: 1 /= 0
Примеры полей:
• Рациональные числа: Q Действительные числа: R Комплексные числа: C
Натуральные и целые не являются полями.
Пространство
Пространство – множество с некоторой добавочной структурой. Так повседневный опыт дает интуитивное представление о трёхмерном евклидовом пространстве.
Что понимается под добавочной структурой? Рассмотрим на примере. Пространство, в котором мы живем – это не просто множество точек, эти точки находятся в некотором отношении. Например, между двумя точками нашего пространства можно найти расстояние – длину отрезка, соединяющего эти точки. Кроме того, в нашем пространстве можно определить направление отрезка между двумя точками, то есть это будет не просто отрезок, а вектор.
Пространство определяется над полем. Это значит, что элементы (точки) пространства ассоциированы с элементами соответствующего поля. Например, если пространство опре- делено над полем R, то координаты его точек – действительные числа.
В данном курсе нам важно рассмотреть следующие виды пространств:
1. Векторное пространство
2. Метрическое пространство
3. Нормированное векторное пространство
4. Полное метрическое пространство
5. Банахово пространство
6. Евклидово пространство
7. Гильбертово пространство
Поясним, что представляет из себя каждое из этих пространств.
Векторное пространство – набор векторов, скаляров и операций между ними:
+ (сложение векторов)
· (умножение на скаляр)
Нормированное векторное пространство – векторное пространство V с заданной на нем нормой
p : V → R1 ≥ 0. (длина вектора, фия сопоставляет вектору некоторое неотрицательное число)
Метрическое пространство – непустое множество X, в котором определено расстояние (метрика):
d : X × X → R1 ≥ 0.(фия котораядвум элем мнова х сопоставляет метрику неотриц скаляр)
|
|
|
Векторное |
Нормированное |
Метрическое |
Полное метрическое пространство – метрическое пространство (X, d), на котором любая фундаментальная последовательность {xn} сходится.
Фундаментальная последовательность – это такая последовательность xn, что, начиная с некоторого номера N расстояние между двумя элементами, номера которых больше N, становится меньше произвольной малой величины ε:
∀ε > 0, ∃N ∈ N: d (xn, xm) < ε для всех m, n > N.
Понятие сходимости означает, что предел последовательности xn существует и равен некоторому числу x∗:
limn→∞ xn = x∗.
На первый взгляд неочевидно, что существуют неполные пространства, то есть такие, в которых фундаментальные последовательности не сходятся. Приведем пример такого пространства.
Пусть пространство M определено над полем Q, и метрика определена как длина отрезка
d(x, y) = |x − y|.
Тогда
последовательность
является
последовательностью
Коши:
При этом ее предел limn→∞ xn = √2 ∈/ Q, следовательно, M не является полным.
Банахово пространство – нормированное векторное пространство, полное по метрике, порожденной нормой. Является основным объектом функционального анализа.
Евклидово пространство – конечномерное вещественное векторное пространство с введённым на нём положительно определённым скалярным произведением:
V × V → R1 ≥ 0
Гильбертово пространство – обобщение евклидова пространства, допускающее бесконечную размерность.
