- •Множество и функция Множество
- •Функция
- •Поле и пространство Поле
- •Пространство
- •Обозначение векторов и скаляров
- •Вопросы для самопроверки
- •Экстремумы. Критические и стационарные точки. Задача оптимизации Экстремумы
- •Локальные и глобальные минимумы
- •Задача оптимизации
- •Вопросы для самопроверки
- •Ряд тейлора и его свойства Градиент и матрица Гессе
- •Ряд Тейлора
- •Квадратичная форма Квадратичная форма и ее виды
- •Собственные числа и собственные вектора
- •Гессиан и квадратичная функция
- •Вопросы для самопроверки
- •Окончание поиска и численное дифференцирование Критерий останова для методов оптимизации
- •Численное дифференцирование
- •Вопросы для самопроверки
- •Методы дихотомии и трехточечного деления Метод дихотомии
- •Теорема
- •Метод трехточечного деления
- •Вопросы для самопроверки
- •Метод золотого сечения
- •Метод Фибоначчи
- •Метод ньютона, метод секущих Метод Ньютона
- •Метод секущих
- •Вопросы для самопроверки
- •Метод Мюллера
- •Методы градиентного спуска Условные обозначения
- •Градиентный методы спуска с постоянным шагом
- •Градиентный метод спуска с убывающим шагом
- •Вопросы для самопроверки
- •Метод наискорейшего спуска. Овражные задачи Метод наискорейшего спуска
- •Вопросы для самопроверки
- •Метод Ньютона
- •Модифицированные ньютоновские методы Демпфированный метод Ньютона с переменным αk
- •Метод Левенберга-Марквардта
- •Вопросы для самопроверки
- •Методы барзилая-борвейна
- •Стабилизированный метод Барзилая-Борвейна
- •Вопросы для самопроверки
- •Условия вульфа
- •Алгоритм 2: Линейный поиск на основе условий Вульфа
- •Вопросы для самопроверки
- •Методы сопряженных градиентов
- •Методы сопряженных градиентов
- •Дополнение
- •Вопросы для самопроверки
- •Метод бфгш с ограниченной памятью Классический метод бфгш и его проблемы
- •Алгоритм экономии памяти для метода l-bfgs
- •Алгоритм l-bfgs
- •Вопросы для самопроверки
- •Идея метода доверительных областей
- •Основные положения
- •Метод доверительных областей
- •Вопросы для самопроверки
- •Метод хука-дживса Описание метода
- •Вопросы для самопроверки
Множество и функция Множество
Согласно формулировке, восходящей к Георгу Кантору, множество – совокупность некоторых объектов, называемых элементами множества. В этой формулировке от множества как математического объекта больше ничего не требуется, и теория, оперирующая таким определением, носит название наивной теории множеств.
Множества обозначаются заглавными латинскими буквами, например, X, Y . Пример условного обозначения множеств приведен на Рисунке 1.
Р
ис.
1 –
Условное
изображение
множеств
Способы задания множеств:
• Перечисление: X = {x1, x2, x3, x4, x5}.
• Описание свойств элементов xi, определяющих их принадлежность X.
Пример множеств: множество студентов группы, множество фруктов на столе, множество всех целых чисел.
Выделяют также особый вид множества – пустое множество.
В 1901 году Бертран Рассел открыл парадокс, демонстрирующий противоречивость наивной теории множеств. Рисунок 2 иллюстрирует этот парадокс. Предположим, есть обычные множества – множества, не содержащие сами себя в качестве элемента. Есть необычные множества – множества, содержащие сами себя в качестве элемента, обозначим их звездочкой. Тогда будет ли множество всех обычных множеств обычным? Если оно обычное, то оно содержит само себя и, следовательно, оно необычное – получаем противоречие. Если оно необычное, то оно не содержит само себя, и, следовательно, оно обычное – получаем противоречие снова.
Рис. 2 – Иллюстрация парадокса Рассела
Парадокс можно решить, если каким-либо способом запретить существование множества, содержащего само себя. Например, в теории множеств Неймана-БЕрнайса-Гёделя совокупность всех множеств является классом. Этот класс не является множеством и не является элементом никакого класса, таким образом, необычные множества невозможны.
Функция
Функция – бинарное отношение между двумя множествами X и Y , при котором каждому элементу множества X соответствует один и только один элемент множества Y .
На рисунке 3a показано отношение, заданное стрелочками из множества X, состоящего из 5 элементов, в множество Y , состоящее из 5 элементов. Очевидно, это отношение полностью удовлетворяет определению функции. На рисунке 3b также показано отношение, удовлетворяющее определению функции: одному элементу множества X по-преженму соответствует один и только один элемент множества Y , хотя для x4 и x5 это один и тот же элемент y4. На рисунке 3c показано отношение, не удовлетворяющее определению функции сразу по двум причинам: во-первых, элементу x5 не соответствует ни один элемент множества Y , а во-вторых, элементу x4 соответствуют одновременно два элемента множества Y , а именно y4 и y5.
Рис. 3 – Примеры отношений между множествами: (a),(b) функция, (c) не функция
Декартово произведение двух множеств – множество, элементами которого являются все возможные упорядоченные пары элементов исходных множеств.
Обозначение:
X × Y.
Элементы декартова произведения:
(x, y) ∈ X × Y.
Функция как отображение между множествами обозначается с помощью символа двоеточия: (отображение из множества х в множество у):
f : X → Y,
f : X × Y → Z.
Классическое обозначение, которое мы будем употреблять в дальнейшем чаще всего, знакомо читателю со школы:
y = f (x).
