теория_непрмо

Определения, теоремы леммы из билетов по подготовки к МО

1 билет

Согласно формулировке, восходящей к Георгу Кантору:

Множество – совокупность некоторых объектов, называемых элементами множества. В этой формулировке от множества как математического объекта больше ничего не требуется, и теория, оперирующая таким определением, носит название наивной теории множеств.

Универсальное множество: Множество, содержащее все элементы, находящиеся в рассмотрении, называется универсальным множеством и обозначается U или 1.

Пустое множество – это множество, поэтому, если некоторое множество A не содержит ни одного элемента, то A=∅; |A|=0. Запись A={∅} означает, что A содержит один элемент – ∅, |A|=1.Пустое множество ∅ является подмножеством любого множества, т.е. ∅ ⊆ А, где А – любое множество.

Парадокс Рассела

Предположим, есть обычные множества – множества, не содержащие сами себя в качестве элемента. Есть необычные множества – множества, содержащие сами себя в качестве элемента, обозначим их звездочкой. Тогда будет ли множество всех обычных множеств обычным? Если оно обычное, то оно содержит само себя и, следовательно, оно необычное – получаем противоречие. Если оно необычное, то оно не содержит само себя, и, следовательно, оно обычное – получаем противоречие снова. Парадокс можно решить, если каким-либо способом запретить существование множества, содержащего само себя. Например, в теории множеств Неймана-Бернайса-Гёделя совокупность всех множеств является классом. Этот класс не является множеством и не является элементом никакого класса, таким образом, необычные множества невозможны.

Функция -бинарное отношение между двумя множествами X и Y , при котором каждому элементу множества X соответствует один и только один элемент множества Y .

Декартово произведение двух множеств – множество, элементами которого являются все возможные упорядоченные пары элементов исходных множеств.

Обозначение: X × Y. 

Скалярная функция

Векторная функция

2 билет

Поле – множество, над которым определены операции сложения, умножения и выполнены

Пространство – множество с некоторой добавочной структурой. Пространство определяется над полем.

Векторное пространство – набор векторов, скаляров и операций между ними:

+ (сложение векторов)

· (умножение на скаляр)

Нормированное векторное пространство – векторное пространство V с заданной на нем нормой

p : V → R 1 ≥ 0

Метрическое пространство – непустое множество X, в котором определено расстояние

(метрика):

d : X × X → R 1 ≥ 0.

Полное метрическое пространство – метрическое пространство (X, d), на котором любая фундаментальная последовательность {xn} сходится.

Банахово пространство – нормированное векторное пространство, полное по метрике,

порожденной нормой. Является основным объектом функционального анализа.

Евклидово пространство – конечномерное вещественное векторное пространство с введённым на нём положительно определённым скалярным произведением:

V × V → R 1 ≥ 0

Гильбертово пространство – обобщение евклидова пространства, допускающее бесконечную размерность.

Фундаментальная последовательность – это такая последовательность xn, что, начиная с некоторого номера N расстояние между двумя элементами, номера которых больше N, становится меньше произвольной малой величины ε:

∀ε > 0, ∃N ∈ N: d(xn, xm) < ε для всех m, n > N.

Понятие сходимости означает, что предел последовательности xn существует и равен некоторому числу x ∗ : limn→∞ xn = x ∗ .

Билет 3

Экстремум – максимальное или минимальное значение функции на заданном множестве.

Точка, в которой достигается экстремум, называется точкой экстремума.

Критические точки функции f (x) – точки, в которых производная f’ (x) не существует или обращается в нуль.

Стационарные точки функции f (x) – точки, в которых производная f’ (x) обращается в нуль.

Лемма Ферма

Производная f’ (x) дифференцируемой функции в точке экстремума равна нулю.

Необходимое, но недостаточное условие экстремума гласит: экстремум достигается в критической точке.

Достаточное 1: Пусть функция f (x) принадлежит классу непрерывных функций C0, т.е. не претерпевает разрывов. Пусть x∗ – критическая точка. Пусть в окрестности этой точки есть две односторонние производные, левая f’ - (x) < 0 и правая f’ + (x) > 0. Тогда x∗ – минимум.

Достаточное 2: Пусть f (x) дважды дифференцируема в точке x*. Если первая производная функции в этой точке нулевая, а вторая – положительная, то x* – минимум.

Задача оптимизации

Дано:

Функция f : X → R1, где X – допустимое множество, R - поле действительных чисел.

Найти:

Выпуклая функция – функция, для которой любой отрезок между двумя любыми точками графика функции лежит не ниже её графика, как показано на рисунке 6. Выпуклая функция имеет одну стационарную точку – глобальный минимум. Невыпуклая функция требует в процессе оптимизации учитывать локальные свойства функции.

Билет 4

Градиент – обобщение производной функции на многомерный случай. Это вектор частных производных f по каждой из компонент вектора x:

Градиент — характеристика, показывающая направление наискорейшего возрастания некоторой величины, значение которой меняется от одной точки пространства к другой. Как видно из объяснения, градиент является векторной функцией, а величина, которую он характеризует — функцией скалярной.

Матрица Гессе

Ряд Тейлора

Пусть функция  f(x) бесконечно дифференцируема в некоторой окрестности точки a, тогда ряд называется рядом Тейлора функции f в точке a. В случае если a = 0, то такой ряд - ряд Маклорена.

Билет 5

Квадратичная форма — функция на векторном пространстве, задаваемая однородным многочленом второй степени от координат вектора

Для матрицы A собственными числами и собственными векторами называются такие числа λi и вектора vi, что

Собственные числа могут быть найдены как корни уравнения:

Гессиан – симметричная квадратичная форма вида

где H – матрица Гессе.

Квадратичная функция – функция вида

где c – скаляр, b – вектор, A – матрица.

По теореме Тейлора, любую функцию можно аппроксимировать квадратичной функцией (рядом Тейлора 2-го порядка).

Знакоопределенность матрицы, критерий экстремума для многомерной функции

Положительно определенная матрица A:
Положительно полуопределенная матрица A:
Отрицательно определенная матрица A:
Отрицательно полуопределенная матрица A:

Билет 6

Положительно определенная квадратичная форма:
Положительно полуопределенная квадратичная форма:
Отрицательно определенная квадратичная форма:
Отрицательно полуопределенная квадратичная форма:
Знакопеременная квадратичная форма:

Критерии минимума (максимума) квадратичной формы.

Билет 7

Первое условие Вульфа, оно же правило Армихо (Armijo), гласит:

Геометрическая интерпритация

Точка α1 не удовлетворяет первому условию Вульфа, точка α2 ему удовлетворяет.

Второе условие Вульфа, оно же правило кривизны, гласит:

Третье условие Вульфа, оно же сильное правило кривизны:

Первое и третье правила Вульфа дают сильные условия Вульфа, которые могут использоваться вместо условия Армихо, чтобы гарантировать сходимость к нулю производной ∇f (xk). Рисунок 2 иллюстрирует сильное правило кривизны.

Геометрическая интерпретация правила Армихо (первого условия Вульфа)

Геометрический смысл условий Вульфа удобно рассматривать на графике одномерной функции φ(α)=f(xk+αpk)

Правило Армихо требует, чтобы уменьшение значения функции в новой точке было достаточно большим по сравнению с линейной аппроксимацией функции в точке α=0:

φ(αk)≤φ(0)+c1αkφ′(0).

Геометрически это означает, что точка φ(αk) должна лежать ниже прямой, являющейся касательной к графику φ(α) в точке α=0, умноженной на коэффициент c1​. Таким образом, шаг αk отбрасывается, если уменьшение функции слишком мало, и предотвращается выбор чрезмерно малого или неэффективного шага.

Геометрическая интерпретация условия кривизны (второго условия Вульфа)

Второе условие Вульфа: φ′(αk)≥c2φ′(0) ограничивает величину производной в новой точке.

Геометрически это условие означает, что наклон функции φ(α) в точке αk​ должен существенно уменьшиться по сравнению с наклоном в начальной точке. Это гарантирует, что шаг не слишком мал и что метод действительно продвинулся в направлении минимума, а не остановился слишком рано.

Геометрическая интерпретация сильных условий Вульфа

Сильное условие кривизны: ∣φ′(αk)∣≤c2∣φ′(0)∣ требует, чтобы производная в новой точке была мала по модулю.

Геометрически это означает, что график функции в точке αk близок к горизонтальному, то есть выбранная точка находится вблизи минимума функции вдоль направления спуска. Это условие особенно важно для методов Ньютона и квазиньютоновских методов, так как оно обеспечивает устойчивую сходимость и предотвращает чрезмерные шаги.