- •Множество и функция Множество
- •Функция
- •Поле и пространство Поле
- •Пространство
- •Обозначение векторов и скаляров
- •Вопросы для самопроверки
- •Экстремумы. Критические и стационарные точки. Задача оптимизации Экстремумы
- •Локальные и глобальные минимумы
- •Задача оптимизации
- •Вопросы для самопроверки
- •Ряд тейлора и его свойства Градиент и матрица Гессе
- •Ряд Тейлора
- •Квадратичная форма Квадратичная форма и ее виды
- •Собственные числа и собственные вектора
- •Гессиан и квадратичная функция
- •Вопросы для самопроверки
- •Окончание поиска и численное дифференцирование Критерий останова для методов оптимизации
- •Численное дифференцирование
- •Вопросы для самопроверки
- •Методы дихотомии и трехточечного деления Метод дихотомии
- •Теорема
- •Метод трехточечного деления
- •Вопросы для самопроверки
- •Метод золотого сечения
- •Метод Фибоначчи
- •Метод ньютона, метод секущих Метод Ньютона
- •Метод секущих
- •Вопросы для самопроверки
- •Метод Мюллера
- •Методы градиентного спуска Условные обозначения
- •Градиентный методы спуска с постоянным шагом
- •Градиентный метод спуска с убывающим шагом
- •Вопросы для самопроверки
- •Метод наискорейшего спуска. Овражные задачи Метод наискорейшего спуска
- •Вопросы для самопроверки
- •Метод Ньютона
- •Модифицированные ньютоновские методы Демпфированный метод Ньютона с переменным αk
- •Метод Левенберга-Марквардта
- •Вопросы для самопроверки
- •Методы барзилая-борвейна
- •Стабилизированный метод Барзилая-Борвейна
- •Вопросы для самопроверки
- •Условия вульфа
- •Алгоритм 2: Линейный поиск на основе условий Вульфа
- •Вопросы для самопроверки
- •Методы сопряженных градиентов
- •Методы сопряженных градиентов
- •Дополнение
- •Вопросы для самопроверки
- •Метод бфгш с ограниченной памятью Классический метод бфгш и его проблемы
- •Алгоритм экономии памяти для метода l-bfgs
- •Алгоритм l-bfgs
- •Вопросы для самопроверки
- •Идея метода доверительных областей
- •Основные положения
- •Метод доверительных областей
- •Вопросы для самопроверки
- •Метод хука-дживса Описание метода
- •Вопросы для самопроверки
Квадратичная форма Квадратичная форма и ее виды
Квадратичная форма — функция на векторном пространстве, задаваемая однородным многочленом второй степени от координат вектора. Наиболее простая дифференцируемая функция, которая может иметь экстремум. Входит как компонент в ряд тейлора, поэтому ее свойства связанны с любой дифф функцией.
Матричная запись:
\QA(x) = xTAx,
где A – квадратная матрица.
В зависимости от знака принимаемых квадратичной формой значений, различают по- ложительно определенную, положительно полуопределенную, отрицательно определенную, отрицательно полуопределенную и знакопеременную квадратичные формы.
Положительно определенная квадратичная форма:
xTAx > 0, ∀x /= 0
Положительно полуопределенная квадратичная форма:
xTAx ≥ 0, ∀x /= 0
Отрицательно определенная квадратичная форма:
xTAx < 0, ∀x /= 0
Отрицательно полуопределенная квадратичная форма:
xTAx ≤ 0, ∀x /= 0
Знакопеременная квадратичная форма:
Графики квадратичных форм в зависимости от их знакоопределенности приведены на рисунках 1–4.
|
|
|
|
Рис. 1 – График положительно-определенной квадратичной формы
Рис. 2 – График отрицательно-определенной квадратичной формы
Рис. 3 – График положительно-полуопределенной квадратичной формы
Рис. 4 – График знакопеременной квадратичной формы
Собственные числа и собственные вектора
Для матрицы A собственными числами и собственными векторами называются такие числа λi и вектора vi, что умножение матрицы на собств вектор рано умножению собств числа на этот вектор.
Avi = λivi.
Смысл собственного вектора – умножение его на матрицу A дает коллинеарный вектор, умноженный на некоторое скалярное значение. Вектор направлен как исходный или в противоп сторону.
Собственные числа могут быть найдены как корни уравнения: I - единичная матрица.
|A − λiI| = 0
Теорема Если матрица A – симметричная и имеет линейно-независимые собственные векторы vi, то из них можно построить ортонормированный базис B = (v1, v2, . . . , vn). Пусть y – координаты вектора x в базисе B:
y = Bx.
Тогда в этом базисе квадратичная форма имеет вид. Отсюда видно что знаки собств чисел имеют влияние на знакоопределенность чисел матрицы.
Знакоопределенность матрицы, критерий экстремума для многомерной функции
Для положительной определенности матрицы A необходимо и достаточно положительности ее собственных чисел:
∀i : λi > 0
Для положительной полуопределенности матрицы A необходимо и достаточно неотрицательности ее собственных чисел:
∀i : λi ≥ 0
Для отрицательной определенности матрицы A необходимо и достаточно отрицательности ее собственных чисел:
∀i : λi < 0
Для отрицательной полуопределенности матрицы A необходимо и достаточно неположительности ее собственных чисел:
∀i : λi ≤ 0
Связь знакоопределенности и значений собственных чисел иллюстрирует таблица 1.
Тип квадратичной формы |
Множество собственных значений |
Положительно определенная ∀x /= 0 : f (x) > 0 |
Все с.ч. положительны ∀i : λi > 0 |
Отрицательно определенная ∀x /= 0 : f (x) < 0 |
Все с.ч. отрицательны ∀i : λi < 0 |
Знакопеременная Ix : f (x) > 0, Iy : f (y) < 0 |
Есть с.ч. разных знаков Ii, j : λi > 0, λj < 0 |
Вырожденная rankA < n |
Есть с.ч., равное нулю Ii : λi = 0 |
Критерий минимума (максимума) дважды дифференцируемой функции векторного аргумента следующий.
Пусть
f
(x)
дважды
дифференцируема
в
точке
,
причем
x∗
–
стационарная
точка.
Тогда, если матрица H(x∗) является положительно (отрицательно) определенной, то x∗ – точка локального минимума (максимума);
Если матрица H(x∗) является знакопеременной, то x∗ – седловая точка.
Если матрица H(x∗) является неотрицательно (неположительно) определенной, то для определения характера стационарной точки x∗ требуется исследование производных более высокого порядка.
