5. Квадратичная форма. Квадратичная функция. Связь знакоопределенности и собственных чисел матрицы.

6. Квадратичная форма. Квадратичная функция. Критерии минимума (максимума) квадратичной формы.

Вопрос 1. Почему собственные числа матрицы полностью определяют знакоопределенность квадратичной формы? Ответ: Квадратичная форма в ортонормированном базисе диагонализируется: xTAx=yTΛy=∑λiyi2x^T A x = y^T \Lambda y = \sum \lambda_i y_i^2xTAx=yTΛy=∑λi​yi2​. Знак каждого λi\lambda_iλi​ влияет на знак слагаемых, поэтому положительные λi\lambda_iλi​ → форма положительно определена, отрицательные → отрицательно определена, разный знак → знакопеременная.

Вопрос 2. Почему для положительно определенной матрицы A выполняется xTAx>0x^T A x > 0xTAx>0 для любого ненулевого вектора x? Ответ: Потому что все собственные числа положительны, а квадратичная форма в базисе собственных векторов – сумма ∑λiyi2\sum \lambda_i y_i^2∑λi​yi2​ с λi>0\lambda_i > 0λi​>0, поэтому результат всегда положителен.

Вопрос 3. Как связаны критерий экстремума функции и матрица Гессе? Ответ: В точке стационарной точки x* матрица Гессе H=∇2f(x∗)H = \nabla^2 f(x^*)H=∇2f(x∗) – квадратичная форма. Если H положительно определена → минимум, отрицательно определена → максимум, знакопеременная → седловая точка.

Вопрос 4. Почему знакопеременная матрица Гессе соответствует седловой точке? Ответ: Потому что вдоль направлений собственных векторов с положительными λi\lambda_iλi​ функция возрастает, а с отрицательными – убывает. То есть точка является минимумом по некоторым направлениям и максимумом по другим → седловая.

Вопрос 5. Почему квадратичная функция f(x)=c+bTx+xTAxf(x) = c + b^T x + x^T A xf(x)=c+bTx+xTAx используется для аппроксимации произвольной функции? Ответ: По теореме Тейлора второй порядок аппроксимации функции в точке x0 имеет вид f(x0+Δx)≈f(x0)+∇f(x0)TΔx+12ΔxTH(x0)Δxf(x_0 + \Delta x) \approx f(x_0) + \nabla f(x_0)^T \Delta x + \frac{1}{2} \Delta x^T H(x_0) \Delta xf(x0​+Δx)≈f(x0​)+∇f(x0​)TΔx+21​ΔxTH(x0​)Δx, что является квадратичной функцией.

Вопрос 6. Как определить характер стационарной точки, если матрица H(x*) неотрицательно определена, но имеет нулевые собственные числа? Ответ: Нулевые собственные числа не дают информации о кривизне вдоль соответствующих направлений. Нужно исследовать производные более высокого порядка вдоль этих направлений, чтобы определить, является ли точка минимумом, максимумом или седловой.

Вопрос 7. Как связаны собственные векторы и «главные направления» квадратичной формы? Ответ: Собственные векторы определяют направления, вдоль которых квадратичная форма выражается как сумма λiyi2\lambda_i y_i^2λi​yi2​. Это направления, в которых форма «чисто» выпукла или вогнута.

Вопрос 8. Можно ли аппроксимировать функцией, не имеющую второй производной, квадратичную форму? Почему? Ответ: Нет. Квадратичная аппроксимация требует существования второй производной (матрицы Гессе) в точке. Если функция не дважды дифференцируема, второй порядок Тейлора не определен.

Вопрос 9. В чем смысл аппроксимации функции квадратичной функцией в численных методах оптимизации? Ответ: Квадратичная аппроксимация заменяет сложную функцию локальным параболоидом. На таком параболоиде проще находить стационарные точки и шаги оптимизации (метод Ньютона и квазиньютоновские методы).

Вопрос 10. Как изменение знака собственного числа λi\lambda_iλi​ влияет на локальный экстремум функции? Ответ: λi>0\lambda_i > 0λi​>0 → функция изгибается вверх вдоль направления vi (вклад в минимум), λi<0\lambda_i < 0λi​<0 → изгиб вниз (вклад в максимум). Если есть как положительные, так и отрицательные → седловая точка.