49. Минимизация функции многих переменных методом Ньютона.

Метод Ньютона.

Строится последовательность точек {xk}, k=0,1,…, таких, что , k=0,1,… Точки последовательности {xk} вычисляются по правилу xk+1=xk+dk, k=0,1,… Точка х0 задается пользователем с учетом знакопостоянства и невырожденности матрицы Гессе в задаваемой начальной точке и близости выбранной точки к предполагаемой точке минимума. Направление спуска определяется для каждого значения k по формуле dk =-H-1 (xk) grad f (xk), где Н - матрица Гессе.

Применительно к задачам оптимизации

Пусть необходимо найти минимум функции многих переменных . Эта задача равносильна задаче нахождения нуля градиента . Применим изложенный выше метод Ньютона:

где  — гессиан функции .

В более удобном итеративном виде это выражение выглядит так:

Следует отметить, что в случае квадратичной функции метод Ньютона находит экстремум за одну итерацию.

Нахождение матрицы Гессе связано с большими вычислительными затратами, и зачастую не представляется возможным. В таких случаях альтернативой могут служить квазиньютоновские методы, в которых приближение матрицы Гессе строится в процессе накопления информации о кривизне функции.

50. Формула и множители Лагранжа в задаче оптимизации

Метод множителей Лагранжа, метод нахождения условного экстремума функции , где , относительно  ограничений φ_i(x) = 0, где  меняется от единицы до .

Описание метода

• Составим функцию Лагранжа в виде линейной комбинации функции f и функций φ_i, взятых с коэффициентами, называемыми множителями Лагранжа — λ_i:

где .

• Составим систему из n + m уравнений, приравняв к нулю частные производные функции Лагранжа  по x_j и λ_i.

• Если полученная система имеет решение относительно параметров x'_j и λ'_i, тогда точка x' может быть условным экстремумом, то есть решением исходной задачи. Заметим, что это условие носит необходимый, но не достаточный характер.

51. Производная по направлению и возможное направление спуска.

В математическом анализе, производная по направлению — это обобщение понятия производной на случай функции нескольких переменных. Производная по направлению показывает, насколько быстро функция изменяется при движении вдоль заданного направления.

возможное направление спуска

Этот класс методов решения задач НП основан на движении из одной допустимой точки к другой с лучшим значением целевой функции.

Типичная стратегия поиска в алгоритмах этого класса состоит в следующем. Возьмем текущую допустимую точку  и найдем направление  такое, что при достаточно малых  выполняются следующие два условия: 1) точка  является допустимой; 2) 

После нахождения допустимого направления  решается задача одномерной минимизации по параметру  для нахождения оптимальной длины шага в направлении . Далее перемещаемся в точку  и процесс поиска повторяется.

52. Обратные и некорректные задачи.

Корректные и некорректные задачи, классы математических задач, которые различаются степенью определённости их решений. Многие математические задачи состоят в том, что по исходным данным u ищется решение z. При этом считается, что u и z связаны функциональной зависимостью z = R (u). Задача называется корректной задачей (или корректно поставленной), если выполнены следующие условия (условия корректности): 1) задача имеет решение при любых допустимых исходных данных (существование решения); 2) каждым исходным данным u соответствует только одно решение (однозначность задачи); 3) решение устойчиво.

Смысл первого условия заключается в том, что среди исходных данных нет противоречащих друг другу условий, что исключало бы возможность решения задачи.

Второе условие означает, что исходных данных достаточно для однозначной определённости решения задачи. Эти два условия обычно называют условиями математической определённости задачи.

Третье условие заключается в следующем. Если u1 и u2 - два различных набора исходных данных, мера уклонения которых друг от друга достаточно мала, то мера уклонения решенийz1 = R (u1) и z2 = R (u2) меньше любой наперёд заданной меры точности. При этом предполагается, что в многообразии U = {u} допустимых исходных данных и в многообразии возможных решений Z = {z} установлено понятие меры уклонения (или меры близости) r(u1, u2) и r*(z1, z2). Третье условие обычно трактуется как физическая детерминированность задачи. Это объясняется тем, что исходные данные физической задачи, как правило, задаются с некоторой погрешностью; при нарушении же третьего условия как угодно малые возмущения исходных данных могут вызывать большие отклонения в решении.

Задачи, не удовлетворяющие хотя бы одному условию корректности, называются некорректными задачами (или некорректно поставленными).

Обширный класс некорректно поставленных задач в естествознании составляют задачи обработки наблюдений без дополнительной (количественной) информации о свойствах решений. Если изучается объект, количественные характеристики z которого недоступны для прямого изучения, то обычно исследуются некоторые проявления этого объекта u, функционально зависящие от z. Задача обработки наблюдений состоит в решении «обратной задачи», т. е. в определении характеристики z объекта по результатам наблюдений u; при этом u задаётся приближённо.

Имеется много работ (особенно советских математиков), посвященные методам приближённого решения некорректно поставленных задач и их применений к решению обратных задач. Эти работы имеют важное значение для автоматизации обработки наблюдений, для решения проблем управления и т. д.