Лекция №4. Практическая оптимизация математических моделей (часть I)

А.4.1. Постановка задачи оптимизации

Термином «оптимизация» в научно-технической литературе обозначают процесс или последовательность операций, позволяющих получить уточненное решение (априорно существующее). Хотя конечной целью оптимизации является отыскание наилучшего, или «оптимального», решения, обычно исследователю приходится довольствоваться улучшением известных решений, а не доведением их до совершенства. Поэтому под оптимизацией понимают скорее стремление к совершенству.

Приведем конкретный пример. Рассматривая произвольную систему, описываемую уравнениями снеизвестными, можно выделить три основных типа. Если, задачу называюталгебраической. Такая задача для линейных алгебраических систем, как правило, однозначно разрешима. Если , то задача переопределена и, как правило, не имеет решения. Наконец, призадача недоопределена и имеет бесконечно много решений. В практике проектирования чаще всего приходится иметь дело с задачами третьего типа. При этом исследователю должна помогать интуиция, позволяющая сформулировать условия для выбора оптимального варианта.

Независимые переменные, которые полностью и однозначно определяют решаемую задачу проектирования процесса, принято называть параметрами задачи, проектными параметрами, параметрами плана и т.п. Остановимся на термине «проектные параметры» - неизвестные величины, значения которых вычисляются в процессе оптимизации. В качестве проектных параметров могут служить любые основные и производные величины, служащие для количественного описания системы. Это могут быть, например, неизвестные значения длины, массы, времени, температуры, расхода материала и т.д. Проектные параметры будем обозначать .

Целевая функция – это выражение, значение которого исследователь стремится сделать максимальным или минимальным. Другое название - критерий качества, целевой функционал и т.д. С математической точки зрения целевая функция будет описывать некоторую -мерную поверхность. Её значение определено проектными параметрами.

Отметим сразу, что не надо думать, что целевую функцию всегда можно выразить в замкнутой математической форме. Это может быть таблица технических данных , график и др. Однако в каком бы виде ни была представлена целевая функция, она всегда должна быть однозначной от проектных параметров.

В ряде задач приходится иметь дело с более чем одной целевой функцией (и часто одна целевая функция может оказаться несовместимой с другой). Например, проектирование установки, сочетающей максимальную прочность, минимальный вес и минимальную стоимость. В такой ситуации приходится вводить упорядоченное множество приоритетов и ставить в соответствие каждой целевой функции некоторый множитель. В результате появляется т.н. «функция компромисса».

Одни алгоритмы приспособлены для поиска максимума, другие – для поиска минимума целевой функции составного типа. Однако в принципе всегда решают задачу минимизации, т.к., поменяв знак у целевой функции на противоположный, можно искать максимум.

Пространством проектирования называют область, определяемую всеми проектными параметрами. Ограничения-равенства – это уравнения, связывающие проектные параметры, соответственно ограничения-неравенства – это система неравенств, связывающих проектные параметры. Очень часто в связи с ограничениями оптимум целевой функции достигается не там, где ее поверхность имеет нулевой градиент, нередко лучшее решение соответствует одной из границ области проектирования.

Ясно, что произвольная целевая функция может иметь несколько локальных экстремумов, глобальный же оптимум – это наилучшее решение для всего пространства проектирования, оно лучше всех других решений, отвечающих локальным оптимумам.

Кратко остановимся на классификации оптимизационных задач. Согласно принятой терминологии оптимизационные задачи (т.н. экстремальные задачи) принято различать

1) по характеру задания целевой функции (линейная, квадратичная, составного типа и т.д.),

2) по размерности поискового пространства проектирования (соответственно методы одномерного поиска и методы многомерного поиска),

3) по управляющим параметрам задачи.

Кроме того, для каждой из характеристических задач имеют место и специальные ситуации, не поддающиеся общей схеме.

В принципе, приступая к решению экстремальной задачи, мы ничего не знаем о целевой функции, кроме того, что она унимодальна. Интервал (область) значений , в котором заключен оптимум, называемый «интервалом неопределенности», в начале процесса оптимизации имеет определенные границы и задача исследователя состоит в систематическом сужении его в процессе экстремума.

Для одномерного поиска известны следующие приемы: общий поиск, деление интервала пополам, метод дихотомии, метод золотого сечения, метод чисел Фибоначчи, метод стохастической аппроксимации. В книге Т.Щупа «Инженерные задачи на ЭВМ» (стр.152) приведено сравнение методов одномерного поиска, а также приведены программы на языке Фортран.

На первый взгляд может казаться, что различие между одномерным и многомерным поиском состоит лишь в том, что первый требует меньшего объема вычислений и что, в принципе, расширяя объем вычислений, вышеперечисленные приемы можно применить и для целевых функций многих переменных. Однако это не так, поскольку многомерное пространство качественно отличается от одномерного. Объем вычислений, необходимых для сужения интервала неопределенности в многомерном пространстве, растет как степенная функция, показатель которой совпадает с размерностью.

По традиции метод мгновенной оптимизации делят на две группы: прямые и косвенные. Прямые методы основаны на сравнении вычисляемых значений целевой функции в различных точках, а косвенные – на использовании необходимых и достаточных условий существования экстремума ФМП.

Стратегия прямого метода – постепенное приближение к оптимуму; при использовании косвенных методов стремятся найти решение, не изучая неоптимальные точки. Иногда деление на группы методов многомерной оптимизации осуществляется в соответствии с порядком производных, а не в связи с неоптимальными точками. Таких групп имеется три: прямые методы поиска, т.н. методы нулевого порядка, к которым относится и известный симплекс-метод; методы первого порядка, в которых используются первые производные. К ним относятся, например, градиентные методы и принцип максимума Л.С.Понтрягина; наконец, методы, в которых применяются вторые производные. Особняком стоят методы минимизации в функциональных пространствах, методы решения задач быстродействия, некорректные экстремальные задачи.

А.4.2. Основы теории приближений и численных методов

Исследователю обычно приходится иметь дело с большими массивами чисел, поэтому численные методы для него особенно актуальны. Среди них выделим наиболее характерные: погрешность результата численного решения задачи, интерполяция и смежные вопросы, численное интегрирование, приближение функций, численное решение дифференциальных и интегральных уравнений. Литература, относящаяся к данной тематике обширна, достаточно ограничиться книгой Н.С. Бахвалова ''Численные методы'' и библиографией. Читателям, углубившимся в тематику, рекомендуем монографию Л.В.Канторовича и В.И. Крылова ''Приближенные методы высшего анализа'' (особенно, I ч.).

Не следует думать, что совершенные знания по математике, численных методов и навыков работы с ЭВМ позволят сразу решать прикладную задачу. Во многих случаях требуется доводка методов, их приспособление к решению конкретной прикладной задачи.

В основе теории приближений и численной методики лежит центральная мысль:

1. Математическое описание рассматриваемой прикладной задачи является неточным, в частности, неточно заданы исходные данные описания;

2. Применяемый для решения метод зачастую не является точным; получение точного решения возникающей математической задачи, требует неограниченного и неприемлемо большого числа однотипных операций, поэтому вместо получения точного решения задачи приходится прибегать к итерациям;

3. Всплывают и так называемые практические вопросы (свойства получающегося численного решения, анализ результатов на устойчивость к внешним воздействиям (т.н. чувствительность), оценки точности вычислений).

В идеале всегда хочется иметь гарантию “близости” численного решения к точному, т. е. располагать удовлетворительной оценкой вида, где- разумная мера уклонения. Данный подход в оценке избранного нами алгоритма называетсяпрямым анализом ошибок. Такая идея плоха тем, что ей, как правило, присуще свойство плохой обусловленности, характерное тем, что малое возмущение параметров задачи часто приводит к большому возмущению точного решения.

Значительно более плодотворной выглядит идея обратного анализа ошибок: в рамках этого подхода численное решение задачи трактуется как точное, но не для исходной, а для некоторой возмущенной задачи. Если алгоритм гарантирует «близость» этих задач, то он считается хорошим. Обозначим черезисходную задачу, ее численное решение является точным для некоторой задачи. Результат обратного анализа ошибок – это оценка вида:, гдезависит от машинной точности и от постановки задачи. В отличие от прямого анализа, обратный анализ показывает, что величина«мала» независимо от. Такие алгоритмы принято называтьчисленно устойчивыми, так как ошибки выполняемых вычислений приводят в этих алгоритмах к небольшому уклонению от исходной задачи.

Напомним сведения из теории матриц, векторных пространств и уравнений, необходимые для дальнейшего понимания материала.

Матрица называетсясимметричной, если (– транспонированная матрица).

Матрица называется диагональной, если все ее недиагональные элементы равны нулю.

Квадратная матрица называется верхней (или правой) треугольной, если ее поддиагональные элементы есть нули т.е. , если. Обычно эти матрицы обозначаются черезили.

Аналогично нижняя треугольная матрица, это матрица, где при.

Нижняя трапециевидная матрица – это прямоугольная матрица, где ,.

Набор векторов называетсяортогональным, если при. При соблюдении дополнительного условияговорят, что векторыортонормальны.

Квадратную матрицу называют ортогональной (ортонормальной) если ее столбцы ортогональны (ортонормальны).

Матрица вида , гдеи– векторы, называетсяматрицей ранга один (первого ранга). Здесь - вектор-столбец.

Матрицы вида , где- число, называютэлементарными.

Понятие линейной комбинации, линейной зависимости набора векторов, линейного векторного пространства, подпространства, базиса считаем известными (упомянем лишь о подпространстве в).Нуль-пространство – это ортогональное дополнение подпространства натянутого на векторы в пространствепри условии, что(например, осьOZ является нуль-пространством для координатной плоскости XoY в трехмерном эвклидовом пространстве).

На матрицу можно смотреть и как на средство преобразования одного вектора в другой, значит, уместно говорить о применении матрицы к вектору. Преобразование вектора матрицей является линейным, т.е. аддитивным и однородным. Для любой матрицы , рассматриваемой как преобразование, для любых векторов,и любых скаляров,справедливо равенство:

,

т.е. оператор , доставляемый матрицей, является линейным.

При любом обратная матрица к матрице(единственная и невырожденная) обеспечивается равенством, или, что то же самое, т.е..

Если , то числоназываетсясобственным значением матрицы , а вектор- еесобственным вектором, отвечающем собственному значению . Например, числоесть собственное значение матрицы

, т.к. .

Две матрицы иназываютсяподобными, когда наборы их собственных значений совпадают. Если все собственные значения симметричной матрицы положительны (неотрицательны) то она положительно определена.

Если – невырожденная матрица, все ее собственные значениябудут ненулевыми, а обратные к ним числа являются собственными значениями обратной матрицы.

Спектральным радиусом матрицы называют числогде- собственное значение матрицы.

Норма вектора - это скалярная функция:

1) для любого вектораи– нулевой вектор,

2) (положительная однородность нормы),

3) (неравенство треугольника).

Примеры: а) эвклидова норма ; б)и другие.

Аналогично определяется норма матрицы с добавленным условием

4) для любых двух перемножаемыхи.

Спектральная норма матрицы определяется как арифметический квадратный корень из максимального собственного значения симметричной матрицы, то есть

.

Норма Фробениуса матрицы, есть число вида:

.

Матричные нормы удобно определять через векторные. Делается это так. Пусть задана норма вектора . Рассмотрим для матрицызначенияпри всевозможных, для которых. Среди этих значенийберем максимальное, т.е.. Его и считают нормой матрицы; таким образом:. Такую матричную норму принято называтьиндуцированной или подчиненной векторной норме .

А.4.3. Классификация оптимизационных задач

Подавляющее большинство оптимизационных задач приводится к виду:

Такой вид оптимизационной задачи называется с т а н д а р т н ы м.

Определение признаков, по которым разумно классифицировать оптимизационные задачи – это результат соразмерения выгод от эксплуатации выделяемых (средств) свойств и затрат на разработку соответствующего математического обеспечения. Очевидные различия между задачами – математические характеристики их целевых функций. Приведем стандартную схему классификации оптимизационных задач по типам их целевых функций и типам ограничений задачи:

Тип целевой функции	Тип ограничений
Функция одной переменной Линейная функция Квадратичная форма Гладкая нелинейная функция Негладкая нелинейная функция	Ограничения отсутствуют Простые ограничения на параметры Линейные функции Гладкие нелинейные функции Негладкие нелинейные функции

Оптимизационные задачи классифицируются по размерности. Как правило, методы, эффективные для задач с относительно небольшим числом переменных, непригодны, когда переменных много.

Наконец еще один показатель, учитываемый при выборе алгоритма – это доступность производных (в одних задачах аналитические значения первых и вторых производных целевой функции легко достижимы, в других же задачах вычислению поддаются точные значения лишь самой целевой функции).

Суть задачи помимо всего прочего определяет и точность, с которой ее надо решать: по какой-то причине может оказаться нужным, чтобы некоторые ограничения были соблюдены без невязок на всех итерациях.