§5. Многокритериальные задачи оптимального управления

Сложные управляемые системы характеризуются наличием нескольких целей, отражающих желательное состояние системы в целом.

В качестве примера подобных систем можно привести работу нескольких взаимосвязанных аппаратов, когда эффективность работы каждого оценивается своим критерием, или работу одиночного аппарата в различных условиях, например при разных составах сырья, причем для каждого состава критерий качества работы аппарата различен.

Рассмотрим управляемую систему, состояние которой в каждый момент описывается вектором . Предположим, что динамика изменения состояния системы на отрезке времени задается дифференциальным уравнением:

, . (5.92)

Пусть в начальный момент система находится в состоянии

, (5.93)

а мгновенные значения управляющих параметров выбираются из заданного множества :

, . (5.94)

Будем считать, что параметр u выбирается непрерывно во времени и в результате получается функция программного управления , . В качестве допустимых управлений будем рассматривать измеримые по Лебегу на функции, удовлетворяющие условию (5.94), т.е. . Будем предполагать .

Будем также считать выполненными все условия, гарантирующие существование, продолжимость и единственность решения дифференциального уравнения (5.92) (подробнее см. §1 раздела 3).

Как и раньше (см. §2 раздела 2), обозначим K(T) = K(0, x⁰, T) область достижимости для рассматриваемой системы, т.е. множество точек пространства , в которые может попасть решение уравнения (5.92) из начального состояния (5.93) в момент времени T при использовании всевозможных управлений .

Пусть качество траектории и соответствующего управления определяется точкой с помощью векторного критерия , где

, ..., , (5.95)

заданного на множестве достижимости . Цель выбора управления заключается в минимизации функций (5.95).

Система (5.92)-(5.95) называется (динамической) многокритериальной задачей оптимального управления.

Поскольку решение сформулированной задачи зависит от , T, будем обозначать ее .

Заметим, что с математической точки зрения задача многокритериальной оптимизации является некорректной, так как достижение оптимума векторного критерия (5.95) обычно невозможно в том смысле, что если выбрано управление , минимизирующее какую-нибудь из компонент , то, как правило, не остается возможности для оптимизации остальных компонент. Случай, когда одно и то же управление доставляет минимум всем компонентам критерия (5.95), встречается крайне редко. Поэтому постановку многокритериальной задачи оптимального управления следует уточнить за счет формулировки правила, которое указывало бы, в каком смысле понимается оптимум по векторному критерию. Это правило называется принципом выбора решения многокритериальной задачи или принципом оптимальности.

Рассмотрим векторный критерий H, компоненты которого определяются условиями (5.95). для каждого управления и заданного состояния есть вектор пространства . Сформулируем понятие оптимальности для произвольного бинарного отношения предпочтения R. Управление называется оптимальным в задаче (5.92)-(5.95) в смысле отношения R, если не существует такого , что вектор более предпочтителен, чем , т.е. для всех . Такие управления называют также R-оптимальными.

Тогда решением многокритериальной задачи оптимального управления будем называть множество всех его R-оптимальных управлений .

Определение 5.7. Отношение R, определенное на , называется -отделимым, если .

Если неравенство заменить на нестрогое, то получим понятие нестрогой -отделимости.

Введем множество всевозможных значений критериев:

.

Множество называется критериальным пространством (пространством оценок), а его элементы – векторными оценками.

Теорема 5.11. Если H – замкнутое, ограниченное множество в , R – -отделимое отношение, то многокритериальная задача оптимального управления имеет решение, т.е. .

Доказательство. В силу замкнутости и ограниченности множества H множество . Пусть и – такое, что . Здесь

.

Покажем, что . Действительно, предположим, что некоторое более предпочтительно в смысле отношения R, чем , т.е. . Тогда в силу -отделимости выполняется условие:

,

а это противоречит тому, что .

В качестве конкретных отношений предпочтения в многокритериальных задачах чаще всего применяются отношения оптимальности по Парето и по Слейтеру.

Определение 5.8. Векторная оценка называется оптимальной по Парето или эффективной, если не существует оценки , такой, что , причем хотя бы для одной координаты неравенство выполняется строго. Соответствующее управление также называется оптимальным по Парето или эффективным управлением в задаче .

Определение 5.9. Векторная оценка называется оптимальной по Слейтеру или слабооптимальной по Парето, или слабоэффективной, если не существует оценки , такой, что . Соответствующее управление называется оптимальным по Слейтеру или слабоэффективным.

Очевидно, что всякая эффективная оценка слабоэффективна.

Обозначим для задачи множество эффективных (Парето-оптимальных) оценок , множество слабоэффективных (оптимальных по Слейтеру) оценок – , а соответствующие множества управлений – и .

Проиллюстрируем введенные понятия. Пусть множество имеет вид, как на рис. 5.11 (случай двух минимизируемых критериев).

Множество Парето совпадает с "юго-западной" границей множества H (без тех ее частей, которые параллельны одной из координатных осей или лежат на достаточно крутых и высоких пиках), а множество может дополнительно включать в себя вертикальные и горизонтальные участки границы, прилегающие к . Так, на рис. 5.11 образовано кривыми ab, cd (без точки c), fg, а состоит из участков кривых abcd и efg. В этом легко у бедиться, если заметить, что оценки, лучшие, чем , в смысле отношения эффективности, заполняют прямой угол, стороны которого направлены противоположно осям координат, а вершиной служит точка H (сама H исключается). Точки, лучшие, чем , в смысле отношения слабой эффективности, составляют внутренность этого же угла.

Определим условия -отделимости эффективных и слабоэффективных траекторий.

Лемма 5.3. Отношение Парето -отделимо при любых , таких, что , .

Доказательство. Выберем в множестве H две любые оценки и , такие, что более эффективна, чем . Это означает, что для всех выполняется и существует j, такое, что . Отсюда для любых справедливо неравенство:

,

т.е. отношение Парето -отделимо.

Лемма 5.4. Отношение Слейтера -отделимо для всех .

Для доказательства необходимо повторить схему доказательства леммы 5.3 с учетом свойств отношения Слейтера.

Сформулируем теперь условия, необходимые и достаточные для того, чтобы данная оценка была в том или ином смысле оптимальна (т.е. либо эффективна, либо слабоэффективна). При этом следует иметь в виду, что условия, являющиеся достаточными для эффективности, оказываются достаточными и для слабой эффективности. А условия, необходимые для слабой эффективности, будут необходимыми и для эффективности [30].

Теорема 5.12. Пусть и все , . Оценка слабоэффективна тогда и только тогда, когда существует вектор с положительными компонентами, в сумме равными единице, такой, что

. (5.96)

Для слабоэффективной оценки можно принять , где – вектор с компонентами

, ; , (5.97)

и тогда

.

Доказательство. Из равенства (5.96) следует, что для любого существует номер i ( ), такой, что . Поэтому условия (5.96) достаточно для слабой эффективности. Докажем необходимость. Для этого возьмем вектор с компонентами, определяемыми формулами (5.97). Из слабой эффективности оценки следует, что для каждого существует индекс j, при котором выполняется неравенство , а значит, и неравенство . Поэтому

.

Обобщением теоремы 5.12 является следующее утверждение.

Теорема 5.13. Пусть , а , , – возрастающие функции одной переменной, причем . Оценка слабоэффективна (оптимальна по Слейтеру) тогда и только тогда, когда

. (5.98)

Доказательство аналогично приведенному выше для теоремы 5.12. Из (5.98) для любого получаем, что при некотором i верно , а поэтому и , так что оптимальна по Слейтеру. Наоборот, если слабоэффективна, то для каждого найдется индекс i, такой, что , откуда . Поэтому с учетом равенств можно записать:

.

Подбирая функции того или иного подходящего вида, можно получать соответствующие конкретизации равенства (5.98). Например, если , то, положив , где определяются формулой (5.97), приходим к теореме 5.12.

Перейдем к рассмотрению свойств эффективных (оптимальных по Парето) оценок.

Теорема 5.14. Векторная оценка эффективна тогда и только тогда, когда для каждого

, (5.99)

где

. (5.100)

Если эффективна, то она является единственной в H точкой, удовлетворяющей (5.99) при каждом .

Доказательство. Если для некоторого найдется такая точка , что , то, согласно (5.100), , , т.е. не может быть эффективной. Наоборот, если оценка не эффективна, то найдутся номер и точка , такие, что , и тогда (5.99) не будет выполняться.

Пусть теперь оценка оптимальна по Парето. Тогда для любой точки , отличной от , найдется номер , при котором . Поэтому нельзя подставить в (5.99) вместо .

Построение множества Парето-оптимальных решений рассмотрим на примере многокритериальной задачи сближения с несколькими целевыми точками [29].

Пусть состояние некоторой системы задается в начальный момент времени вектором . Динамика развития системы на отрезке времени описывается условиями:

, , , . (5.101)

Пусть K(T) = K(0, x⁰, T) – множество достижимости системы (5.101). Будем считать, что это множество выпукло и компактно и имеет гладкую границу.

Компоненты векторного критерия зададим в виде:

, ,

где  – евклидово расстояние между точками и , а – i-ая целевая точка, характеризуемая как желательное (оптимальное) состояние системы в соответствии с i-ой целью.

Математически задача сводится к нахождению оптимальных траекторий развития в смысле минимизации компонент векторного критерия .

Определим в этой задаче структуру множества Парето.

В множестве достижимости для каждого критерия имеется своя наилучшая точка , такая что

.

Покажем, что множество терминальных точек из , заключенных в некотором смысле "между" наилучшими точками для каждого критерия соответствует множеству оптимальных по Парето решений.

Каждой точке соответствует вектор:

.

Обозначим подмножество множества H, соответствующее множеству оптимальных по Парето управлений, через :

.

Пусть – выпуклая оболочка точек .

Обозначим через  оператор ортогонального проектирования из пространства на некоторое выпуклое компактное множество B. Под ортогональной проекцией точки ( ) на B будем понимать точку , такую что

.

Данную точку назовем образом, а точку x – прообразом оператора проектирования. Под ортогональной проекцией точки на B будем понимать саму точку x, а под ортогональной проекцией некоторого множества A на множество B – множество ортогональных проекций входящих в множество A точек на B.

Рассмотрим различные случаи расположения точек , , ..., и области достижимости и запишем (без доказательства) структуру множеств Парето. Подробно этот вопрос освещается в [15].

1. . В этом случае целевые точки недостижимы (рис. 5.12а). Парето-оптимальное множество представляет собой множество проекций выпуклой оболочки целевых точек, т.е.

.

2. , т.е. все целевые точки достижимы (рис. 5.12б). Здесь само множество является оптимальным по Парето:

.

3. (рис. 5.12в). В этом случае все целевые точки недостижимы, но, в отличие от случая 1, цели сильно отличаются друг от друга. Множество Парето-оптимальных оценок имеет вид:

.

4. Общий случай расположения точек , , относительно множества (рис. 5.12г). И в этом случае:

.

Таким образом, в результате рассмотрения всех случаев взаимного расположения целевых точек и множеств достижимости мы получили конструктивный способ построения Парето-оптимального множества в задаче сближения с несколькими целевыми точками, а также определили геометрическую структуру множества эффективных концов траекторий движения системы.

Однако для определения конкретного управления в многокритериальной задаче еще не достаточно Парето-оптимального множества, необходимо иметь некоторый "справедливый" способ выбора терминальной точки из множества Парето, поскольку в действительности может быть реализован лишь один исход развития.

Один из возможных подходов к выбору конкретного эффективного (слабоэффективного) решения из множества всех эффективных (слабоэффективных) решений основывается на скаляризации векторного критерия с помощью его свертки.

Рассмотрим однокритериальную задачу оптимального управления с законом движения (5.92), начальным состоянием (5.93), ограничениями на управление (5.94) и целевым функционалом

, (5.102)

где – некоторые константы ( ).

Получаем задачу вида:

, ,

,

, , (5.103)

,

называемую -сверткой задачи . Критерий (5.102) в этом случае является сверткой критериев (5.95).

Измеримое управление , удовлетворяющее условиям (5.94), является для этой задачи допустимым управлением, а соответствующая этому управлению траектория системы (5.92)-(5.93) – допустимой траекторией. Допустимое управление и соответствующая ему траектория , которые доставляют наименьшее возможное значение критерию качества (5.102), являются соответственно оптимальным управлением и оптимальной траекторией задачи (5.103).

Из доказанных ранее лемм 5.3 и 5.4 непосредственно вытекает следующее утверждение.

Теорема 5.15. Для любых и , таких, что , , справедливо

, .

Эта теорема позволяет с помощью минимизации свертки критериев находить эффективные и слабоэффективные решения задачи .

Можно показать, что при некоторых ограничениях на множество H любая эффективная или слабоэффективная оценка является точкой минимума некоторой свертки.

Определение 5.10. Множество S называется выпуклым, если для любых точка при всех . Множество S называется слабовыпуклым, если выпуклым будет множество , где .

Теорема 5.16. Пусть H слабовыпукло. Оценка эффективна (слабоэффективна) тогда и только тогда, когда существует такой вектор с положительными (неотрицательными) координатами, , что для всех .

Доказательство этой теоремы см. в [15].

Итак, свертка критериев позволяет заменить многокритериальную задачу оптимального управления на задачу с одним критерием. При этом, в соответствии с теоремой 5.15, если в (5.102) все , то любое оптимальное решение задачи (5.103) будет Парето-оптимальным решением исходной многокритериальной задачи оптимального управления. Если же коэффициенты неотрицательны, то полученное оптимальное решение однокритериальной задачи будет оптимальным по Слейтеру (слабоэффективным) в соответствующей многокритериальной задаче.

Для отыскания оптимальных решений задачи (5.103) можно воспользоваться принципом максимума Понтрягина. В данном случае он формулируется следующим образом.

Пусть , – оптимальные управление и траектория в задаче (5.103). Тогда существует вектор-функция , такая, что

,

, ,

,

где

– функция Понтрягина.

Схема использования принципа максимума не отличается от рассмотреной ранее в разделе 3.

Приведенный метод не является единственным способом решения многокритериальных задач оптимального управления. В настоящее время данной проблеме посвящена достаточно обширная литература (см., например, [11, 15, 21, 29, 30]); эти вопросы затрагиваются не только в трудах по теории оптимального управления, но также и во многих работах по теории игр, математической экономике, теории статистических решений и по другим научным дисциплинам, в которых изучаются различные многокритериальные модели принятия рациональных решений.