Программирование, вопросы / Лекц / Лекция14 ОптУпр

Непрерывный случай динамического планирования. Принцип максимума Понтрягина. ( из "I:\RES_H\WORK\EDUCATION\ХНУРЭ - учебные курсы\ИССЛЕД_ОПЕР\ДаниловНН МешечкинВВ ОСНОВЫ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ОПТИМАЛЬНЫХ ПРОЦЕССОВ\" TOP-1, TOP-2)

Оптимальное управление Лекция 1

Предположим, что известна функция f, описывающая скорость изменения состояния x(t) под воздействием управления u(t): f: Rn ×Rm → Rn или отображение

(x(t), u(t))→ f (x(t), u(t)).

Тогда мы можем написать:

Это есть закон или уравнение движения (уравнение динамики) системы.

Система (1.1)-(1.2) составляет задачу Коши. Интегрируя ее, получаем описание траектории.

Для формализации реального факта ограниченности ресурсов управления будем считать заданным множество U Rm такое, что в каждый момент времени t

С помощью соотношений (1.1)-(1.4) может быть сформулирована задача управления: требуется найти такое допустимое управление u( ) U, которое

приводит систему (в силу уравнения (1.1)) из заданного начального состояния x0 в предписанное конечное состояние xT.

Задается функционал качества, определенный на множестве всех траекторий системы (1.1)-(1.2). Этот функционал в общем случае имеет вид

где функция f 0 оценивает мгновенный процесс (x(t), u(t)), а F – качество достижения конечной точки x(T). Первое слагаемое в (1.5) называется

интегральной частью, а второе – терминальной.

В детерминированных системах движение управляемого объекта при заданных начальных условиях вполне точно и однозначно определяется выбором положения "рулей" в каждый момент времени. При их изучении никакие случайности во внимание не принимаются.

1. По характеру оценки качества управления, т.е. по виду функционала качества бывают задача Больца, когда (см. (1.5))

1

T

J f 0(x(t),u(t))dt F(x(T));

t0

задача Лагранжа, когда

T

J f 0(x(t),u(t))dt;

t0

задача Майера, когда

J F(x(T)).

И, наконец, по характеру управления можно говорить о задачах

программного или позиционного управления. Последнюю еще называют

задачей синтеза оптимального управления.

Определение 1.1. Любая функция u:[t0,T] U называется программным управлением.

Определение 1.2. Любая функция u:[t0,T] Rn U (или u:Rn U )

называется позиционным управлением. Задача нахождения позиционного оптимального управления называется задачей синтеза.

Примеры задач оптимального управления

Распределение температуры в тонком стержне конечной длины с теплоизолированными концами. Состояние объекта описывается функцией распределения температуры по длине стержня и во времени, роль управления играет плотность тепловых источников. Задача состоит в отыскании такого управления, для которого распределение температуры как можно быстрее достигает заданного состояния. Эта задача является частным случаем задачи Лагранжа – задачей на быстродействие. В данном случае в этой задаче имеются ограничения на фазовые переменные (т.е на температуру стержня), оба конца траектории закреплены, а время окончания процесса нефиксировано (и подлежит минимизации).

Задача об оптимальном управлении возрастной структурой популяции.

Рассматривается непрерывная модель возрастной структуры популяции, разделенной на две возрастные группы. Управление заключается в том, что в обеих группах может происходить "пополнение-изъятие", а целью управления является максимизация дохода от урожая, за вычетом издержек на пополнение. Фазовыми переменными здесь, очевидно, являются численности популяций, а саму модель можно трактовать, например, как процесс эксплуатации некоторого водоема посредством выпуска мальков и отлова взрослых экземпляров рыбы. После формализации получается задача Лагранжа (максимизируется суммарный доход на всем рассматриваемом промежутке времени) с фазовыми ограничениями (численность популяции не может быть отрицательна и в то же время не должна превосходить

2

Непрерывный случай динамического планирования. Принцип максимума Понтрягина. ( из "I:\RES_H\WORK\EDUCATION\ХНУРЭ - учебные курсы\ИССЛЕД_ОПЕР\ДаниловНН МешечкинВВ ОСНОВЫ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ОПТИМАЛЬНЫХ ПРОЦЕССОВ\" TOP-1, TOP-2)

некоторого предела, за которым начинается перенаселенность) и подвижным правым концом траектории.

Сотрудничество организаций в выполнении совместного проекта.

Несколько организаций приступают к выполнению заказа, состояние которого выступает в качестве фазовой переменной. При этом задано начальное состояние проекта и состояние, при достижении которого заказ считается выполненным. Весь объем работ разбивается на части и поручается различным исполнителям (организациям). Ставится задача выполнения заказа за возможно более короткий срок при заданных затратах. Управление интерпретируется как скорость выделения капитала для каждой отдельной организации, а каждая организация пытается минимизировать время выполнения своей части заказа. Подобная постановка может встречаться при составлении и реализации планов капитального строительства в случае нескольких субподрядных организаций. В результате формализации получаем многокритериальную задачу оптимального быстродействия (т.е. дифференциальную игру) с закрепленными концами и нефиксированным временем окончания.

Линейная неавтономная задача оптимального управления

Она ставится следующим образом:

течением времени. Целью управления является терминальное (подвижное) множество M M(t). Тогда решение системы (2.1)-(2.2), определяемое по

формуле

0

представляет собой абсолютно непрерывную на [0,T] функцию (векторфункцию), где Ф(t) – фундаментальная матрица решений однородной системы x A(t)x и Ф(0)= E (единичная матрица).

Если система (2.1) автономна, т.е.

то в (2.6) (t) eAt и решение имеет вид

3

Непрерывный случай динамического планирования. Принцип максимума Понтрягина. ( из "I:\RES_H\WORK\EDUCATION\ХНУРЭ - учебные курсы\ИССЛЕД_ОПЕР\ДаниловНН МешечкинВВ ОСНОВЫ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ОПТИМАЛЬНЫХ ПРОЦЕССОВ\" TOP-1, TOP-2)

Если вместо терминального множества (2.4) рассматривается начало координат, т.е. целью управления является состояние равновесия неуправляемой системы x Ax, то мы получаем задачу быстрейшего прихода в начало координат. Для того, чтобы система оставалась в состоянии равновесия, попав в начало координат, нужно "выключить" управление: u(T)=0. Это возможно, когда 0 является допустимым значением управления, т.е. 0 intU (0 является внутренней точкой U).

Наиболее важным для приложений является случай, когда U является выпуклым многогранником в Rm, в частности, параллелепипедом:

i ui i, i = 1,..., m.

В автономных системах управления, где U является многогранником, иногда предполагается выполненным условие: ранг (n nm)-матрицы

rank[B, AB, A2B, ..., An–1B]= n.

Это условие слабее часто применяемого условия общности положения: для любого вектора v Rm, параллельного произвольному ребру многогранника U, векторы

Bv, ABv, A2Bv, ..., An–1Bv (2.9)

линейно независимы в пространстве Rn, т.е. определитель n-го порядка, составленный из координат этих векторов, отличен от нуля.

Это условие на практике почти всегда выполнено. В некоторых книгах его называют условием нормальности.

Определение 2.1. Совокупность всех точек пространства Rn, в каждую из которых может быть приведена система (2.1) из начального состояния (2.2) в момент времени T с помощью допустимого управления u( ) U, называется

множеством достижимости и обозначается K(T)= K(0, x0, T)= = {y Rn : x(T,x0,u( )) y, u( ) U}.

Другими словами, K(T) – это множество концов всех допустимых траекторий системы (2.1)-(2.2). Будем полагать для удобства K(0)= x0. Геометрия множества достижимости не зависит от начальной точки.

Теорема 2.1. Пусть в задаче (2.1)-(2.5) множество U – выпуклый компакт. Тогда множество достижимости K(T) является компактным, выпуклым и

непрерывно зависит от T 0.

Определение 2.2. Множество тех точек в Rn, из которых система (2.7) может быть переведена в начало координат за конечный промежуток времени с помощью допустимых управлений u( ) U, называется областью 0-

управляемости.

Область 0-управляемости для фиксированного времени T обозначим GT. Теорема 2.2. Пусть при любом фиксированном T > 0 область GT . Тогда она является ограниченным, замкнутым, выпуклым множеством в Rn. Причем начало координат является внутренней точкой GT и, если T < T', то

GT int GT'.

4

Непрерывный случай динамического планирования. Принцип максимума Понтрягина. ( из "I:\RES_H\WORK\EDUCATION\ХНУРЭ - учебные курсы\ИССЛЕД_ОПЕР\ДаниловНН МешечкинВВ ОСНОВЫ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ОПТИМАЛЬНЫХ ПРОЦЕССОВ\" TOP-1, TOP-2)

Теорема 2.3. Если в (2.7) 0 intU и все собственные значения матрицы А имеют отрицательные действительные части, т.е. матрица А устойчива, то G Rn. Тогда говорят, что система (2.7) вполне управляема.

Теорема 2.5. Пусть в неавтономной линейной задаче оптимального управления (2.1)-(2.5) выполнены следующие условия:

1)множество U компактно в Rm;

2)целевое множество M(t) компактно и непрерывно меняется на [0,T];

3)задача управления разрешима, т.е. существует управление u( ) U,

переводящее систему из состояния x0 в M(T).

Тогда в задаче (2.1)-(2.5) существует оптимальное по быстродействию (измеримое) управление u*( ): x*(T) M(T*), T* T.

Доказательство. Случай x0 M(0) является тривиальным, т.е. в этом случае T* 0. Поэтому предполагаем x0 M(0). Обозначим

T* arg inf 0 t T :K(t) M(t) .

x0

M(t)

K(t)

Рис. 2.3. Достижение целевого множества

В силу непрерывности M(t) и K(t) (см. теорему 2.1) и разрешимости задачи управления момент T* существует. По определению это есть минимальное

время достижения целевого множества M(t) из начальной точки x0. Заметим, что либо такой момент единственен, если множества K(t) и M(t) строго выпуклы, либо их множество замкнуто в Rn. Точку касания множеств K(T*) и M(T*) обозначим x* (см. рис. 2.3). По определению множества достижимости K(T*) существует допустимая траектория x( ) такая, что x(T) x*.

Порождающее эту траекторию допустимое управление u( ) U и является

оптимальным по быстродействию, ибо оно приводит систему в целевое множество за минимальное время T* T. Теорема доказана.

5

Непрерывный случай динамического планирования. Принцип максимума Понтрягина. ( из "I:\RES_H\WORK\EDUCATION\ХНУРЭ - учебные курсы\ИССЛЕД_ОПЕР\ДаниловНН МешечкинВВ ОСНОВЫ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ОПТИМАЛЬНЫХ ПРОЦЕССОВ\" TOP-1, TOP-2)

Экстремальные управления

Рассмотрим неавтономную задачу (2.1)-(2.5).

Пусть = (t) Rn – произвольный вектор. Составим систему

(где T – знак транспонирования), которая называется сопряженной системой к x A(t)x. Если задаться начальным условием

Система (2.11) имеет одно тривиальное решение (t) 0 и бесконечное множество нетривиальных решений (t) 0, каждое из которых определено на – < t < + . Для получения конкретного нетривиального решения нужно задаться каким-либо начальным условием (2.12).

Определение 2.3. Пусть x( ) – траектория системы (2.1)-(2.2), соответствующая допустимому управлению u( ). Если ее конечная точка х(Т) лежит на границе K(T) множества достижимости K(T), то управление u( ) называется экстремальным.

Теорема 2.6. Пусть в задаче (2.1)-(2.5) множество U компактно. Управление u( ) будет экстремальным тогда и только тогда, когда существует

нетривиальное решение (t) сопряженной системы (2.11)-(2.12), удовлетворяющее условию

для почти всех t [0,T].

Содержательно теорема 2.6 означает, что если траектория x( ) приводит

систему в граничную точку множества достижимости K(T), то движение в конечной точке в этом направлении происходит с максимальной скоростью. Действительно, по теореме 2.6

(T),x(T) max (T),x,

x K(T)

а максимум скалярного произведения векторов (T) и x(T) достигается, если направление вектора x(T) совпадает с направлением вектора (T).

6

Непрерывный случай динамического планирования. Принцип максимума Понтрягина. ( из "I:\RES_H\WORK\EDUCATION\ХНУРЭ - учебные курсы\ИССЛЕД_ОПЕР\ДаниловНН МешечкинВВ ОСНОВЫ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ОПТИМАЛЬНЫХ ПРОЦЕССОВ\" TOP-1, TOP-2)

В теореме 2.6 речь не идет об оптимальных (по быстродействию) управлениях. Здесь говорится, что экстремальность управления и равенство (2.14) являются взаимно необходимыми и достаточными условиями.

Принцип максимума для линейных задач оптимального управления

Один из основополагающих результатов теории оптимального управления – принцип максимума Понтрягина – впервые был сформулирован и доказан для линейных задач на быстродействие.

Теорема 2.7. Пусть в задаче (2.1)-(2.5) выполнены следующие условия:

1)U – компактное множество;

2)M(t) – компактнозначное непрерывное на [0,T] множество.

Пусть u*( ) – оптимальное по быстродействию на интервале 0 t T управление. Тогда управление u*( ) является экстремальным, т.е.

почти всюду на [0,T], где (t) – нетривиальное решение сопряженной системы AT (t) такое, что (T) является внешней нормалью к K(T) в точке x*(T) К(Т).

Теорема 2.8. Пусть в автономной линейной задаче на быстродействие в начало координат

1)U – компактный многогранник, 0 intU;

2)выполнено условие общности положения.

Для того, чтобы управление u*( ), переводящее систему (2.7) из начального

состояния x0 в начало координат на отрезке [0,T] было оптимальным по быстродействию, необходимо и достаточно существование такого нетривиального решения (t) сопряженной системы (2.11), что для любого t [0,T], кроме конечного числа моментов времени, выполнено равенство

Замечание. Условие 2) теоремы 2.8 об общности положения системы (2.7) применяется только при доказательстве достаточности. А необходимость доказывается без всяких ограничений. Таким образом, в системе (2.7) без условия общности положения принцип максимума является лишь необходимым условием оптимальности.

Условие (2.19), которое является аналогом условия (2.17), называется

принципом максимума Понтрягина для линейной автономной задачи управления.

Структура оптимального управления

7

Непрерывный случай динамического планирования. Принцип максимума Понтрягина. ( из "I:\RES_H\WORK\EDUCATION\ХНУРЭ - учебные курсы\ИССЛЕД_ОПЕР\ДаниловНН МешечкинВВ ОСНОВЫ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ОПТИМАЛЬНЫХ ПРОЦЕССОВ\" TOP-1, TOP-2)

Из анализа известно, что линейная функция, заданная на многограннике, достигает своего максимального или минимального значения в одной или нескольких вершинах этого многогранника. В последнем случае максимум или минимум достигается в каждой точке выпуклой оболочки таких вершин. Ясно, что выпуклыми оболочками являются ребра или грани многогранника.

В этом параграфе в качестве множества U рассмотрим различные виды многогранников, которые будем считать компактными.

Если оптимальное управление разрывно, то каждая точка разрыва называется точкой переключения.

Задача (2.1)-(2.5) называется нормальной, если два допустимых управления u( ) и u( ), переводящих систему из x0 в одну и ту же точку x(T) K(T), совпадают почти всюду (т.е. за исключением конечного числа точек интервала [0,T]). Следовательно, задача (2.1)-(2.5) является нормальной тогда и только тогда, когда для каждого нетривиального

почти всюду на [0,T] u(t) u(t). Оказывается, что для нормальной задачи

множество достижимости K(T) строго выпукло, если только U содержит более одной точки.

Теорема 2.9. Пусть в автономной линейной задаче на быстродействие в начало координат

1)U – выпуклый многогранник в Rm ;

2)выполнено условие общности положения.

Тогда любое экстремальное управление u( ) U является кусочно-

постоянной функцией, значения которой лежат в вершинах многогранника U, причем u( ) может иметь только конечное число переключений.

Теорема 2.9 называется теоремой о числе переключений. Так как все оптимальные по быстродействию управления являются экстремальными (см. теорему 2.8), то они удовлетворяют утверждению теоремы 2.9.

Теорема 2.11. Если в автономной линейной системе на быстродействие

1)U {u Rm : ui 1};

2)выполнено условие общности положения, то любое экстремальное управление u( ) имеет вид

u(t) sign (t),B

почти всюду на [0,T], где (t)= 0 e–At – нетривиальное решение сопряженной системы. Таким образом, u(t) принимает лишь значения 1 и имеет конечное число переключений.

8

Непрерывный случай динамического планирования. Принцип максимума Понтрягина. ( из "I:\RES_H\WORK\EDUCATION\ХНУРЭ - учебные курсы\ИССЛЕД_ОПЕР\ДаниловНН МешечкинВВ ОСНОВЫ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ОПТИМАЛЬНЫХ ПРОЦЕССОВ\" TOP-1, TOP-2)

Вычисление оптимального управления

Перечислим те предпосылки, которые позволяют приступить к поиску оптимального управления в линейной автономной задаче на быстродействие в начало координат:

1)матрица А устойчива;

2)U – компактный многогранник, причем 0 intU Rm;

3)условие общности положения.

Тогда для каждого нетривиального решения сопряженной системы принцип максимума однозначно определяет допустимое управление и в результате, однозначно определяется оптимальное управление, которое является кусочно-постоянной функцией с конечным числом переключений. Причем в интервалах постоянства его значениями являются вершины многогранника U

.

Итак, если для конкретной задачи мы уверены в справедливости условий 1)- 3), то для вычисления оптимального управления можно сперва найти все экстремальные управления, переводящие фазовую точку из x0 в начало координат, а затем выбрать из них то единственное управление, которое осуществляет этот переход за кратчайшее время.

Перечислим все этапы этой процедуры:

Этап I. Найти решение сопряженной системы (2.11) при произвольном начальном значении (2.12).

Этап II. Для найденного нетривиального решения (t) найти управление u( ), удовлетворяющее принципу максимума (2.17) или (2.19)

(экстремальное управление).

Этап III. Зная управление u( ), найти соответствующую траекторию x( )

системы (2.7), исходящую из начального состояния x0.

Этап IV. Найти начальное условие 0 сопряженной системы, при котором соответствующая траектория x( ) приходит в начало координат.

Раскроем кратко содержание этих этапов.

Решение этапа I дается классическими теоремами для линейных дифференциальных уравнений с постоянными коэффициентами (см. (2.13')). Существуют также хорошо разработанные приближенные методы.

На этапе II, как следует из принципа максимума Понтрягина, решается оптимизационная задача максимизации линейной по u функции

на многограннике U при известной по результату этапа I функции (t). Сложность этой задачи зависит от задания (вида) многогранника U. В более простом случае, когда U является параллелепипедом aj uj bj, j =1, ..., m, область изменения каждого uj не зависит от остальных и поэтому для того, чтобы функция

9

принимала максимальное значение, необходимо, чтобы каждое слагаемое

принимало максимальное значение по uj (так как область изменения каждой uj не зависит от остальных). Следовательно, из принципа максимума имеем:

Это и есть соотношение (2.17) для оптимального управления, которое выполняется для любого t [0,T], кроме конечного числа моментов времени

(когда j(t)= 0).

Этап III сводится к решению системы (2.7) с заданным начальным условием и известной из этапа II функцией u( ). Это опять классическая, хорошо

известная задача из области обыкновенных дифференциальных уравнений, представляющая собой неоднородную линейную систему дифференциальных уравнений с постоянными коэффициентами (см. формулу (2.8)).

Итак, по результатам этапов I-III мы, выбрав произвольное начальное значение 0, однозначно определили ( ), u( ) и x( ). Т.е. в силу принципа

максимума траектория x( ) однозначно определяется выбором 0. Ясно, что, выбрав наудачу 0, мы имеем мало шансов попасть в начало координат (т.е. что соответствующая траектория x( ) придет вточку 0 Rn).

Если удается найти именно такое 0, когда соответствующая траектория приходит в начало координат, то по теореме 2.8 соответствующее управление u( ) и будет оптимальным по быстродействию. Ибо, если

траектория x( ) ведет в начало координат, то принцип максимума является

достаточным условием оптимальности.

Теоретическим обоснованием решения этапа IV являются теоремы существования и единственности (см. теорему 2.4). Они утверждают, что для заданной начальной точки x0 возможно подобрать требуемое начальное значение 0.

Точных методов решения этапа IV не существует. Однако существуют достаточно удобные приближенные методы. Идея такова: взяв произвольное значение 0, последовательно "улучшают" его; если при этом

последовательность { k0}k 1,2,... сходится к требуемому начальному значению

10