27. Доказательство принципа максимума было проведено без учета ограничений на вектор состояния. Рассмотрим теперь следующую постановку задача. Дана автономная динамическая система

, , , ,

где - вектор , - вектор , - вектор-функция , а множество задано в виде , где - вектор-функция , причем .

Рассмотрим задачу Лагранжа при свободном :

.

Исследуем оптимальные траектории, которые можно разбить на конечное число участков, каждый из которых лежит либо на границе множества , либо внутри него (рис. 3.6).

Пусть дуга траектории полностью лежит на границе , а управляемая система автономна. Чтобы принадлежала границе, необходимо и достаточно, чтобы

, (3.81)

т.е. вектор фазовой скорости должен быть ортогонален нормали к поверхности . Здесь - вектор размерности , .

Введем в рассмотрение расширенный вектор , где , . Тогда задача Лагранжа принимает частный вид задачи Майера:

, , , ,

. (3.82)

Рис. 3.6. Оптимальная траектория с учетом ограничений на фазовые координаты

Получим необходимые условия оптимальности. Пусть известно оптимальное управление . Дадим оптимальному управлению игольчатую вариацию при . Вариация траектории при определяется из уравнения

(3.83)

с начальным условием .

Связь вариаций и определим, продифференцировав уравнение :

. (3.84)

Исключим из уравнения для вариации траектории. Умножим последнее уравнение слева на некоторую матрицу и прибавим к уравнению для вариации траектории:

. (3.85)

Потребуем, чтобы матрица обеспечивала равенство для всех .

Тогда

. (3.86)

Введем вектор , такой, чтобы

(3.87)

для всех . Отсюда следует, что при

, . (3.88)

Дифференцируя (3.87) по времени и учитывая выражение для производной (3.86), получим следующее уравнение для сопряженных множителей

. (3.89)

Определив вектор согласно последним выражениям и введя функцию Гамильтона , получим для момента

,

или , (3.90)

где , соответствует оптимальному режиму.

Так как может быть любым из , то окончательно для всех .

Каноническая система уравнений имеет вид

, ,

, (3.91)

, .

Кроме того, должно выполняться условие .

Определим матрицу . По условию

.

Пусть и - составляющие вектора , такие, что имеет размеры , а - , а матрица - неособенная с размерами . Вариации и связаны соотношениями : .

Поэтому компонентов , например, , можно считать свободными. Зададим , тогда

. (3.92)

Следовательно, достаточно задать следующим образом:

. (3.93)

Таким образом, для рассматриваемой задачи необходимые условия оптимальности и имеют вид

1. , ,

, (3.94)

, ,

где , - вектор, составленный из любых компонентов вектора , таких, что матрица неособенная, - размерность вектора .

2. для всех ,

при условии .

3. , если фиксировано,

, если свободно для всех .

Можно получить обобщения на другие случаи, в частности, для неавтономной системы.

Перейдем теперь к общему случаю. Оптимальная траектория обладает тем свойством, что каждый участок является оптимальным в смысле исходного критерия, а значит, на нем выполняются необходимые условия оптимальности. Это значит, что для участков, лежащих внутри области X имеет место принцип максимума в форме соотношений (3.16 – 3.18).

Получим теперь условия стыковки участков оптимальной траектории. Предположим, что оптимальная траектория состоит из конечного числа участков, каждый из которых лежит либо внутри области , либо на ее границе .

На любом участке оптимальной траектории выполняются необходимые условия оптимальности. Определим условия, которым должна удовлетворять оптимальная траектория в точках стыка участков, т.е. при переходе от одного участка к другому. Рассмотрим переход от i-го участка, лежащего внутри допустимой области, на (i+1)-й участок, лежащий на ее границе, т.е. отрезок времени , где - сколь угодно малая величина, а - момент входа оптимальной траектории на участок границы , описываемый уравнением .

Для рассматриваемого бесконечно малого участка оптимальной траектории справедливы соотношения, связывающие величины до момента и после него [2]:

, (3.95)

, (3.96)

где - вектор размерности . Эти соотношения называются условиями скачка.

Таким образом, если оптимальная траектория существует и содержит конечное число точек стыка, то каждый участок, лежащий внутри допустимой области , удовлетворяет принципу максимума без ограничений на фазовый вектор, каждый участок, лежащий на границе, удовлетворяет принципу максимума с ограничениями на фазовый вектор, а в каждой точке стыка выполняются условия скачка гамильтониана и сопряженных переменных.

28. В основе метода динамического программирования лежит принцип оптимальности, сформулированный Р.Беллманом. Одна из формулировок этого принципа звучит так: оптимальный процесс обладает тем свойством, что каким бы ни было начальное управление, последующее управление должно быть оптимальным по отношению к состоянию, происходящему от начального управления.

Рис. 4.1. Оптимальная траектория

Предположим, что - оптимальная траектория, приводящая систему из начального состояния в конечное , промежуточное состояние соответствует моменту времени (рис. 4.1). Согласно принципу оптимальности Беллмана, участок траектории представляет собой оптимальную траекторию по отношению к его начальному состоянию , т.е. оптимальное управление на участке не зависит от того, каким образом система приведена в состояние .

Другими словами, каждый участок оптимальной траектории является оптимальной траекторией относительно своей начальной точки, оптимальное управление не зависит от предыстории движения системы и для будущих моментов времени определяется только состоянием в данный момент. Таким образом, всю траекторию движения системы можно разбить на части, двигаясь от ее конца к началу, и оптимизировать движение по частям.

Принцип оптимальности Беллмана дает достаточное условие минимума функционала. Разумеется, он справедлив не для всех классов управляемых процессов, а только для марковских, то есть процессов без предыстории.

Рассмотрим задачу оптимального управления непрерывной динамической системой:

, , , , ,

. (4.1)

Требуется синтезировать закон оптимального управления в форме .

Пусть поставленная задача решена. Введем обозначение: - минимальное значение функционала для участка траектории , тогда - есть минимальное значение функционала для измененного относительно состояния и времени. Очевидно, что . Тогда в общем случае независимых изменений состояния и времени получим в соответствии с принципом оптимальности Беллмана

. (4.2)

Введем допущения о том, что функция непрерывна и непрерывно дифференцируема (во многих задачах эти условия не выполняются). Разложим в ряд Тейлора, отбросив малые величины, получим

. (4.3)

Подставив в предыдущее выражение, получим

.

Разделив на , при получим, с учетом того, что может быть произвольным моментом времени

. (4.4)

Полученное нелинейное дифференциальное уравнение в частных производных относительно функции называется уравнением Беллмана.

Функция есть функция текущего состояния системы, ее принято называть функцией будущих потерь или функцией Беллмана. Она является мерой стоимости перехода из точки с координатами в точку с координатами . В задаче Больца функция будущих потерь в конечный момент времени равна терминальному члену, т.е. , в задаче Лагранжа , следовательно, . Эти выражения задают граничные условия для уравнения Беллмана.