Достаточное условие оптимальности.
Пусть существует
скалярная функция
,
обладающая непрерывными частными
производными
и допустимое управление
,
удовлетворяющее уравнению Беллмана
(8.7) или (8.8) - (8.9) и граничному условию
.
Тогда управление
является оптимальным.
8.2. Синтез оптимальной системы при полной информации о состоянии
Рассмотрим стохастическую задачу оптимального управления линейным объектом при квадратичном критерии и полной информации о состоянии системы:
(8.10)
,
(8.11)
где
- белый шум с характеристиками:
, (8.12)
- случайная величина
с характеристиками:
, (8.13)
– неотрицательно-определенные
симметричные матрицы;
– положительно-определенная симметричная
матрица.
Задача заключается в определении оптимального закона управления. Критерий оптимальности (8.11) имеет такой же смысл, как и критерий оптимального управления в детерминированной задаче. Здесь только производится усреднение по всем случайным факторам.
Для получения оптимального управления воспользуемся методом динамического программирования. Уравнения (8.8) – (8.9) в данном случае имеют вид:
,
.
Из второго уравнения
определим
. (8.14)
Подставим это выражение в первое уравнение и произведем упрощения
.
Решение этого уравнения будем искать в виде квадратичной формы и функции, зависящей от t
S= xTK(t)x + K0(t),
где
- симметричная положительно определенная
матрица,
- скалярная функция.
Найдём используемые в уравнении Беллмана производные:
,
и подставим полученные выражения в уравнение Беллмана:
или после преобразований получим
.
Так как последнее
выражение (
)
является скаляром, то
,
а следовательно, выполнив операцию
транспонирования всех выражений, стоящих
слева от
,
получим
,
где мы использовали тот факт, что по условию
.
Теперь, сложив
и
и разделив на 2, получим:
.
Поскольку
явно не зависит от
,
то, сравнивая левую и правую части
уравнения, имеем:
,
, (8.15)
уже знакомое нам уравнение Риккати.
Граничное условие для функции Беллмана
принимает вид
,
откуда следует уравнение:
,
, (8.16)
являющиеся граничными условиями для решения уравнений (8.15).
Подставив выражение
для
в (8.14) , получим оптимальный закон
управления
(8.17)
Из определения функции Беллмана следует, что
. (8.18)
Вычислим математическое ожидание от квадратичной формы:
Учитывая, что
,
где
- произвольные векторы одного размера,
то получим
.
Для второго слагаемого правой части уравнения (8.18) из уравнения (8.15) с учетом граничного условия (8.16) ( ) имеем равенство
,
поэтому из (8.18) получаем, что
, (8.20)
откуда следует, что в этом случае, по сравнению с детерминированным, просто «ухудшается», т.е. увеличивается, значение функционала.
8.3. Синтез оптимальных систем управления при неполной информации
В реальности измерение (наблюдение) всегда сопровождается помехами, и состояние системы никогда точно не известно. Задача синтеза при этом намного сложнее, и для ее решения используют эвристический прием – метод разделения, при котором стохастическая задача синтеза при неполной информации разделяется на две задачи:
1) задачу оптимальной оценки состояния;
2) детерминированную задачу синтеза при неполной информации.
В общем случае синтезированная таким способом система не обязательно является оптимальной. Однако, например, при линейных уравнениях объекта и наблюдения и среднеквадратичном критерии метод позволяет синтезировать оптимальную систему.
Таким образом, с задачей оптимального управления тесно связана задача оптимальной оценки.