книги из ГПНТБ / Методы оптимизации в статистических задачах управления

П о с к о л ь к у

р (t, y\t, х) = Ö(у — х),

то

J dyq> It, у, и (/)] р (t, y\t, х) = ф U, Ху и (01. (358)

Согласно обратному уравнению Колмогорова для марков­ ского процесса х (t) (см. п. 4 гл. I) запишем:

Подставляя последнее уравнение и уравнение (358) в фор­ мулу (357), после несложных преобразований, связанных с изме­ нением порядка дифференцирования по переменной х и интегри­ рования по переменным т, у, получим

*—со

dy4T, у]р(Т, y\t, х)

Используя выражение (356), получим уравнение

на интервале времени [t, Т\ при произвольном управлении, удовлетворяют уравнению (359), а потери W0 в оптимальной

157

системе— уравнению (353). Сравнивая формулы (353) с (359), устанавливаем, что

при произвольном допустимом законе управления и С U. Нера­ венство (360) представляет собой достаточное условие оптималь­ ности управления и0.

2. Оптимальное линейное управление

Рассмотрим применение метода динамического программиро­ вания на примере управления линейным объектом при квадра­ тичном критерии качества.

Пусть объект управления описывается линейным дифферен­

где X — вектор выходных координат п измерений; и — вектор управлений q измерений; £ — вектор возмущающих воздей­ ствий т измерений со статистическими характеристиками, опи­ сываемыми формулой (343); А (t), В (t), G (t) — матрицы пере­ менных коэффициентов соответствующих размерностей.

Требуется минимизировать квадратичный функционал

т

I Іх* (т) V (т) X (т) +

/ (t, X, и) = А (t) X + В (t) u.

158

Таким образом, оптимальное управление должно быть опре­ делено решением уравнения Веллмана

Предположим, что на управление не наложено жестких огра­ ничений, так что любая из компонент вектора и удовлетворяет условию —оо <; и{ <С°°, г = 1, 2, . . ., q. При этом предполо­ жении условие минимума по и произвольной функции а (t, х, и) запишется в виде системы q алгебраических уравнений:

да (t, к, и)

ди и—и о

= 0.

Применительно к уравнению (363) эта система принимает следующий вид:

Учитывая симметричность матрицы J (t) и умножая выраже­ ние (385) на (t) слева, получим следующее выражение для

оптимального управления:

и фазовых координат объекта х, что, как отмечалось выше, удобно при реализации управления в структуре с обратной связью.

Для нахождения W0 (t, х) подставим выражение (366) в фор­ мулу (363). Получим уравнение в частных производных:

_ д № ) = м ( і ) х - ± . ( X

159

Будем искать решение уравнения (367) в виде квадратичной формы:

где k 0 (t) — скалярная функция, а k x (t) и К 2 (0 — соответственно вектор и матрица. После подстановки решения (368) в урав­ нение (367) и приравнивая в обеих частях уравнения членов, не зависящих от х, линейных по л: и квадратично зависящих от х, получим следующую систему обыкновенных дифференциальных

— k (t) ^ — K2{t)B{t)j^{t)B*(t) M O +

+(0 kl (0;

- Aa (0 = v (0 + Л* (0 /С* (0 + (0 Л (0 - ,

—(0 5 (0 У-1 (/) 5* (0 7C2 (t).

Начальные условия для полученной системы могут быть запи­ саны на основании формулы (364):

ko (Т) = 0; ki (Т) = 0; ІС2 (Г) = Л.

Нетрудно видеть, что функция (z1), удовлетворяющая линей­ ному однородному дифференциальному уравнению при нулевом

где &о (^) и элементы симметричной матрицы К 2 (0 удовлетворяют системе обыкновенных дифференциальных уравнений

Теперь в соответствии с формулой (366) оптимальное упра­

Таким образом, оптимальная стратегия является линейной функцией фазовых координат объекта, что характерно для задач оптимизации управления линейным объектом при квадратичном критерии качества.

160

Если случайные возмущения на входе объекта отсутствуют, следует положить Q (t) = 0. Заметим, что это не отразится на значении оптимального управления (372). Следовательно, опти­ мальный регулятор в стохастической задаче не отличается от регулятора соответствующей детерминированной задачи опти­ мального управления. Возмущения на входе объекта g (/) влияют лишь на значение функции потерь, которая при наличии помех имеет нерегулируемую составляющую k 0 (t).

Если матрицы А, В, V, J постоянны, то матрица К 2 (t) со­ гласно формуле (370) является решением матричного уравнения Риккати [142, 154]. Путем замены переменных матричное урав­ нение Риккати может быть сведено к линейному дифференциаль­ ному уравнению второго порядка.

Поскольку начальное условие для системы уравнений (370) задано на правом конце, целесообразно ее решать в «обратном времени», сделав замену независимой переменной:

т = T — t.

Тогда при условии постоянства матриц А, В, V, J система (370) принимает вид

%(т) = tr [GQG*K2 (т)];

К2 (т) = V + А*К2 (т) +

ko (0) = 0;

К 2 (0) = Л ,

где

ko (т) = ko ( Т - т), К 2 (т) = К 2 ( Т - т).

Если Т —>°°, то при решении в обратном времени для опре­

деления К 2 следует устремить т —>оо. При этом К 2 стремится к решению алгебраического уравнения

0 = V + А*Кг + КгА — K2BJ~1B*K2.

Таким образом, оптимальный регулятор

«о = — J~1B*K2x

является стационарным.

Возникает вопрос об устойчивости оптимальной системы. Согласно второму методу Ляпунова [64] система асимптотически устойчива, если существует такая функция ф (л:), называемая функцией Ляпунова, которая положительна и имеет строгий минимум в начале координат ф (0) = 0, а также существует

полная производная по времени, вычисленная вдоль траекторий системы,

отрицательная вне сколь угодно малой окрестности начала координат.

Проверим на устойчивость оптимальную стационарную си­ стему управления при отсутствии возмущающих воздействий на объект I (t). В этом случае Q = 0 и согласно формуле (373) k0 (t) = 0. Поэтому' согласно выражению (369)

Отметим, что в рассматриваемом случае функция Веллмана не зависит от времени.

Функция Веллмана (374) удовлетворяет всем условиям тео­ ремы об асимптотической устойчивости и потому является функ­

которые при X =h 0 отличны от нуля и положительны вследствие положительной определенности критерия качества (362). Таким образом, W0 (х) имеет строгий минимум в начале координат. Полная производная по времени функции Веллмана на фазовых

Существование функции Ляпунова для оптимальной стацио­ нарной системы в отсутствие помех доказывает ее асимптоти­ ческую устойчивость.

Безусловно, не всегда функция Веллмана является функцией Ляпунова оптимальной системы (при Т —» оо), так что проверка системы на устойчивость оказывается значительно более сложной задачей, чем рассмотренная выше. При наличии в системе случай­ ных возмущений необходимо пользоваться статистическими кри­ териями устойчивости систем [107]. Нетрудно показать, что при наличии случайных возмущений | (t) в рассмотренном выше при­ мере система асимптотически устойчива в среднем.

162

3. Оптимизация управления при неточных измерениях. Апостериорное распределение вероятностей вектора фазовых координат системы

До сих пор рассматривалась задача управления объектом в предположении наличия идеального измерителя в блок-схеме системы, показанной на рис. 38, т. е. когда фазовые координаты объекта точно известны в процессе управления. Более близок к задачам практики случай неполной информации о состоянии объекта управления. Предположим, что в процессе управления измеряется значение процесса

где у и h — векторы г измерений; т| (£) — нормально-распределен­ ный белый шум, являющийся вектором г измерений с харак­ теристиками

Мц (/) = 0;

Щ (/і) i f (t2) = R (tj) 6 (ti — tj .

Объект управления задан дифференциальным уравнением (342), где возмущающие воздействия имеют характеристики (343). Предполагается, что случайные процессы £ (t) и ц (t) некоррелированы.

Начальное состояние объекта управления считается случай­ ным и заданным плотностью распределения вероятностей век­ тора * в момент t = 0:

Задача состоит в выборе управления, минимизирующего показатель (344). В отличие от рассмотренных в п. 1 и 2 гл. IV задач оптимального управления при точном измерении фазовых координат объекта х, когда управление и (t, х) является функцией времени t и текущего состояния объекта х, в случае измерений на фоне помех управление является функционалом относительно всех проведенных измерений до текущего момента времени:

Соотношение (379) отражает тот факт, что оптимальное упра­ вление должно вырабатываться на основании всей располагаемой информации о состоянии объекта к моменту t. Поэтому блок устройства управления (см. рис. 39) должен быть инерционным устройством, учитывающим не только текущие, но и прошлые измерения. Вся располагаемая информация о текущем состоянии объекта может быть представлена не только в измерениях у (т), т g [0, t], но и в виде апостериорной плотности распределения вероятностей:

Рис. 39. Блок-схема устрой­ ства управления

При таком представлении информации о состоянии объекта управляющее воздействие может рассматриваться как функционал относительно q (t, х):

на устройство обработки информации, вырабатывающее апосте­ риорную плотность вероятностей q (t, х), —оо < х < со, и регу­ лятор, формирующий управление по закону (381) (рис. 39).

Таким образом, задача обработки данных является неотъем­ лемой частью задачи оптимального управления при неточных наблюдениях.

Вопросам расчета апостериорного распределения вероятностей для непрерывного марковского процесса, линейной и нелинейной

вследствие пренебрежения членами второго порядка малости. Позднее результаты были уточнены и обобщены на более широкий класс марковских процессов. Здесь будет приведен вывод урав­ нения в частных производных для апострериорной плотности вероятностей q (t, х) марковского процесса х (t), при наблюде­ ниях у (і), заданных формулой (376). Как частный случай, будет получен результат Калмана по оптимальной линейной фильтрации.

Рассмотрим допредельную дискретную модель объекта упра­ вления и измерителя. Для этого вводится дискретное время tk —

— 4-1 + А» где А — малая величина, которая позднее будет устремлена к нулю. Согласно уравнению объекта (342) можно записать

164

Таким образом,

lk

нормально распределен и имеет независимые значения. Плот­

д^о

где 1. і. ш. означает предел в среднем квадратическом.

Для построения дискретной модели измерений перейдем от

связаны с соответствующими характеристиками (377) предельного процесса г) (I).

Поставим задачу расчета апостериорной плотности распре­ деления вероятностей процесса z в момент времени 4 ПРИ усло­

165

Рассмотрим п + /•-мерный вектор (z, s), составленный из век­ тора состояния объекта г и вектора измерений s. Этот вектор является марковским. Доказательство данного утверждения сво­ дится к проверке равенства

4-2. ^k-2> ^£-2» • • .)■

Поскольку вектор выходных координат объекта х является марковским процессом, то можно записать:

с законом распределения шума измерений для абсолютно случай­

что и доказывает марковское свойство вектора (z, s).

166