книги из ГПНТБ / Острем К.Ю. Введение в стохастическую теорию управления

Показать, что минимальное значение средних потерь вычисляет­ ся по формуле

R(tQ) = Ro-

Сравнить этот результат с результатом для оптимальной замк­ нутой системы (теорема 6.2). Сравнить метод решения этой проблемы с методом, использованным в упражнении 5.

Указание. Использовать лемму 6.1.

7. Рассмотреть систему (6.1) с критерием (6.13). Пусть до­ пустимые стратегии такие, что u(t) есть функция x(t—1). Най­ дите оптимальную стратегию и покажите, что минимум функции потерь вычисляется по формуле

Использовать этот результат для метода вычисления запазды­ вания при получении информации о значении состояния.

Указание. Использовать лемму 6.1.

8. Рассмотреть задачу с неполной информацией о состоянии. Предположить, что допустимые стратегии такие, что u(t) есть функция K(_ft, где k — фиксированное число. Найти оптимальную стратегию и минимальные средние потери.

7. ЗАДАЧА ДЛЯ СИСТЕМ С НЕПРЕРЫВНЫМ ВРЕМЕНЕМ

В разделе рассмотрена линейная квадратичная задача уп­ равления для систем с непрерывным временем. Для доказа­ тельства теоремы разделения используем непрерывно-времен­ ной аналог метода, изложенного в разд. 6.

Задача 7.1

Рассмотрим систему, описываемую стохастическими диф­ ференциальными уравнениями (7.1) и (7.2). Найти допустимую стратегию управления, минимизирующую критерий (7.3).

Эта задача значительно сложнее, чем задача для систем с дискретным временем. Причина этого в том, что пространство, натянутое на наблюдаемые выходные сигналы, имеет бесконеч­ ную размерность. Для решения этой задачи используем косвен­ ный метод, который аналогичен в некоторой степени методам, использованным в разд. 6. Эту аналогию можно использовать при выводе оценки для средних потерь.

Так как x — решение стохастического дифференциального урав­ нения (7.1), то х не имеет производной по времени. Таким об­ разом, дифференциал d{xTSx) не подчиняется правилам обыч-

где последнее равенство получаем путем прибавления и вычи­ тания члена uTQ2u. Переставив члены в выражении (7.12), по­ лучаем соотношение (7.6), и лемма доказана.

Используя лемму 7.1, можно решить задачу оптимального управления системой (7.1) с критерием (7.3) в различных слу­ чаях.

Детерминированный случай

Рассмотрим сначала детерминированный случай, когда и = 0 . Лемма 7.1 приводит к неравенству для функции потерь

U

(7.13)

которое становится равенством для стратегии управления

л

положим, что допустимая стратегия управления такая, что зна­ чение управляющего сигнала в момент t является функцией выходных сигналов вплоть до времени t. Допустим, что уравне­

316 Глава 8

и

Замечание. Члены в выражении для минимального значения средних потерь можно интерпретировать так же, как и в задаче для систем с дискретным временем. Член inTS(t0)m является, таким образом, вкладом начального состояния в среднее значе­

6.2 гл. 7, найдем, что оптимальное управление замкнутой систе­ мой описывается следующими уравнениями:

dx = Axdt -f Budt -f dv, dy = Cxdt + de,

dx = Axdt + Budt + К [dy - Cxdt],

л

и = — Lx.

Вводя x и x как переменные состояния, найдем, что эти урав­ нения сводятся к уравнению

где {v(t)} и {e(t)} — винеровские процессы с параметрами дис­ персии г1 и г2. Начальное состояние нормально со средним in и ковариацией г0. Функция потерь имеет вид

т

I = j [x2(t) + qu2(t)}dt.

о

Цель управления состоит в минимизации средних потерь. Оп­ ределить оптимальное управление для разомкнутой системы при Т-э-оо и оптимальную стратегию для случая неполной инфор­ мации о состоянии.

2.Рассмотреть задачу упражнения 1. Найти передаточную функцию закона управления для устойчивого состояния при Т—>оо. Найти также минимальное значение функции потерь в различных случаях.

3.Рассмотреть систему

4. Рассмотреть систему (7.1) и (7.2). Показать, что функция потерь оптимальной разомкнутой системы определяется выра­

dy = Cxdt - r de,

где {v(t)} и {e(t)} —винеровские процессы с ковариациями при­ ращений Ridt и Rzdt и нормальным начальным состоянием со •средним т и ковариационной матрицей RQ. Найти стратегию управления, минимизирующую средние потери

' i

Е | хТ (у Q0x (А) + J / и г (0 и (О Л ].

Допустимые стратегии управления такие, что u(t) есть функция выходных сигналов, наблюдаемых вплоть до момента г.

6. Рассмотреть систему

где {v(t)} и (e(f)} — независимые винеровские процессы с кова­ риациями приращений Idt и rdt. Функция потерь имеет вид

Определить стратегию управления, минимизирующую средние потери El, когда допустимые стратегии такие, что u(t) есть •функционал {y(s), tQ^.s^t}. Определить предельную стратегию при ^о-^°°- Дать физическую интерпретацию членов выражения для минимума функции потерь.

8. ЗАМЕЧАНИЯ И ЛИТЕРАТУРА

Такие фундаментальные в стохастической теории управления •понятия, как функция потерь, риска, решающая функция, впер­

вые введены в статистической теории разделения в работах [1—3]. В статистической теории разделения сигналов, однако, •обычно ограничиваются статическим случаем, рассмотренным в разд. 3.

Довольно удивительно, что концепции рандомизированной •стратегии еще не применялась в стохастической теории управ­ ления. Более ранние исследования проблемы стохастического управления можно найти в работе [4].

Принцип определенности впервые рассмотрен в экономиче­ ской литературе [5, 6]. Дискретный вариант теоремы разделе­ ния доказан в работах [7, 8].

Разд. 5 основан на работе [9] . Теорема разделения для слу- -тая дискретного времени рассмотрена также в работах [10, 11].

рывного времени можно найти в работах [12—15]. Тождестве (7.6)—обобщение известного результата Лагранжа из вариа­ ционного исчисления [16].

с адаптацией, изд-во «Наука», М., 1964.

5.Simon Н. A., «Dynamic Programming under Uncertainty with a Quadratic Criterion Function*, Econometrica, 24, 74 (1956).

6.Theil H., «A Note on Certainty Equivalence in Dynamic Planning*, Econo­ metrica 25, 346 (1959).

8.Gunkel T. L. Ill, Franklin G. F., «A General Solution for Linear Sampled Data Control*, Trans. ASME J. Basic Eng. 85-D, 197—201 (1963).

9.Astrom K. J-, Koepcke R. W., and Tung F., «On the Control of Linear Dis­

crete Dynamic Systems with Quadratic Loss», IBM Research Rep RJ-222r September 1962.

10.Meier L., «Combined Control and Estimation Theory*, Report, Stanford Re­ search Institute, California, 1965.

11.Gittelman I. N., «Optimal Control of Discrete time Random Purameter sys­

12.Potter J. E., «A Guidance-Navigation Separation Theorem*, MIT Exper. Astronom. Lab., Rep. RE-11, August 1964.

13.Striebel C , «Sufficient Statistics in the Optimum Control' of Stochastic Sys­ tems*, JMAA, 12, 576—592 (1965).

14. Wonham W. M., «On the Separation Theorem of Stochastic Control*, SIAM J. Control, 6, (1968).

15.Wonham W. M., «Random Differential Equations in Control Theory*. Pro­ babilistic Methods in Applied Mathematics, A. T. Bharucha—Reid (editors), Academic Press, New York, 1969.

16.И. M. Гельфанд, С. В. Фомин, «Вариационное исчисление», Фпзматгиз. М.. 1961.