книги из ГПНТБ / Шахнович, А. Р. Математические методы в исследовании биологических систем регулирования

Глава 1-2

ТЕОРИЯ ОПТИМАЛЬНОГО У П Р А В Л Е Н И Я

Определение динамических характеристик объекта (его ма­ тематической модели) является первым этапом исследования си­ стемы.

Однако, как известно, динамическая система включает в себя не только объект, н о й управляющее устройство, устройство обрат­ ной связи и т. д.

Исследованию динамики биологических систем регулирования методами классической теории автоматического управления по­ священо значительное количество работ, среди которых можно отметить монографию Ф. Гродинза (1966).

Останавливаться подробно на этом направлении в рамках настоящей книги не представляется возможным.

Пусть в результате решения задачи идентификации математи­

где X — регулируемая величина (координата пространства со­ стояний); и — управляющее воздействие или управление; t — время.

к качеству, представляется серьезной самостоятельной задачей, основные аспекты которой рассмотрены ниже. Теперь мы подошли вплотную к формулировке основной задачи теории оптимальных систем (Фельдбаум, 1963).

Пусть существует динамическая система, математическая мо­ дель которой (1-2-1).

Положение управления характеризуется точками некоторой области управления U, которая определяется любым множеством

20

В зависимости от характера поставленной задачи на управле­

для которого функционал, характеризующий требования к каче­ ству, принимает экстремальное значение

J = ^f(x(t),u(t))dt.

и

Таким образом, для решения оптимальной задачи необходимо:

—получить математическую модель;

—выбрать функционал, характеризующий требования к ка­ честву системы,

—выбрать граничные условия,

—выбрать подходящий метод теории оптимальных систем. Выбор критериев качества определяется целями управления,

зависящими от конкретного класса систем. Эти проблемы не рас­ сматриваются в теории оптимальных систем, но мы здесь на них кратко остановимся.

Цель управления можно рассматривать как достижение эк­ стремума некоторой величины /-критерия оптимальности.

В общем случае критерий оптимальности зависит от ряда па­ раметров:

—задающего воздействия,

—выходной величины,

—внешнего воздействия,

—управления,

—времени.

Аналитическая форма записи критерия оптимальности представ­ ляет собой функционал. Наиболее общий вид функционала

/ {х*, X, z, и, t) = min.

21

Д ля подавляющего большинства динамических задач функцио­ нал представляется в интегральном виде.

т

J = ^ G (у, х, z, и, t) dt,

о

где G (у, X, z, и, t) — функция оценки. По значению функционала можно определить не только экстремальное значение, но и оценить ухудшение работы системы по величине отклонения / — J ext- Классификация критериев оптимальности возможна по разным признакам.

Критерии могут относиться к длительности переходного про­ цесса. Подобный критерий используется в задаче оптимального быстродействия и имеет вид

г

J = ^dt.

о

Здесь функция оценки есть единица. .

Критерии могут относиться к переходным процессам или установившимся значениям. Приемлемое представление о качестве переходного процесса дает так называемый обобщенный интег­ ральный критерий

Оі = 0

так как здесь ограничено длительное существование отклонения и производных. На практике обычно ограничиваются первыми дву- мя-тремя членами суммы функции оценки.

Для оценки установившегося состояния достаточно приемле­ мым является критерий вида

т

хІрНв = lim -т=-\ x2(t)dt.

о

В качестве примера критерия минимального отклонения процесса X (t) от некоторой заданной величины x*(t) можно рассмотреть функционал

оо

J = ^ {а (х* - х) 2 + W } dt.

о

При решении оптимальных стохастических задач параметры функ­ ции оценки представляют собой случайные процессы. Поскольку экстремальное значение критерия есть величина детерминиро-

22

паиная, то критерии записывают в виде

т

J = MJ^G (х, и, t) dt},

о

где M — математическое ожидание.

При выборе функционала для решения конкретной оптималь­ ной задачи целесообразно руководствоваться следующими тре­ бованиями:

1)наилучшее качество работы системы должно соответство­ вать экстремуму функционала;

2)функционал должен обладать одним «глобальным» экстре­ мумом;

3)функция оценки функционала должна быть достаточно про­ стой и аналитической;

4)для выбранного функционала должно существовать опти­ мальное управление.

Рассмотрим подробнее динамическое программирование. Рас­

рокого круга детерминистических и стохастических' систем, бу­

Этот участок может рассматриваться как самостоятельная траек­ тория, и она будет оптимальной, если этот функционал минимален.

23

Теперь можно сформулировать принцип оптимальности Белл - мана так: «Второй участок оптимальной траектории — всегда

ла, ее оптимальным последующим движением будет траектория

Этот принцип достаточно общий и справедлив как для непре­ рывных, так и для дискретных систем. Этот принцип оптимально­ сти кажется на первый взгляд тривиальным, но на самом деле это не так.

Выводом из этого принципа является правило — нужно до­ биваться не локального успеха, а конечного. Это правило ис­ пользуют, например, бегуны на длинные дистанции. Они никогда не бегут на каждом этапе с максимальной скоростью, а экономят вна­ чале силы, чтобы не выдохнуться к концу. Или, иначе говоря,

прежде всего приводят в дискретную форму. Это, с одной стороны,

ное уравнение можно приближенно заменить дифференциально-раз­

24

Задача теперь состоит в определении последовательности дис­ кретных значений управляющего воздействия и : и (0), и (1) ...

...u(N—1), минимизирующих сумму 1-2-2, т. е. нужно найти ми­ нимум сложной функции многих переменных. Метод дает возмож­ ность свести эту операцию к последовательной минимизации функ­ ции одного переменного.

Для решения задачи используется прием, называемый «по­ пятным движением», начиная от последней точки оптимальной траектории x (Т) к началу х (0).

Рассмотрим момент времени t = (N — 1)Д. Будем считать, что все

и(і) )

определены и известно x (N — 1) Д. По принципу оптимальности неизвестное и [(N — 1)Д] влияет лишь на те члены 1-2-2, кото­ рые относятся к этому участку

JN-i = G [x l(N — 1)], и [(N - 1)]} + ф lx(N)),

но из уравнения объекта можно видеть, что если

то можно найти и (N — 1), минимизирующее /уѵ-і, так как оно входит в оба уравнения. Обозначші искомое минимальное значение min JN-I = Sjv-i

Sn-JLx (N•— 1)] = min/лг-і \u (N — 1)] = min {G [x (N —

25

Одновременно в процессе минимизации определяются и запоми­ наются значения

и* (N -к) = и* [x (N - к)].

Так мы последовательно подходим к значению и* (0), которое тре­ буется вначале. Такова вычислительная процедура. Она все же

По принципу оптимальности

min / = S [х (t), t]. [X, n

t = t' + At; т і п / ( + д , = S \x -\- Ax, t -\- At].

Вместо рекуррентного соотношения имеем

S [х, t] = min [G lx, и, t] At -|- S [.г', t']} + Ог (At).

Уравнение Беллмана, из которого определяется значение опти­ мального управления:

(1-2-3)

Здесь S (x, t) — минимальное значение функционала; G (x, и) — функция оценки; / (х, и, t) — правая часть уравнения объекта:

<> — скалярное произведение.

П р и м е р . Уравнение объекта (Фельдбаум, 1963)

26

то минимум {•} находим из условия

ди - О,

тогда оптимальное управление

Подставив это в уравнение Беллмана, получим уравнение в частных производных :

которое теперь необходимо решить, получить значения:

глядной интерпретации принципа максимума Л. С. Понтрягина, как принципа оптимальности Беллмана, не существует. Суще­ ствует несколько выводов принципа максимума. Вероятно, це­ лесообразно привести его вывод из динамического программиро­

27

Вспомним, что max (— X) — —min X, и перепишем теперь (1-2-3):

Можно видеть, что это легко записать так:

О - max { < " * • / > }• «eu

Обозначим if-функцию Гамильтона, или гамильтониан

О= тахН — принцип максимума, «eu

Оптимальное управление в любой момент времени максимизирует гамильтониан.

Процедура применения принципа максимума состоит в следую­ щем:

Основное практическое преимущество принципа максимума перед динамическим программированием состоит в том, что нет необходимости решать уравнение в частных производных, что яв­

28

В основе итерационного метода (Eaton) лежат следующие геометрические положения. Пусть в 7г-мерном эвклидовом про­ странстве Rn: g (t) есть n-мерный вектор, изображающий положе­ ние цели, причем g (t) — непрерывно в интервале 0 ^ t ^ оо; V (t) есть /г-мерный вектор, характеризующий выход системы;

для некоторой управляющей функции, принадлежащей Q(o,o- Проблема заключается в нахождении управляющей функции,

принадлея?ащей Q, которая совмещала бы выход системы V (tU) с целью g(t) (или соответственно х (t) и z (t) за минимальное время).

Необходимое условие оптимальности управления может быть записано в форме

минимального времени t°, для которого пересечение S, и g (t) не

20