Функциональное уравнение метода динамического программирования р. Беллмана имеет вид:

, (28)

где через обозначено значение функционала на оптимальных траекториях.

Напомним, что по определению производная от скалярной функции по векторному аргументу есть вектор-строка:

.

Уравнение Беллмана (28) представляет собой дифференциальное уравнение в частных производных относительно скалярной функции , которая называется функцией Беллмана. Но это уравнение не является линейным из-за наличия в выражении (28) справа операции взятия минимума.

Замечание 1. Если ограничения на управления отсутствуют или минимум в правой части достигается во внутренней точке множества , то уравнение Беллмана можно представить в виде:

; (29)

. (30)

Уравнение (30) выражает необходимое условие минимума правой части (28) и заменяет опущенную в (29) операцию минимизации по управлению.

При этом уравнения (29) и (30) нужно решать при краевых условиях:

. (31)

Замечание 2. В общем случае решение уравнения Беллмана – очень сложная задача. Однако для линейно-квадратичной задачи оптимизации (линейный объект, квадратичный функционал) уравнение Беллмана допускает аналитическое решение.

Алгоритм нахождения оптимального управления методом динамического программирования.

1. Из уравнения (30) определяется управление как функция , то есть .

2. подставляется в уравнение (29), которое решается затем при краевом условии , и находится функция Беллмана.

3. Найденная в пункте 2 функция Беллмана подставляется в выражение и находится оптимальное управление как функция переменной Х, то есть . Таким образом, получается управление в виде обратной связи.

Синтез регуляторов на основе

метода аналитического конструирования регуляторов

Рассмотрим объект управления, возмущённое движение которого описывается в первом приближении уравнением

, (32)

где – заданные матрицы чисел размерами n×n и n×m соответственно.

Требуется найти матрицу чисел уравнения регулятора:

, (33)

такую, чтобы на устойчивых движениях системы (32), (33), возмущенных произвольными начальными отклонениями , минимизировался функционал

, (34)

где Q и R – заданные положительно-определённые симметрические матрицы чисел размеров и ( , для всех , что обозначается ).

Замечание. Для случая диагональной Q это означает положительность всех её элементов.

Матрица F называется матрицей коэффициентов усиления регулятора.

Используя метод динамического программирования, можно получить следующую процедуру аналитического конструирования регуляторов (АКОР).

1. Решение системы нелинейных алгебраических уравнений Риккати относительно :

, (35)

где – симметричная матрица размерности .

2. Уравнение Риккати имеет множество решений (так как оно нелинейно). Из всего множества этих решений нужно выделить матрицу .

3. Вычисление искомой матрицы коэффициентов усиления регулятора по формуле: . (36)

Можно показать, что полученная таким образом матрица F обеспечивает асимптотическую устойчивость системы (32), (33), то есть

.

Синтез регуляторов на основе

принципа максимума Л.С. Понтрягина

Рассмотрим этот принцип на примере управления объектом

, (37)

для которого заданы

1) краевые условия:

, (38)

2) функционал:

, (39)

3) ограничения на управления: , (40)

где М_i – заданные положительные числа.

Задача. Перевести объект управления из заданного начального состояния в заданное конечное состояние за время так, чтобы функционал (39) принимал максимальное значение.

Для решения этой задачи используем метод Лагранжа.

Введем в рассмотрение

1) расширенный вектор состояний:

,

для которого координата x₀(t) характеризует текущее значение функционала (39):

, (41)

откуда следует:

; (42)

2) вектор множителей Лагранжа , используемый для конструирования функции многих переменных, называемой гамильтонианом:

.

Необходимое условие экстремума гамильтониана (как функции многих переменных), как известно из математического анализа, состоит в равенстве нулю полной производной по времени от него:

. (43)

Для того, чтобы выполнить (43), будем полагать, что справедливы следующие равенства:

, (44)

подстановка которых в (43) даёт:

. (45)

Тем самым, цель управления, формируемого в соответствии с принципом максимума, состоит в выполнении

(46)

или в выполнении необходимого условия экстремума составляющей гамильтониана, зависящей от управлений.

Поскольку константа определяется с точностью до множителя, в дальнейшем, без потери общности, будем полагать .