§6. Связь метода динамического программирования с принципом максимума

Уравнение Беллмана (4.10) было получено как необходимое условие оптимальности управления, а следовательно, должно некоторым образом перекликаться с принципом максимума. Покажем, каким образом на основе метода динамического программирования можно вывести условия принципа максимума.

Рассмотрим задачу оптимального управления вида (3.32)-(3.36):

x(0) = x⁰,

u(t)  U, 0  t  T,

x(T) = x¹,

Время T считается неизвестным. В качестве допустимых управлений берутся кусочно-непрерывные вектор-функции со значениями из выпуклого замкнутого множества U.

Согласно принципа оптимальности Беллмана, для оптимального процесса найдется такое решение уравнения Беллмана

, (4.23)

что , где – значение, при котором достигается минимум в правой части уравнения (4.23). Покажем, что из уравнения (4.23) следует существование некоторого вектора , который удовлетворяет соотношениям принципа максимума.

Пусть – функция Беллмана, соответствующая оптимальному процессу . Введем следующие обозначения:

, , .

Используя эти обозначения, преобразуем уравнение Беллмана:

или

. (4.24)

Заметим, что функции не зависят от . Обозначим

, . (4.25)

Полагая

,

где , , можно записать уравнение Беллмана в следующем виде:

.

Введенные нами сопряженные переменные и функция Понтрягина H получены пока чисто формальным преобразованием из уравнения Беллмана. Продемонстрируем, что удовлетворяет сопряженной системе

, .

Пусть функция Беллмана имеет непрерывные производные второго порядка. Тогда функция

имеет непрерывные производные первого порядка по , ..., .

Оказывается, что для оптимального процесса при любом фиксированном t функция переменной достигает в точке максимального значения, равного нулю. Это следует из уравнения Беллмана (4.24). При этом под равенством понимается выполнение двух соотношений:

, .

Так как функция достигает максимума в точке , то

, , . (4.26)

Учитывая, что

, ,

из (4.26) для любого получаем соотношение

. (4.27)

Так как

,

то соотношение (4.27) преобразуется к виду

, ,

или, с учетом обозначений (4.25), для оптимального процесса можно записать

, .

Итак,

, .

Заметим, что одновременно с этим из (4.25), учитывая соотношение , в явном виде можно получить связь множителей функции Понтрягина с функцией Беллмана:

, .

При этом, очевидно, , т.е. задача получается невырожденной.

Уравнения сопряженной системы были получены в предположении, что функция Беллмана V(t, x) имеет непрерывные производные второго порядка. Однако это не всегда так, о чем свидетельствует пример 4.1. Поэтому приведенные рассуждения носят иллюстративный характер и не могут рассматриваться как обоснование принципа максимума, а только демонстрируют его взаимосвязь с методом динамического программирования.