§2. Принцип оптимальности Беллмана и его обоснование

Под принципом оптимальности понимается любое правило, которое помогает построить оптимальное управление. Одним из таких принципов является принцип максимума Понтрягина, который предлагает построить оптимальное управление по признакам прихода траектории к границе области достижимости и максимизации некоторого скалярного произведения. Как следует из материала разделов 2 и 3, в некоторых случаях этот метод дает необходимое и достаточное условия оптимальности, а в общем случае – лишь необходимое условие оптимальности управления.

В основе принципа оптимальности Беллмана лежит идея "попятного движения" при построении оптимальной траектории (начиная с конечных состояний из терминального множества M(T)). Рассмотрим это схематично.

Пусть . Сначала находим оптимальное программное управление для каждой задачи , , в результате мы знаем, как действовать дальше в случае прихода системы в любую точку . Затем аналогичным образом рассматриваем задачу , , и т.д. до , (см. рис. 4.4).

Как видно из рисунка, в какую бы точку x(t)M(t) ни пришла система в момент t, дальнейшее развитие определено оптимально. Идея принципа Беллмана заключается в том, чтобы минимизацию функционала (4.4) свести к минимизации аналогичного интеграла на для любого t с учетом оптимального значения "оставшейся части" функционала (4.4) в текущих (t, x)-задачах с начальными состояниями x(t)M(t). Если этот принцип выдерживается для всех t, то при t = t₀ получаем оптимальную траекторию.

Как видим, в случае дискретной задачи оптимального управления, когда вместо [t₀,T] рассматриваются фиксированные точки t₀ < t₁ < ... < t_k < T, оптимальное синтезирующее управление строится пошагово за k шагов от T до t₀ . В случае непрерывной задачи (4.1)-(4.4) построение оптимального синтезирующего управления сводится к решению некоторого уравнения в частных производных (уравнение Беллмана).

Дадим строгую формулировку принципа оптимальности Беллмана в задаче (4.1)-(4.4).

Принцип оптимальности. Если – оптимальный процесс в (4.1)-(4.4), то на любом отрезке [t,T], t[t₀,T], управление является оптимальным в текущей задаче (x(t), T – t) для любого x(t)M(t) независимо от того, как система попала в эту точку x(t).

По форме принцип оптимальности Беллмана – это необходимое условие оптимальности. Действительно, предположим противное: найдется такой момент t[t₀,T] и допустимое управление в задаче (x(t), T – t), что

где – оптимальное управление, удовлетворяющее принципу оптимальности Беллмана.

Прибавляя к обеим частям предыдущего неравенства интеграл

получаем:

Так как управление по определению является допустимым, то последнее неравенство противоречит оптимальности управления . Таким образом, справедливость принципа оптимальности Беллмана как необходимого условия оптимальности установлена.

С помощью принципа оптимальности в следующем параграфе будет построено уравнение Беллмана, которое является, в общем случае, достаточным условием оптимальности в задаче синтеза (4.1)-(4.4).